마치며

💬 장고로 만드는 RAG 웹 채팅 서비스 핸즈온랩을 끝까지 함께 해주셔서 진심으로 감사드립니다. 🥳

본 튜토리얼에서는 sqlite-vec, pgvector 확장과 django-pyhub-rag 라이브러리, 그리고 장고를 효율적으로 활용하여 RAG 웹 채팅 서비스를 구현하는 방법을 살펴봤습니다. 장고 ORM의 강력한 기능을 활용하여 임베딩 생성부터 유사도 검색까지 간결하게 구현할 수 있었습니다. 이제 여러분도 SQLiteVectorDocument, PGVectorDocument 모델을 상속하여 새로운 문서 모델을 정의하고, 평소 장고 개발하듯이 RAG 서비스를 구현하실 수 있습니다.

개선 포인트

1. markdown 포맷 지원

   • LLM 응답은 markdown 포맷인데 이를 HTML로 변환하지 않아, markdown 코드가 그대로 노출되고 있습니다. markdown to html 변환이 필요합니다.

   • 부록 #2. AI 응답 markdown 포맷 변환에서 개선

2. 답변 퀄리티

   • OpenAI 의 GPT-4o-mini 모델을 사용했기에 답변 퀄리티가 좋지 않습니다. RAG #02. 실전: 세법 RAG를 위한 pgvector 임베딩 튜토리얼의 세법해석례 RAG 문서에서 OpenAI, Anthropic, Google 의 여러 모델에 대한 답변을 비교해보실 수 있습니다. Claude 3.5 Sonnet 모델이 가장 좋은 답변을 생성했습니다.

   • 부록 #4. Anthropic API 응답 받기에서 개선

3. UX 개선

   • 응답이 오기까지 시간이 오래 걸려 화면에 변화가 전혀 없어 사용자 경험이 좋지 않습니다. 메시지 응답을 하는 동안 로딩 아이콘을 표시하여 사용자가 대기 중임을 알 수 있도록 할 수 있습니다. htmx와 함께 alpine.js를 사용하면 손쉽게 구현할 수 있습니다. - 부록 #3. 응답 대기 중 표시에서 개선

   • 서버에서 진행 상황도 중간 중간 생성할 수 있다면, 서버에서 스트리밍 방식으로 응답을 한다면 유저에게 더 나은 경험을 제공할 수 있습니다.

   • 웹소켓 방식으로 채팅 화면을 구현하면 더 나은 경험을 제공할 수 있습니다. 장고에서는 channels를 통해 장고 스타일의 웹소켓을 지원합니다.

4. 장고 Form을 통한 채팅 메시지 입력 폼 렌더링

   • 입력 폼 HTML은 직접 HTML을 구성하실 수도 있고, 장고 Form을 통해 렌더링할 수도 있습니다. 장고 Form을 사용하면 유효성 검사, CSRF 보호, 폼 필드 자동 생성, 에러 메시지 처리 등의 기능을 자동으로 제공받을 수 있어 개발 시간을 단축하고 보안성을 높일 수 있습니다. 또한 폼 레이아웃 변경 시 템플릿 코드 수정 없이 폼 클래스만 수정하면 되므로 유지보수성도 향상됩니다.

5. pgvector 모델에 인덱스 지정이 필요합니다

   • django-pyhub-rag 라이브러리에서는 pgvector에 대해서는 인덱스를 지원하며, sqlite-vec에 대해서는 곧 인덱스 옵션을 지원할 예정입니다.

감사의 말

인생은 짧습니다. 파이썬과 장고를 통해 개발 시간을 절약하고, 여러분의 비즈니스와 아이디어 실현에 더 집중하세요. 앞으로도 파이썬/장고와 함께 RAG 및 AI 웹 서비스 개발에 유용한 노하우와 정보를 지속적으로 공유드리겠습니다.

많은 관심과 응원 부탁드립니다.

여러분의 파이썬/장고 페이스메이커가 되겠습니다. 감사합니다.

파이썬사랑방, 이진석 드림