← Works로 돌아가기

RAG · On-prem LLM

예술인 경력 챗봇 설계

공개 FAQ와 로그인 후 조회를 분리한 RAG·도구호출 구조를 설계하고, 상용 배포에 맞는 오픈 웨이트 모델 후보를 비교·정리했습니다.

역할

AI solution design — RAG·도구호출·모델 선정 기준

스택

  • RAG
  • Tool calling
  • Open-weight LLM
  • OCR 연동 구상

한 일

  • 공개 지식과 로그인 후 개인 조회를 분리해 환각·민감정보 리스크를 줄이는 구조
  • 지식을 모델에 넣지 않고 검색·조회로 두는 운영 원칙 정리
  • 상업 배포 라이선스를 먼저 보는 모델 후보 비교
  • 증빙 문서 OCR과 챗봇 안내를 같은 축으로 붙이는 방향 설계

성과

  • 공공·기관형 챗봇을 라이선스·가드·RAG 중심으로 설계하는 틀을 만듦
  • PoC부터 운영까지 이어질 수 있는 단계별 실행안 정리