한컴으로부터 제품 이용 및 원고료를 지원받아 작성했습니다.한컴 데이터 로더로 RAG 문서 전처리하기: LangChain 연동 실습 문서 기반 질의응답을 만들 때 모델과 임베딩부터 고르기 쉽습니다. 하지만 규정집이나 매뉴얼처럼 표, 각주, 제목과 본문이 함께 의미를 만드는 문서라면 그보다 앞단의 문서 전처리가 먼저입니다. 검색 단계에서 찾을 수 있는 텍스트 조각은 처음에 문서를 어떤 단위로 만들었는지에 따라 달라지기 때문입니다.한컴 데이터 로더(Hancom Data Loader)로 문서를 구조화해 LangChain Document로 연결했습니다. 답변에 사용된 페이지와 문서 요소까지 다시 확인하는 RAG 파이프라인으로 구성했습니다.RAG에서 문서 전처리가 먼저인 이유RAG는 질문과 관련된 외부 문서를 검색..