728x90
Chunking
-
Spring AI 시리즈 9화 – RAG 구축하기 (4): 문서 포맷 처리와 Text Chunking 전략기술과 산업/언어 및 프레임워크 2025. 6. 22. 13:19
RAG 시스템에서 문서 기반 응답을 구성하려면 다양한 문서 포맷을 파싱하고 의미 있는 단위로 분할하는 청크 전략이 핵심입니다. Spring AI의 문서 처리 컴포넌트 사용법과 실전에서 적용 가능한 Text Chunking 기법을 정리합니다. 문서를 넣으면 “LLM이 알아서 다 한다”? 많은 개발자들이 이렇게 생각합니다. “PDF나 HTML을 넣으면 GPT가 알아서 문서를 읽고 답해주겠지.” 그러나 실제로는 그렇지 않습니다.LLM은 길고 복잡한 문서를 한 번에 잘라내서 던져주면 오히려 문맥을 잃고 무의미한 답을 할 확률이 높습니다. 따라서 문서를 LLM이 이해할 수 있는 단위로 잘게 쪼개는 작업,즉 Text Chunking 전략이 RAG 시스템의 응답 품질을 좌우합니다. Spring AI의 문서 처리 ..