Back to the Basics Back to the Basics

RAG 시스템에서 검색된 문서를 프롬프트에 어떻게 구성하느냐에 따라 LLM의 응답 품질이 결정됩니다. 이 글에서는 Spring AI의 ChatClient를 활용한 고급 프롬프트 구성 방식과 문서 삽입 전략을 실전 예제 중심으로 소개합니다. 단순하게 “문서를 넣자”는 위험한 생각 많은 초보 구현에서 이런 식의 프롬프트가 사용됩니다.[문서들]{document1}{document2}{document3}질문: 사용자가 입력한 질문답변:이 구조, 잘못되진 않았지만 지나치게 단순하고, 모델에게 역할이 명확하지 않으며, 문맥 유지가 어렵습니다.특히 여러 문서를 삽입하면 모델은 어디까지를 참고해야 할지 혼란스러워합니다. 고급 RAG 시스템은 단순히 “문서를 붙이는” 수준을 넘어서야 합니다.Spring AI의 Chat..

기존 Elasticsearch/OpenSearch 인프라를 기반으로 RAG 시스템을 구축하려면 벡터 검색 기능과 LLM 연동 전략이 필요합니다. 본 글에서는 Spring AI 환경에서 OpenSearch를 활용한 Vector Search 통합 방법과 설계 전략을 정리합니다. 왜 OpenSearch 벡터 검색인가? 많은 기업에서 이미 Elasticsearch 또는 OpenSearch를 로그, 검색, 운영 데이터 저장소로 사용하고 있습니다.이런 환경에 새로 LLM 기반 RAG 시스템을 도입할 때 가장 이상적인 방법은 기존 인프라를 그대로 활용하는 것입니다. OpenSearch는 최근 버전부터 Dense Vector Field와 k-NN 검색 기능을 공식 지원하고 있으며,Spring 애플리케이션에서 바로 연..

Milvus는 AI용 벡터 DB로 빠르게 성장하고 있는 오픈소스 프로젝트입니다. 고차원 벡터 데이터를 빠르게 검색하고, 수억 개의 임베딩 데이터를 효율적으로 다룰 수 있다는 점에서 RAG 구현 시 핵심 인프라로 자리 잡고 있습니다. 이번 글에서는 Spring AI 환경에서 Milvus를 연동하고, 실제로 벡터 검색에 활용하는 실전 전략을 다뤄보겠습니다. Milvus가 RAG 벡터 DB로 주목받는 이유 Milvus는 다음과 같은 특성으로 인해 Spring AI 기반의 벡터 검색 시스템에서 매우 유리한 선택지로 꼽힙니다. 높은 성능과 확장성: 수억 개의 벡터를 고속으로 인덱싱하고 검색할 수 있음유연한 인덱스 구조: IVF_FLAT, HNSW, DiskANN 등 다양한 벡터 인덱싱 알고리즘 지원GRPC 기반..