Back to the Basics Back to the Basics

RAG 시스템에서 검색된 문서를 프롬프트에 어떻게 구성하느냐에 따라 LLM의 응답 품질이 결정됩니다. 이 글에서는 Spring AI의 ChatClient를 활용한 고급 프롬프트 구성 방식과 문서 삽입 전략을 실전 예제 중심으로 소개합니다. 단순하게 “문서를 넣자”는 위험한 생각 많은 초보 구현에서 이런 식의 프롬프트가 사용됩니다.[문서들]{document1}{document2}{document3}질문: 사용자가 입력한 질문답변:이 구조, 잘못되진 않았지만 지나치게 단순하고, 모델에게 역할이 명확하지 않으며, 문맥 유지가 어렵습니다.특히 여러 문서를 삽입하면 모델은 어디까지를 참고해야 할지 혼란스러워합니다. 고급 RAG 시스템은 단순히 “문서를 붙이는” 수준을 넘어서야 합니다.Spring AI의 Chat..

기존 Elasticsearch/OpenSearch 인프라를 기반으로 RAG 시스템을 구축하려면 벡터 검색 기능과 LLM 연동 전략이 필요합니다. 본 글에서는 Spring AI 환경에서 OpenSearch를 활용한 Vector Search 통합 방법과 설계 전략을 정리합니다. 왜 OpenSearch 벡터 검색인가? 많은 기업에서 이미 Elasticsearch 또는 OpenSearch를 로그, 검색, 운영 데이터 저장소로 사용하고 있습니다.이런 환경에 새로 LLM 기반 RAG 시스템을 도입할 때 가장 이상적인 방법은 기존 인프라를 그대로 활용하는 것입니다. OpenSearch는 최근 버전부터 Dense Vector Field와 k-NN 검색 기능을 공식 지원하고 있으며,Spring 애플리케이션에서 바로 연..

RAG 시스템에서 핵심적인 컴포넌트인 VectorStore의 선택과 확장은 응답 품질과 성능에 직결됩니다. Chroma, Milvus, Weaviate, pgvector 등 주요 Vector DB들의 차이를 비교하고, Spring AI에서의 적용 방식을 전략적으로 분석합니다. VectorStore 선택, RAG의 품질을 결정한다 RAG 시스템을 구축할 때 가장 많은 시간과 고민이 들어가는 영역 중 하나가 바로 VectorStore 선택입니다.단순히 “벡터를 저장하는 곳”이라기보다는, 질문과 가장 밀접한 문서를 어떻게 빠르고 정확하게 찾아낼 수 있는가를 결정짓는 핵심 컴포넌트이기 때문입니다. LLM이 아무리 뛰어나더라도, 검색된 문서가 엉뚱하면 결과는 부정확하고 불안정할 수밖에 없습니다.따라서 이 글에서..

RAG(Retrieval-Augmented Generation)는 외부 지식과 LLM을 결합해 보다 정확한 응답을 생성하는 대표적인 아키텍처입니다. 본 글에서는 RAG의 개념과 핵심 요소인 Vector Store의 구조와 역할, Spring AI에서의 구현 방식을 심층적으로 분석합니다. RAG, 이제 선택이 아닌 기본 전략이 되다 LLM을 활용한 서비스에서 자주 나오는 요구사항이 있습니다. “GPT에게 우리 회사 메뉴얼을 학습시켜야 합니다.”“PDF 문서를 기반으로 답을 해줬으면 해요.”“특정 용어는 우리 업계 기준에 맞게 설명되었으면 좋겠어요.” 이런 요구는 단순한 텍스트 생성만으로는 충족되지 않습니다.바로 이때 등장하는 전략이 **RAG(Retrieval-Augmented Generation)**입니..

Spring AI에서 제공하는 PromptTemplate 기능을 바탕으로, LLM 응답을 더 정밀하게 제어할 수 있는 프롬프트 설계 전략을 살펴봅니다. 다양한 실전 예시와 함께 Prompt Engineering의 핵심 개념을 정리합니다. 우리가 GPT나 Hugging Face 모델을 쓸 때 가장 많이 하는 실수 중 하나는 이겁니다.그냥 질문만 던지고 결과가 별로면 모델 탓을 한다는 거죠.사실 LLM의 성능은 모델의 파라미터 수나 학습 데이터만으로 결정되지 않습니다.**어떻게 질문하느냐(Prompting)**도 그 못지않게 중요합니다.프롬프트 엔지니어링(Prompt Engineering)은 이 “질문 설계”를 통해 원하는 출력을 이끌어내는 기술입니다.Spring AI는 이걸 위한 도구로 PromptTemp..

Spring AI를 활용해 Hugging Face Inference API와 연동하는 방법을 설명합니다. 모델 선택, 설정 파일 구성, 텍스트 생성 실습까지 Java 기반에서 손쉽게 구현할 수 있는 방법을 소개합니다. Spring AI는 OpenAI뿐만 아니라 Hugging Face Hub의 모델들도 손쉽게 연동할 수 있도록 설계되어 있습니다.이번 글에서는 Spring AI를 통해 Hugging Face Inference API를 연동하고,BLOOM 또는 Falcon 등 텍스트 생성 모델을 활용하는 방법을 실습 중심으로 소개합니다.1. Hugging Face Inference API란?Hugging Face Inference API는 Hugging Face에 업로드된 사전 학습 모델을 REST API로 ..

Spring AI를 통해 OpenAI GPT API를 Spring Boot 애플리케이션에 연동하는 방법을 소개합니다. 프로젝트 설정, 프롬프트 구성, 결과 출력까지 실습 중심으로 설명합니다. 이전 글에서 Spring AI의 모듈 구조와 계층 설계를 살펴봤습니다. 이번 글에서는 그 구조를 실제로 적용해보는 시간을 갖겠습니다.Spring Boot 애플리케이션에 OpenAI GPT 모델을 연동하고, 사용자의 입력을 받아 텍스트를 생성하는 과정을 실습 중심으로 정리했습니다. 1. 의존성 설정 프로젝트에 OpenAI Starter를 추가합니다. 현재 Spring AI는 Maven Central에 공개되어 있으며, 버전은 0.8.0 기준입니다. Maven org.springframework.ai sprin..

Spring AI는 OpenAI, Hugging Face, Chroma 등 다양한 AI 서비스를 선언적으로 연동할 수 있도록 돕는 Spring 기반 프레임워크입니다. 본 글에서는 프로젝트 구조와 주요 모듈 역할을 중심으로, Spring AI의 구성 원리를 소개합니다. AI 기능을 애플리케이션에 녹여내기 위해 Spring AI를 도입하려 할 때, 가장 먼저 부딪히는 질문은 이것입니다. “Spring AI는 정확히 어떤 구조로 구성돼 있고, 어떤 모듈을 어떻게 의존해야 하지?” 이 질문은 단순히 설정을 어떻게 하느냐를 넘어,AI 기능을 어떻게 확장할 수 있는가,어떤 모듈이 어떤 기능을 담당하는가,그리고내가 사용하는 LLM과 Vector DB는 어떤 식으로 연동되는가를 이해하는 데 매우 중요합니다. 이번 글..