기술 블로그 (Tech) | kt cloud

[ kt cloud Cloud컨설팅팀 심대섭 님 ] 📋 요약 이 글에서는 RAG(검색 증강 생성) 기반 LLM 서비스에서 컨텍스트 품질이 답변 성능에 미치는 영향과,TopK 조정·rerank·중복 제거·질문 기반 압축 등 실무 적용 가능한 컨텍스트 최적화 기법을 다룹니다.프롬프트 튜닝보다 근거 문서의 선별·정제·구조화가답변의 신뢰성과 일관성을 결정하는 핵심 변수임을 정리합니다.#RAG #컨텍스트최적화 #rerank #TopK #query-aware-compression LLM을 서비스에 붙이면 가장 먼저 손대는 건 보통 프롬프트입니다. 그런데 운영 단계로 들어가면, 프롬프트를 아무리 다듬어도 답변 품질이 들쭉날쭉한 상황을 자주 마주합니다. 특히 RAG처럼 문서를 붙여 답하게 만드는 구조..

[ kt cloud 마케팅커뮤니케이션팀 김지웅 님 ] 📋 요약 이 글에서는 RAG 시스템의 핵심 구성 요소인 임베딩 원리, 다국어 모델 선정 전략,그리고 HNSW·DiskANN·GPU 가속·양자화 등 벡터 인덱싱 최적화 기법을 다룹니다.모델의 표현력과 인프라 검색 효율 사이의 트레이드오프를 이해하는 것이실무 RAG 시스템의 품질과 운영 비용을 동시에 결정짓는다는 점을 정리합니다. #RAG #벡터임베딩 #HNSW #DiskANN #양자화들어가며 💭안녕하세요, kt cloud 테크 마케터 김지웅 입니다. 🙋‍♂️RAG를 구축하다 보면 지난 3편에서 다룬 '청킹' 다음으로 반드시 마주하는 거대한 산이 하나 있어요.“문서를 잘게 쪼개긴 했는데, 이걸 도대체 어떤 기준으로 수치화하고(임베딩), 수억 개..