기술 블로그 (Tech) | kt cloud

[ kt cloud Cloud컨설팅팀 심대섭 님 ] 📋 요약 이 글에서는 RAG(검색 증강 생성) 기반 LLM 서비스에서 컨텍스트 품질이 답변 성능에 미치는 영향과,TopK 조정·rerank·중복 제거·질문 기반 압축 등 실무 적용 가능한 컨텍스트 최적화 기법을 다룹니다.프롬프트 튜닝보다 근거 문서의 선별·정제·구조화가답변의 신뢰성과 일관성을 결정하는 핵심 변수임을 정리합니다.#RAG #컨텍스트최적화 #rerank #TopK #query-aware-compression LLM을 서비스에 붙이면 가장 먼저 손대는 건 보통 프롬프트입니다. 그런데 운영 단계로 들어가면, 프롬프트를 아무리 다듬어도 답변 품질이 들쭉날쭉한 상황을 자주 마주합니다. 특히 RAG처럼 문서를 붙여 답하게 만드는 구조..

[ kt cloud 마케팅커뮤니케이션팀 김지웅 님 ] 📋 요약 RAG 시스템의 성능을 좌우하는 청킹(Chunking) 전략과 최적화 방법을 다룹니다.고정 길이, 의미 기반, 구조 기반 청킹의 원리와 실전 활용법을 상세히 소개합니다.#RAG #청킹 #AI검색 #LLM #데이터전처리들어가며 💭안녕하세요, kt cloud 테크 마케터 김지웅입니다. 🙋‍♂️RAG를 구축하다 보면 누구나 한 번쯤 이런 벽을 만나게 돼요.“문서는 준비했고, 임베딩도 만들었는데… 왜 성능이 기대보다 낮지?” 이때 가장 먼저 의심해야 하는 부분이 바로 청킹(Chunking)이에요.LLM이 이해할 수 있는 크기로 문서를 분할하는 단순한 작업처럼 보이지만, 실제로는 검색 품질·비용·지연까지 모두 좌우하는 핵심 변수거든요. 흥미로운..

[ kt cloud 마케팅커뮤니케이션팀 김지웅 님 ]📋요약 생성형 AI의 한계를 보완하는 RAG(Retrieval-Augmented Generation)의 개념과 구조를 소개합니다.검색과 생성을 결합해 최신 정보 반영, 출처 기반 정확성, 투명한 검증으로신뢰성 있는 답변을 가능하게 하는 원리와 핵심 요소를 설명합니다. #RAG #검색증강생성 #벡터임베딩 #AI아키텍처 #LLM들어가며 💭안녕하세요, kt cloud 테크 마케터 김지웅입니다. 🙋‍♂️요즘 뉴스와 컨퍼런스에서는 하루가 멀다 하고 “생성형 AI 혁신 사례”가 쏟아지고 있어요.하지만 막상 현업에서 만나는 분들은 이렇게 묻곤 해요.“AI가 답은 잘하는데… 믿을 만한 걸까? 🤔”그 의문에는 이유가 있어요. AI 답변이 때로는 겉보기에 그럴듯하..

[kt cloud 마케팅커뮤니케이션 팀]안녕하세요, kt cloud 마케팅커뮤니케이션팀입니다. 생성형 AI 도입에 대한 관심이 높아지며, 기업들은 단순한 API 호출을 넘어 자사 데이터를 기반으로 하는 맞춤형 AI 시스템 구축에 관심을 갖기 시작했습니다. 그 중심에 있는 기술이 바로 RAG(Retrieval-Augmented Generation)인데요. 하지만 기술의 개념은 점차 알려지고 있음에도, 실제 기업 환경에서 RAG 시스템을 도입·운영하기까지는 여전히 다양한 장벽이 존재합니다. 지난 7월 24일, ‘우리 기업의 AX 전략 웨비나’에 참석한 실무자 약 300명을 대상으로 진행한 설문을 통해 기업들이 생성형 AI, 특히 RAG 도입을 어떻게 고민하고 있으며 어떤 지원이 필요한지를 구체적으로 살펴보았..