기술 블로그 (Tech) | kt cloud

[ kt cloud Cloud컨설팅팀 심대섭 님 ] 📋 요약 이 글에서는 RAG(검색 증강 생성) 기반 LLM 서비스에서 컨텍스트 품질이 답변 성능에 미치는 영향과,TopK 조정·rerank·중복 제거·질문 기반 압축 등 실무 적용 가능한 컨텍스트 최적화 기법을 다룹니다.프롬프트 튜닝보다 근거 문서의 선별·정제·구조화가답변의 신뢰성과 일관성을 결정하는 핵심 변수임을 정리합니다.#RAG #컨텍스트최적화 #rerank #TopK #query-aware-compression LLM을 서비스에 붙이면 가장 먼저 손대는 건 보통 프롬프트입니다. 그런데 운영 단계로 들어가면, 프롬프트를 아무리 다듬어도 답변 품질이 들쭉날쭉한 상황을 자주 마주합니다. 특히 RAG처럼 문서를 붙여 답하게 만드는 구조..

[ kt cloud 마케팅커뮤니케이션팀 김지웅 님 ] 📋 요약 이 글에서는 RAG 시스템의 핵심 구성 요소인 임베딩 원리, 다국어 모델 선정 전략,그리고 HNSW·DiskANN·GPU 가속·양자화 등 벡터 인덱싱 최적화 기법을 다룹니다.모델의 표현력과 인프라 검색 효율 사이의 트레이드오프를 이해하는 것이실무 RAG 시스템의 품질과 운영 비용을 동시에 결정짓는다는 점을 정리합니다. #RAG #벡터임베딩 #HNSW #DiskANN #양자화들어가며 💭안녕하세요, kt cloud 테크 마케터 김지웅 입니다. 🙋‍♂️RAG를 구축하다 보면 지난 3편에서 다룬 '청킹' 다음으로 반드시 마주하는 거대한 산이 하나 있어요.“문서를 잘게 쪼개긴 했는데, 이걸 도대체 어떤 기준으로 수치화하고(임베딩), 수억 개..

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 이 글에서는 AI 모델 운영의 핵심인 MLOps에서 LLMOps로의 진화 과정을 다룹니다.생성형 AI 시대에 필요한 운영 체계의 변화와 기업이 고려해야 할 실무 관점을 정리합니다.#MLOps #LLMOps #AI운영 #생성형AI #RAGAI 모델을 만들고 배포하는 일은 이제 그 자체로 특별하지 않습니다. 누구나 튜토리얼을 따라 모델을 학습시키고, 몇 번의 시도로 눈에 띄는 성능을 낼 수 있습니다.그러나 모델을 ‘운영’하기 시작하는 순간, 이야기는 완전히 달라집니다. 실제 환경에서 AI는 하나의 모델로 완성되지 않습니다. 데이터 검증, 파이프라인 자동화, 자원 스케줄링, 거버넌스 정책 등이 동시에 맞물려야 합니다. 각 단계는 서로 의..

[ kt cloud 마케팅커뮤니케이션팀 김지웅 님 ] 📋 요약 RAG 시스템의 성능을 좌우하는 청킹(Chunking) 전략과 최적화 방법을 다룹니다.고정 길이, 의미 기반, 구조 기반 청킹의 원리와 실전 활용법을 상세히 소개합니다.#RAG #청킹 #AI검색 #LLM #데이터전처리들어가며 💭안녕하세요, kt cloud 테크 마케터 김지웅입니다. 🙋‍♂️RAG를 구축하다 보면 누구나 한 번쯤 이런 벽을 만나게 돼요.“문서는 준비했고, 임베딩도 만들었는데… 왜 성능이 기대보다 낮지?” 이때 가장 먼저 의심해야 하는 부분이 바로 청킹(Chunking)이에요.LLM이 이해할 수 있는 크기로 문서를 분할하는 단순한 작업처럼 보이지만, 실제로는 검색 품질·비용·지연까지 모두 좌우하는 핵심 변수거든요. 흥미로운..

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 Opensource Summit 2025에서 kt cloud AI Foundry 기반 RAG 챗봇 구축 사례를 소개합니다.모델 배포부터 임베딩, 벡터 저장소까지 통합 플랫폼으로 구현한 실전 아키텍처와 코드를 단계별로 공유합니다.#AIFoundry #RAG #챗봇구축 #오픈소스 #클라우드AI2025년 11월 4일부터 5일까지, 서울 코엑스에서 열린 Opensource Summit Korea 2025는 국내외 개발자와 오픈소스 커뮤니티가 한자리에 모이는 대규모 기술 행사였습니다. kt cloud는 이 자리에서 다이아몬드 스폰서로 참여하며, AI Foundry 플랫폼을 중심으로 한 다양한 AI 서비스 경험을 선보였습니다.행사장 한쪽에 마련된 kt cl..

[ kt cloud 마케팅커뮤니케이션팀 김지웅 님 ] 📋 요약 RAG 시스템에서 데이터 파싱과 전처리가 검색 품질에 미치는 핵심 영향을 분석합니다.정형·반정형·비정형 데이터별 최적화 전략과 효율적인 자동화 파이프라인 설계 방안을 제시합니다. #RAG #데이터파싱 #전처리 #검색증강생성 #AI들어가며 💭안녕하세요, kt cloud 테크 마케터 김지웅입니다. 🙋‍♂️RAG 시리즈 1편에서 아키텍처와 핵심 구성 요소를 다뤘는데, 많은 분들이 이런 질문을 해주셨어요. "RAG 구조는 이해했는데... 실제로 데이터를 어떻게 준비해야 하나요?" 🤔 정말 핵심을 짚은 질문이에요. 아무리 훌륭한 LLM과 벡터 검색 엔진을 갖춰도, 데이터 준비 단계에서 실수하면 모든 게 무너져요. 특히 기업 환경에서는 PDF 보..

[ kt cloud 마케팅커뮤니케이션팀 김지웅 님 ]📋요약 생성형 AI의 한계를 보완하는 RAG(Retrieval-Augmented Generation)의 개념과 구조를 소개합니다.검색과 생성을 결합해 최신 정보 반영, 출처 기반 정확성, 투명한 검증으로신뢰성 있는 답변을 가능하게 하는 원리와 핵심 요소를 설명합니다. #RAG #검색증강생성 #벡터임베딩 #AI아키텍처 #LLM들어가며 💭안녕하세요, kt cloud 테크 마케터 김지웅입니다. 🙋‍♂️요즘 뉴스와 컨퍼런스에서는 하루가 멀다 하고 “생성형 AI 혁신 사례”가 쏟아지고 있어요.하지만 막상 현업에서 만나는 분들은 이렇게 묻곤 해요.“AI가 답은 잘하는데… 믿을 만한 걸까? 🤔”그 의문에는 이유가 있어요. AI 답변이 때로는 겉보기에 그럴듯하..

[kt cloud 마케팅커뮤니케이션 팀]안녕하세요, kt cloud 마케팅커뮤니케이션팀입니다. 생성형 AI 도입에 대한 관심이 높아지며, 기업들은 단순한 API 호출을 넘어 자사 데이터를 기반으로 하는 맞춤형 AI 시스템 구축에 관심을 갖기 시작했습니다. 그 중심에 있는 기술이 바로 RAG(Retrieval-Augmented Generation)인데요. 하지만 기술의 개념은 점차 알려지고 있음에도, 실제 기업 환경에서 RAG 시스템을 도입·운영하기까지는 여전히 다양한 장벽이 존재합니다. 지난 7월 24일, ‘우리 기업의 AX 전략 웨비나’에 참석한 실무자 약 300명을 대상으로 진행한 설문을 통해 기업들이 생성형 AI, 특히 RAG 도입을 어떻게 고민하고 있으며 어떤 지원이 필요한지를 구체적으로 살펴보았..

[kt cloud 마케팅커뮤니케이션 팀] 안녕하세요. kt cloud 마케팅커뮤니케이션팀입니다. 기업의 AX(AI Transformation)가 본격화되면서 경쟁력 확보를 위한 생성형 AI 도입이 중요한 과제로 떠오르고 있습니다. 하지만 실제 구현 단계에서는 모델 선정, 인프라 구성, 데이터 연계, 보안, 비용 등 복잡한 과제를 동시다발적으로 해결해야 하는 문제에 직면하게 됩니다. 이러한 현실적인 어려움을 해결하기 위해 kt cloud에서는 ‘우리 기업의 AX 전략 - RAG 구축으로 시작하는 kt cloud AI Foundry 활용’을 주제로 오는 7월 24일(목) 오후 2시부터 3시까지 온라인 세미나를 진행합니다. 이번 웨비나에서는 AI 산업과 RAG 기술 트렌드, 그리고 kt cloud AI Fo..

[kt cloud 마케팅커뮤니케이션팀 김지웅 님 ] Intro안녕하세요, kt cloud 테크 마케터 김지웅 입니다. 🙋‍♂️“혼자 가면 빨리 가지만, 함께 가면 더 멀리 간다”는 말처럼, AI 기술도 이제 ‘협업’의 시대로 접어들고 있어요. 과거에는 하나의 AI가 독립적으로 작동하며 주어진 작업만 수행했다면, 이제는 여러 AI 에이전트들이 팀처럼 협력하며 더 복잡하고 다양한 문제를 해결하고 있죠. ✨ 예를 들어, 한 AI는 전략을 수립하고, 다른 AI는 실행을 맡고, 또 다른 AI는 결과를 분석해요. 마치 기업에서 기획팀, 운영팀, 분석팀이 각자 역할을 나누어 일하는 것처럼요. 이러한 협업 구조는 자율주행, 스마트 시티, 금융 트레이딩 같은 복잡한 환경에서 효율성과 정확성을 동시에 달성하는 데 꼭 필..