[웨비나 후기] 생성형 AI 도입이 막막한 기업을 위한 현실적인 첫걸음

 

[kt cloud 마케팅커뮤니케이션 팀]

안녕하세요, kt cloud 마케팅커뮤니케이션팀입니다.

 

기업의 AX(AI Transformation)가 본격화되면서 비즈니스 경쟁력 확보를 위한 생성형 AI 도입이 중요한 과제로 떠오르고 있습니다. 하지만 실제 구현 단계에서는 모델 선정, 인프라 구성, 데이터 연계, 보안, 비용 등 복잡한 과제를 동시다발적으로 해결해야 하는 문제에 직면하게 됩니다.

 

이러한 현실적인 어려움을 해결하기 위해 지난 24일,

kt cloud에서는‘우리 기업의 AX 전략 - RAG 구축으로 시작하는 kt cloud AI Foundry 활용’을 주제로 웨비나를 진행했습니다.

 

이번 AX 전략 웨비나에서는 연사들의 풍부한 실전 경험을 바탕으로, AI 산업과 RAG 기술 트렌드, 그리고 kt cloud AI Foundry의 구조와 생태계를 먼저 짚어보고, 이후에는 실제 업무 환경에서 AI Foundry를 활용한 서비스 아키텍처와 도입 효과, 그리고 RAG 구현 시 기대할 수 있는 실질적 비즈니스 이점까지 실무 중심으로 소개했습니다.

 

많은 분들이 적극적으로 참여해 주시고 질문을 남겨주신 덕분에, kt cloud의 2025년 세 번째 웨비나를 성공적으로 마칠 수 있었습니다. 아쉽게도 웨비나에 참석하지 못하신 분들을 위해, 이번 웨비나에서 공유된 중요한 정보들과 많은 관심을 받았던 Q&A 내용을 정리해 보았습니다.

---

kt cloud AI Foundry 소개

첫 번째 세션에서는 생성형 AI 도입의 핵심 기술로 주목받고 있는 RAG(Retrieval-Augmented Generation)의 최신 트렌드와, 이를 기반으로 한 kt cloud의 개방형 AI 생태계 전략을 다뤘습니다.

 

발표를 맡은 kt cloud 감철웅 상무, 업스테이지 권순일 부사장, 디노티시아 노홍찬 CDO는 빠르게 변화하는 AI 산업 속에서 RAG가 왜 중요한지, 그리고 기업 환경에 어떻게 적용할 수 있는지를 다양한 관점에서 풀어냈습니다.

 

특히 기존의 정해진 워크플로우 기반 RAG 시스템에서 벗어나, Reasoning과 MCP Tool Calling이 가능한 Agentic AI 모델로의 기술적 진화를 짚으며, 생성형 AI의 정확도와 활용도를 높이기 위한 방향성을 제시했습니다.

 

이와 함께 기업들이 생성형 AI를 도입하면서 자주 마주하는 전략 부재, 인력 부족, 속도 지연 등의 현실적인 고민도 짚었는데요. 이에 대한 해답으로 kt cloud는 다양한 파트너사와 연동 가능한 AI Foundry 환경을 제안하며, 원하는 모델, 벡터DB, 인프라를 유연하게 선택할 수 있는 개방형 구조의 강점을 강조했습니다.

 

이번 세션은 기술 트렌드와 실무적 인사이트, 전략적 방향성까지 아우르며 RAG 기반 AI 도입을 고민하는 기업들에게 실질적인 힌트를 주는 시간이었습니다.

---

RAG: 생성형 AI의 정확도를 높이는 열쇠

이어지는 두 번째 세션에서는 kt cloud 감철웅 상무가 RAG 기술의 기본 원리부터 실질적인 활용 방안, 그리고 kt cloud RAG 솔루션만의 차별점까지 자세히 소개했습니다.

 

우선 RAG의 작동 방식은 크게 두 단계로 설명되었습니다. 첫 번째는 검색 단계로, 외부 지식 소스에서 관련 정보를 찾아오고, 두 번째는 생성 단계로, 검색된 정보를 바탕으로 보다 정확하고 상황에 맞는 답변을 생성하는 구조입니다.

 

이러한 RAG 구조는 기업 내 최신 정보를 반영한 응답 제공, 높은 정확도가 요구되는 업무, 특정 도메인에 특화된 질문 응답 등 다양한 분야에 활용될 수 있는데요. 예를 들어, 사내 지식 검색, 고객 응대 자동화, 연구개발, 특허 분석 같은 실제 업무에 바로 적용할 수 있다는 점이 강조되었습니다.

 

이어서 소개된 kt cloud의 RAG 솔루션은 강력한 인프라 기반, 다양한 LLM 지원, 유연한 데이터 연동, 간편한 AI 모델 개발 및 배포 환경, 전문 기술 지원까지 기업이 생성형 AI를 실제로 도입하고 활용하는 데 필요한 실질적인 조건을 갖추고 있다는 점이 강조되었습니다.

 

이번 세션은 단순히 기술 개념에 그치지 않고, 실제 현장에서 어떤 문제를 해결할 수 있는지, 그리고 kt cloud가 어떤 방식으로 이를 지원하고 있는지에 대한 구체적인 인사이트를 얻을 수 있는 시간으로 구성되었습니다.

---

🎙️kt cloud AI Foundry 기반 RAG 서비스에 대해 무엇이든 물어보세요!

1. kt cloud AI Foundry는 AWS Bedrock이나 SageMaker처럼 완전관리형 형태로 제공되나요?
kt cloud AI Foundry는 RAG 구성, AI 모델, 인프라 전반을 아우르는 통합 플랫폼으로, 각 분야에서 검증된 파트너사들과 협력해 기업의 AI 니즈에 맞는 End-to-End 구성을 지원합니다. 개발자는 모듈형으로 RAG를 구성할 수 있고, 기업 실무자는 kt cloud의 공인 MSP사를 통해 손쉽게 운영할 수 있도록 설계되었습니다.

 

2. 산업별로 LLM과 RAG 데이터를 어떻게 운영하고, 정확도는 어떻게 높일 수 있나요?
금융, 법률, 제약 등 다양한 분야별 특성과 제약을 고려해 사전 컨설팅을 통해 데이터 전처리 방식과 적용 전략을 맞춤 지원할 예정입니다. 정확도 향상은 벡터DB의 성능(QPS, 신뢰도 등)에 크게 좌우되며, 검증된 PaaS 상품을 활용해 고도화할 수 있습니다.

 

3. RAG 도입 시, 기업 내 여러 문서 기반 데이터를 어떻게 통합·관리하나요?
kt cloud는 고객사의 Knowledge Base 구축을 위해 데이터 선별부터 관리까지 전문 컨설팅을 제공합니다. 데이터 업데이트 주기나 관리 방식도 고객과 협의해 유연하게 운영할 수 있도록 지원합니다.

 

4, 온프레미스 환경에서 RAG 기반 Agent를 도입하고자 할 때, LLM 파인튜닝 없이 API 연동만으로도 충분할까요?
조직 내부 정보는 지속적으로 변화하기 때문에, 정적인 방식의 LLM 파인튜닝보다는 RAG와 API 연동을 통한 방식이 더 실용적일 수 있습니다. 변경되는 정보를 유연하게 반영할 수 있어 정확성과 활용성 측면에서도 유리합니다.

 

5. Hugging Face 같은 오픈소스 허브의 LLM 모델도 활용 가능한가요?
네, 가능합니다. 원하는 LLM 모델을 kt cloud GPUaaS 환경에 직접 구축하거나 외부 환경에서 구축한 후, AI Foundry API와 연동해 서비스에 적용하실 수 있습니다.

kt cloud AI Foundry가 더 궁금하신가요?
이번 웨비나에서 소개된 RAG 기반 AI 환경, 직접 경험해보실 수 있습니다.
아래 링크를 통해 맞춤형 컨설팅을 빠르게 받아보세요!
✅ kt cloud AI Foundry 맞춤형 컨설팅 요청 바로가기: https://cloud.kt.com/form/consulting
☁️ kt cloud의 AI Cloud 자세히 보기 : https://www.ktcloud.com/service/aicloud?lan=kor

---

🔎우리 기업의 AX 전략 웨비나 다시보기