[AI활용] kt cloud AI Foundry로 AI 서비스 구축 흐름 한 번에 살펴보기

 

 

[ kt cloud AI사업개발팀 정소라 님 ]

📋 요약

이 글에서는 kt cloud AI Foundry를 활용한 기업 맞춤형 AI 서비스 구축 흐름을 다룹니다.
생성형 AI 도입을 체계화하고 보안·품질 리스크를 줄이는 실무 방향을 정리합니다.

#ktcloud #AIFoundry #RAG #LLM #생성형AI

 

---

바이브코딩 열풍과 더불어 kt cloud AI사업개발팀은 기업의 AX컨설팅 및 교육을 지원해드리고 있습니다.
오늘은 기업 맞춤형 AI 서비스를 가장 빠르고 효율적으로 구축할 수 있는 kt cloud AI Foundry의 활용 가이드를 준비했습니다.

복잡해 보이는 생성형 AI 개발, AI Foundry의 '5 step'을 따라가면 누구나 체계적으로 활용할 수 있습니다. 실제 kt cloud 콘솔 화면과 프로토타입 예시(Agent A)를 통해 그 과정을 5분 안에 훑어보실 수 있도록 정리했습니다.

Step 1. 요구사항 분석 및 모델 선정

모든 프로젝트의 시작은 '목적 정의'입니다.

• 비즈니스 요구 정의: 해결하고자 하는 문제가 무엇인지, KPI는 무엇인지 설정합니다.
• 모델 선정 전략:
  • 빠른 응답 속도와 경량화가 필요하다면? 👉 Solar Pro 2
  • 복잡한 추론과 깊이 있는 분석이 필요하다면? 👉 GPT-OSS-120B

실제 AI Foundry 콘솔 의 Text Generation 메뉴입니다. Solar Pro 2, Mini, Qwen3, GPT-OSS 등 다양한 LLM 라인업을 한눈에 비교하고, 프로젝트 성격에 맞춰 원클릭으로 선택/테스트할 수 있습니다.

---

Step 2. 데이터 준비 및 RAG 파이프라인 구축

LLM이 우리 회사의 업무 규정이나 데이터를 알게 하려면 어떻게 해야 할까요? 정답은 RAG(검색 증강 생성)입니다.

• RAG Suite 활용: PDF, DOCX 같은 비정형 사내 문서를 업로드하면, 파서(Parser)가 이를 구조화합니다.
• Vector DB 구성: 문서를 임베딩하여 벡터 DB에 저장, AI가 즉시 검색 가능한 상태로 만듭니다. 한국어에 최적화된 임베딩 모델을 지원하여 검색 정확도를 높였습니다.

---

Step 3. 모델 최적화 및 안전장치 설정

범용 LLM을 우리 도메인 전문가로 만드는 과정입니다.

• 프롬프트 엔지니어링: '시스템 프롬프트' 설계를 통해 AI에게 페르소나(예: 공공기관 행정 비서)를 부여합니다.
• Guardrail(가드레일) 설정: AI가 부적절한 답변을 하거나 환각(Hallucination) 현상을 일으키지 않도록 안전 검증 필터를 적용합니다.

---

공공 클라우드 콘솔 가드레일 모델 라인업

Step 4. 서비스 통합 및 배포

이제 만들어진 AI 모델을 실제 서비스에 연동할 차례입니다.

• API 통합: kt cloud 콘솔에서 발급받은 엔드포인트와 토큰(api key)을 서비스에 연결합니다.
• 보안 설정: (공공)기업 고객에게 가장 중요한 부분이죠. CSAP 보안 기준을 준수하는 안전한 환경을 제공합니다.(천안 G-cloud CSAP 인증 완료)

---

Step 5. 운영 및 고도화

서비스 오픈은 끝이 아니라 시작입니다.

• 품질 고도화: 사용자 피드백을 바탕으로 검색 엔진(Elastic Search 등)을 확장하거나 Re-rank 모델을 적용해 답변의 정확도를 지속적으로 개선합니다.

공공 클라우드 콘솔 Re-rank 모델 라인업

공공 클라우드 콘솔 PII 모델 라인업

---

[활용 예시] 공공기관 AI 비서 'Agent A'

위의 5 step을 통해 실제로 구현된 공공기관 전용 AI 비서 'Agent A'의 데모 모습입니다.

1. 메인 인터페이스 Solar Pro2와 100B(복잡 추론)급 LLM 모델을 하이브리드로 사용하여, 회의록 요약부터 예산안 분석까지 다양한 업무를 지원합니다.

2. 정책 자료 검색 (RAG 활용) "AI 기본법에 대해 알려줘"라고 질문하면, 관련된 법령과 조문을 정확히 찾아내어 근거 기반의 답변을 제공합니다.

3. 복잡한 규정 요약 "공무원 해외 여비 규정을 5줄 이내 개조식으로 알려줘"와 같은 구체적인 지시도 정확하게 수행합니다.

2026년 AI 서비스 로드맵

kt cloud는 멈추지 않고 진화하고 있습니다. '26년 로드맵을 통해 AI Nexus(인프라)와 AI Foundry(서비스)의 통합을 가속화하고 있습니다.

• 2Q: RAG Suite의 CSAP 인증 획득 (공공 고객 신뢰 확보) 및 GPU 개발 환경(IDE) 제공
• 3Q: BAI AI Agent 베타 오픈
• 4Q ~: AI Studio 통합으로 개발부터 배포, 운영까지 All-in-One 환경 제공 준비

이 글에서 소개하는 공공기관 AI 업무 비서 프로토타입은 GitHub, Claude Code, Antigravity, Netlify만으로 PM 혼자 랜딩페이지까지 배포한 사례로, AI Foundry 방법론을 따르면 개발 리소스가 제한된 환경에서도 빠르게 원하는 AI서비스를 만들어볼 수 있습니다.

 

앞으로 kt cloud에서는 다양한 LLM 모델들을 지속적으로 온보딩할 예정이며, 단순히 모델만 제공하는 것에 그치지 않고, 실무자들이 이 모델들을 가장 쉽고 빠르게 테스트하고 서비스에 적용할 수 있는 구체적인 방법과 노하우를 계속해서 공유해 드리겠습니다.

 

---

❓ 자주 묻는 질문 (FAQ)

Q.  개발자 없이 혼자서 AI 서비스 프로토타입을 만들 수 있나요?

A. 네, 가능합니다. Github, Claude Code, Antigravity, Netlify 등을 활용해 랜딩페이지를 빠르게 구축하고, 핵심 두뇌인 AI 모델은 'kt cloud AI Foundry RAG Suite API'를 연동해 보세요. 인프라 구축 부담 없이, 혼자서도 보안과 성능이 보장된 엔터프라이즈급 서비스를 즉시 론칭할 수 있습니다.

---

📚 관련/출처

[Tech Series] kt cloud AI 검색 증강 생성(RAG) #1 : 핵심 개념과 시스템 구조 이해 — 기술 블로그 (Tech) | kt cloud [Tech Series] kt cloud AI 검색 증강 생성(RAG) #2 : 데이터 파싱과 전처리 최적화 — 기술 블로그 (Tech) | kt cloud [Tech Series] kt cloud AI 검색 증강 생성(RAG) #3 : 청킹(Chunking) 전략과 최적화 — 기술 블로그 (Tech) | kt cloud