[트렌드 리포트] RAG 도입, 무엇이 가장 어려울까? - 기업 설문으로 본 AI 도입 실전 가이드

 

[kt cloud 마케팅커뮤니케이션 팀]

안녕하세요, kt cloud 마케팅커뮤니케이션팀입니다.

 

생성형 AI 도입에 대한 관심이 높아지며, 기업들은 단순한 API 호출을 넘어 자사 데이터를 기반으로 하는 맞춤형 AI 시스템 구축에 관심을 갖기 시작했습니다. 그 중심에 있는 기술이 바로 RAG(Retrieval-Augmented Generation)인데요.

 

하지만 기술의 개념은 점차 알려지고 있음에도, 실제 기업 환경에서 RAG 시스템을 도입·운영하기까지는 여전히 다양한 장벽이 존재합니다.

 

지난 7월 24일, ‘우리 기업의 AX 전략 웨비나’에 참석한 실무자 약 300명을 대상으로 진행한 설문을 통해 기업들이 생성형 AI, 특히 RAG 도입을 어떻게 고민하고 있으며 어떤 지원이 필요한지를 구체적으로 살펴보았습니다.

---

생성형 AI, 기업의 도입 목적은 ‘지식 자동화’

설문에 참여한 응답자의 49%가 ‘사내 지식 검색 및 문서 요약’을 주요 활용 목적으로 꼽았고, 44%는 업무 자동화 도구, 31%는 코드 생성 또는 기술지원, 26%는 고객 응대 챗봇으로 AI 도입을 고려 중이라고 답했습니다.

 

이는 단순 생성이 아닌 문서 기반의 정확한 정보 활용과 자동화를 중심으로 기업의 관심이 모이고 있다는 점을 보여줍니다. 이러한 용도는 모두 RAG가 강점을 발휘할 수 있는 영역이기도 합니다.

---

AI 도입 고려 방식은 ‘맞춤형 구축’이 대세

생성형 AI 도입 시 가장 적합하다고 생각하는 접근 방식이 무엇인지 묻는 질문에는 응답자의 47%가 ‘RAG 기반 사용자 맞춤형 AI 시스템 구축’을 선택했습니다. 이는 단순한 API 호출 방식이나 자체 모델 개발보다 자사 데이터를 활용한 현실적 접근 방식을 선호한다는 경향을 보여줍니다.

 

API 기반 외부 LLM 활용은 31%, 자체 모델 학습은 14%에 불과했으며, 잘 모르겠다는 응답도 8%로 집계돼 여전히 방향성을 정하지 못한 기업도 적지 않았습니다.

---

RAG 도입, 본격적인 확산은 아직

RAG 기술에 대한 실질적인 도입 여부를 묻는 질문에는, 11%만이 실제로 도입했거나 PoC를 진행 중이라고 답했고, 가장 많은 비율인 31%가 내부 검토 중, 29%는 가능성만 열어둔 상태라고 응답했습니다.

 

잘 모르겠다는 답변도 11%에 달해, RAG 기술에 대한 인지도는 있으나 실무 적용까지는 아직 초입 단계에 머물러 있는 것으로 보여집니다.

---

도입 장벽 1위는 ‘데이터 준비 부족’

RAG 시스템을 도입할 때 가장 먼저 고려해야 할 요소로는 응답자의 39%가 ‘사내 데이터 확보 및 구조화’를 꼽았고, 뒤이어 검색 정확도 및 벡터 인덱싱(21%), 시스템 아키텍처 구성(20%)이 뒤를 이었습니다.

 

그러나 실제 자사 데이터의 준비 수준을 묻는 문항에서는 39%가 ‘데이터가 흩어져 있고 구조화되어 있지 않다’, 35%는 ‘일부 정제는 필요하지만 적용 가능하다’고 응답해, 기술보다 데이터가 도입의 실질적 허들이 되고 있음을 확인할 수 있었습니다.

---

가장 필요한 지원은 ‘내부 데이터 전처리/정제 지원’

도입 과정에서 가장 필요한 지원을 묻는 질문에서는 내부 데이터 전처리/정제 지원(31%), 실무 사례 및 아키텍처 템플릿(27%), 검색엔진/벡터DB 구성 가이드(18%), 모델-인프라 통합 환경(15%)에 대한 수요가 높게 나타났습니다. 특히 상위 응답 항목 대부분이 사내 데이터 활용과 적용 사례에 대한 구체적 지원에 집중되어 있다는 점에서, 기업들은 기술 자체보다 기존 자산을 어떻게 RAG 구조에 연계할 수 있을지에 더욱 관심을 갖고 있음을 보여줍니다.

---

실제 운영을 위한 조건은 기술보다 ‘환경’

RAG 기반 시스템을 실제로 운영하려면 어떤 조건이 필요한지를 묻는 질문에는 50%가 '데이터 보안 및 권한 체계'를 최우선으로, 48%는 운영 및 관리 자동화, 45%는 PaaS 기반 인프라를 꼽았습니다.

 

이는 단순히 모델 성능이나 검색 정확도 이상의 문제로, 도입 이후 안정적이고 지속 가능한 운영을 가능하게 할 기반 요소에 대한 수요가 높다는 것을 보여줍니다. 특히 보안, 인프라, 관리 효율성과 같은 항목들은 AI 시스템이 조직 내 업무와 프로세스에 자연스럽게 통합되기 위한 핵심 요건으로 작용하고 있습니다.

 

이번 설문을 통해 확인된 것처럼, 많은 기업들이 생성형 AI 도입을 고려하면서도 실제 RAG 운영에는 데이터 구조화, 기술 설계, 보안 및 운영 환경 등 복합적인 장벽을 느끼고 있는 것으로 나타났습니다.

 

kt cloud AI Foundry는 이러한 기업의 고민을 현장 중심의 해법으로 풀어냅니다.

---

1️⃣ 20년 이상의 클라우드 운영 경험과 고가용성 인프라,

국내 보안·규제 대응이 가능한 환경으로 RAG 도입의 기반을 제공합니다.

 

2️⃣ 다양한 LLM과 유연한 데이터 연동, 직관적인 RAG 구성 UI를 통해

PoC부터 실서비스까지 손쉽게 확장할 수 있습니다.

 

3️⃣ 적용 가이드, 데이터 전처리, 기술 지원까지 포함된 밀착형 전문 인력 지원 체계는

단순한 도입을 넘어 실질적인 비즈니스 성과로 이어지는 전환을 돕습니다.

---

AI 전환, 아직도 어디서부터 시작해야 할지 고민 중이신가요? 복잡한 선택지를 정리하고, 가장 현실적인 방법으로 RAG를 시작하고 싶다면, kt cloud AI Foundry가 바로 그 해답입니다.

 

감사합니다.

kt cloud AI Foundry가 더 궁금하신가요?
이번 웨비나에서 소개된 RAG 기반 AI 환경, 직접 경험해보실 수 있습니다.
아래 링크를 통해 맞춤형 컨설팅을 빠르게 받아보세요!
✅ kt cloud AI Foundry 맞춤형 컨설팅 요청 바로가기: https://cloud.kt.com/form/consulting
☁️ kt cloud의 AI Cloud 자세히 보기 : https://www.ktcloud.com/service/aicloud?lan=kor