👨‍💻 Tech Story/Tech Inside

[Tech Series] kt cloud AI 에이전트 #3 : 에이전트의 활용 패턴과 아키텍처

kt cloud 테크블로그 2025. 3. 25. 23:07


 [kt cloud 마케팅커뮤니케이션팀 김지웅 님 ] 

Intro

안녕하세요, kt cloud 마케터 김지웅 입니다. 🙋‍♂️

지난 시리즈에서는 AI 에이전트의 정의와 구성 요소, 그리고 다양한 유형들에 대해 하나씩 알아봤어요.
아마 보시면서 이런 궁금증이 떠오르셨을 것 같아요. “이런 AI 에이전트는 실제로 어떻게 활용되고 있을까?”, “그리고 이런 시스템은 어떻게 만들어질까?”

 

이번 3부에서는 바로 그 궁금증을 풀어보려고 해요. AI 에이전트가 실제 비즈니스 현장에서 어떤 방식으로 사용되는지, 그리고 그 뒤에 숨어 있는 아키텍처는 어떻게 설계되는지를 함께 살펴볼 거예요.

 

작업 자동화, 대화형 인터페이스, 정보 검색 및 분석. AI 에이전트가 주로 활용되는 이 세 가지 패턴을 중심으로, 각각의 구조가 어떻게 구성되어 있는지도 소개해 드릴게요. AI 기술이 어떻게 업무 효율을 높이고, 조직의 일하는 방식을 바꿔나가고 있는지, 같이 알아보아요. 🚀


비즈니스 활용 패턴: AI 에이전트와 함께하는 스마트한 업무 환경 🌟

요즘 업무 환경이 정말 빠르게 바뀌고 있어요. 특히 ChatGPT가 등장한 이후로는, AI를 활용하는 일이 더 이상 특별한 일이 아니게 되었죠. 제 주변만 봐도, 보고서 작성이나 일정 관리, 아이디어 정리에 AI를 활용하는 분들이 정말 많아졌어요.

 

개인적으로는 이런 변화가 단순히 '편리함'을 넘어 '일하는 방식 자체'를 바꿔놓고 있다고 느껴요. 마치 스마트폰이 처음 등장했을 때, 우리의 일상에 큰 전환점이 되었던 것처럼요. AI 에이전트도 이제는 단순한 기술이 아니라, 업무 전반에 깊숙이 들어와 변화의 주체가 되고 있어요.

 

그럼 실제 비즈니스 현장에서는 어떤 모습으로 활용되고 있을까요? 이번 글에서는 AI 에이전트의 대표적인 세 가지 활용 패턴을 중심으로, 그 구조와 작동 방식까지 함께 살펴보려고 해요.


1. 작업 자동화 AI 에이전트 🤖

“복잡한 프로세스를 인식하고, 계획하고, 실행까지 조율하는 지능형 오토메이터”

작업 자동화 AI 에이전트는 단순히 정해진 순서대로 작업을 처리하는 자동화 시스템이 아니에요. 상황을 인식하고, 적절한 실행 계획을 수립하며, 실제 작업을 수행하고 결과를 반영해 학습하는 '지능형 오케스트레이터'에 가깝죠.

 

이 에이전트는 보통 세 가지 핵심 능력을 중심으로 작동해요.
첫째는 '상황 인식'이에요. 시스템의 상태, 리소스의 가용성, 사용자의 요청 맥락 등을 분석해 현재 상황을 정확히 이해해요. 예를 들어, 단순히 “서버를 확장해”라는 요청이 들어와도, 지금이 트래픽 피크 시간인지, 기존에 확장한 이력이 있는지 등을 함께 고려할 수 있어요.

 

두 번째는 '의사결정'이에요. LLM 기반 추론 엔진이나 정책 기반 규칙 시스템을 통해 어떤 작업을 어떤 방식으로 처리할지를 결정해요. 이 과정에서 지식 그래프나 규칙 DB가 배경지식처럼 활용되죠.

 

세 번째는 '계획 수립과 실행'이에요. 복잡한 작업일 경우, 큰 작업을 여러 하위 작업으로 나누고, 우선순위와 순서를 조정해 실행 계획을 만들어요. 이후 외부 API를 호출하거나, 인프라를 제어하는 등 실제 작업을 수행해요.

이런 일을 할 수 있어요! ✨

 

  • 프로세스 오케스트레이션
    • 복잡한 워크플로우 자동화 및 관리
    • 여러 시스템 간 작업 조율하기
    • 조건별 맞춤 프로세스 실행하기
  • 지능형 업무 처리
    • 상황에 따른 우선순위 조정하기
    • 이상 상황 감지 및 대응 방안 제시
    • 반복 작업 패턴 학습 및 최적화
  • 모니터링 및 최적화
    • 작업 진행 상황 실시간 추적
    • 병목 구간 분석 및 개선점 도출
    • 성과 지표 측정 및 리포트 제공

이처럼 단순한 자동화를 넘어서, 지능적인 판단과 분석이 결합된 자동화가 가능하다는 점이 핵심이에요.

💡❓ 작업 자동화 에이전트와 RPA는 같은 건가요?

"RPA(Robotic Process Automation)는 사람이 수행하는 반복적인 컴퓨터 작업을 소프트웨어 로봇이 그대로 따라하며 자동화하는 기술"

작업 자동화 에이전트와 RPA는 업무 자동화라는 같은 목표를 향해 달리고 있지만, 접근 방식에서 차이가 있어요. RPA가 정해진 규칙과 절차에 따라 일을 처리하는 '성실한 베테랑'이라면, 작업 자동화 에이전트는 AI를 기반으로 상황을 판단하고 배워나가는 '똑똑한 신입' 같은 존재예요.

 

업계에서는 이러한 AI 에이전트를 'RPA 2.0'이라고 부르기도 합니다. 전통적인 RPA가 단순 반복 작업을 자동화했다면, AI 에이전트는 지능적 판단이 필요한 복잡한 업무까지 처리할 수 있는 진화된 형태라는 의미죠.

 

예를 들어, 매일 아침 이메일을 확인하고 데이터를 정리하는 단순 작업이라면 RPA가 실수 없이 처리하겠지만, 상황에 따라 다른 판단이 필요한 업무는 작업 자동화 에이전트가 더 유연하게 대처할 수 있죠. RPA는 마우스와 키보드를 직접 조작하듯 겉으로 보이는 작업을 수행하는 반면, 작업 자동화 에이전트는 시스템 내부에서 직접 작업을 처리한다는 점도 달라요.

 

결국 두 기술은 각자의 장점이 있는 서로 다른 도구라고 할 수 있습니다. 업무의 성격과 필요에 따라 적절한 도구를 선택하거나, 때로는 둘을 함께 활용하는 것이 가장 효과적일 수 있어요. 🎯

🧩 구성 요소는 어떻게 생겼을까요?

현대적인 작업 자동화 에이전트는 아래와 같은 컴포넌트들로 구성돼요.

  • 작업 오케스트레이터: 전체 작업 흐름을 관리하고, 어떤 작업을 언제 실행할지 조율해요.
  • 상황 인식 엔진: 실시간 시스템 상태나 이벤트를 수집하고, 컨텍스트를 해석해요.
  • LLM 추론 엔진: 자연어 입력을 이해하거나 복잡한 판단이 필요할 때 활용돼요.
  • 지식 그래프 / 정책 DB: 업무 규칙이나 구조화된 도메인 지식을 저장해두는 기반이에요.
  • 실행 엔진: 실제 API 호출, 인프라 제어, 외부 도구 연동 등 작업을 수행하는 부분이에요.
  • 학습 및 피드백 모듈: 작업 결과를 분석하고 시스템을 지속적으로 개선하는 역할을 해요.

이러한 구조는 마이크로서비스 아키텍처나 이벤트 기반 설계로 구성되며, 유연하고 확장 가능한 운영이 가능해요.

💫 작동 흐름은 이렇게 이어져요

작업 자동화 에이전트는 대체로 다음과 같은 순서로 동작해요. 아래 다이어그램은 흐름 이해를 돕고자 제작한 예시 아키텍처에요!

[작업 자동화 AI 에이전트 - 예시 아키텍처]

순서 별 하단에는 이 단계에서 작동하는 주요 구성 요소를 함께 표시했어요.

🔄  핵심은 ‘적응력 있는 자동화’

기존의 RPA는 정형화된 시나리오 기반 자동화에 머물렀다면, 작업 자동화 AI 에이전트는 컨텍스트 인식(Context-awareness)동적 의사결정(Dynamic decision-making), 그리고 워크플로우 자율 계획(Self-driven orchestration) 능력을 기반으로 복잡한 환경에서도 유연하게 대응할 수 있는 인텔리전스를 갖추고 있어요.

 

특히 LLM 기반의 추론 역량, 지식 그래프 기반의 도메인 이해, 실시간 피드백 루프를 통한 지속적 최적화까지 결합되면, 에이전트는 단순한 자동화 도구가 아니라 상태 기반 정책 시스템(Stateful policy system)으로 진화하게 돼요.

 

이러한 아키텍처는 IT 운영, 고객 서비스, 백오피스 등 다양한 영역에서 프로세스 민첩성(Process agility)운영 효율성(Operational efficiency)을 동시에 확보할 수 있는 기반이 돼요. 💪


2. 대화형 AI 에이전트 💬

“사용자와 실시간으로 상호작용하며, 질문에 답하고 행동까지 수행하는 언어 기반 인터페이스”

대화형 AI 에이전트는 단순히 정해진 문장을 출력하는 챗봇이 아니에요. 사용자의 발화를 이해하고, 대화 맥락을 유지하며, 필요한 경우 외부 도구를 호출해 실제 행동까지 수행하는 지능형 인터페이스에 가까워요.

 

이 에이전트는 보통 다음 세 가지 핵심 능력을 중심으로 작동해요.

첫째는 ‘의도 파악’이에요. LLM 기반 추론 엔진이 사용자의 질문이나 요청을 해석하고, 그 의미와 목적을 이해해요. 단순한 키워드 매칭이 아니라, 자연어 속에 담긴 맥락과 감정까지 고려할 수 있어요.

 

둘째는 ‘대화 맥락 유지’예요.
메모리 모듈을 통해 과거 대화 이력을 기억하고, 사용자와의 연속적인 상호작용이 가능해요. 이 덕분에 단발성 응답이 아닌 ‘연결된 대화 경험’을 제공할 수 있죠.

 

셋째는 ‘도구 활용 및 실행’이에요.
에이전트는 외부 API나 시스템과 연동되어 날씨 조회, 예약 처리, 시스템 제어 등 실제 행동을 수행할 수 있어요.
최근에는 ReAct나 Toolformer 같은 아키텍처를 통해 LLM 스스로 도구 호출 여부를 판단하고 실행하는 구조도 점점 확산되고 있어요.

이런 일을 할 수 있어요! ✨

  • 지능형 고객 응대
    • 고객 의도 파악 및 맥락 기반 대화하기
    • 감정 상태를 인식하여 공감적 소통하기
    • 복잡한 문의사항 단계별 해결하기
  • 맞춤형 서비스 제공
    • 고객 프로필 기반 개인화된 추천하기
    • 과거 상담 이력 분석하여 최적 답변 제시
    • 선호도를 반영한 맞춤형 정보 제공하기
  • 지속적 서비스 개선
    • 상담 품질 자가 모니터링 및 개선
    • 고객 피드백 기반 응대 방식 발전
    • 새로운 문의 유형 학습 및 대응력 향상

🧩 구성 요소는 어떻게 생겼을까요?

대화형 AI 에이전트는 아래와 같은 컴포넌트들로 구성돼요.

  • 입력 처리기: 사용자의 입력을 받아 전처리하고, 음성이나 텍스트를 텍스트 기반으로 변환해요.
  • LLM 추론 엔진: 자연어를 이해하고, 맥락을 고려해 적절한 응답을 생성하는 핵심 엔진이에요.
  • 메모리 모듈: 이전 대화 내용이나 사용자 정보를 저장하고, 연속적인 대화를 가능하게 해줘요.
  • 도구 호출 관리자: 외부 API나 플러그인을 실행할지 여부를 판단하고 실행을 제어해요.
  • 출력 포맷터: 응답을 사용자에게 전달할 수 있는 형태로 구성해요. 텍스트, 카드, 링크 등 다양한 포맷을 처리할 수 있어요.
  • 상태 관리자: 대화 세션이나 사용자 상태를 지속적으로 관리하고, 향후 대화에 반영할 수 있도록 저장해요.

이러한 구조는 LangChain이나 LangGraph처럼 체계적인 워크플로우 프레임워크를 기반으로 구현될 수 있어요. 특히 도구 호출 기능과 결합하면 단순한 대화 응답을 넘어 실행 기반 인터페이스로 진화할 수 있어요.

💫 작동 흐름은 이렇게 이어져요

대화형 AI 에이전트는 보통 다음과 같은 순서로 동작해요. 아래 다이어그램은 흐름 이해를 돕고자 제작한 예시 아키텍처에요!

[대화형 AI 에이전트 - 예시 아키텍처]

순서 별 하단에는 이 단계에서 작동하는 주요 구성 요소를 함께 표시했어요.

🛠️ 핵심은 ‘도구 활용 능력과 컨텍스트 유지’

최근의 대화형 에이전트는 단순히 질문에 답하는 수준을 넘어서, 사용자의 요청을 이해하고, 필요한 경우 외부 도구를 활용해 실제 행동까지 수행하는 능력이 핵심 역량으로 떠오르고 있어요. 이와 함께, 대화의 흐름을 기억하고 이어가는 능력도 점점 더 중요해지고 있죠.

 

예를 들어 ReAct(Action + Reasoning), Toolformer, LangChain이나 LangGraph 같은 프레임워크들은 LLM이 단순히 문장을 생성하는 데 그치지 않고, 의사결정 → 행동 실행 → 결과 종합 → 응답 생성이라는 전체 사이클을 통합적으로 수행할 수 있도록 도와줘요. 또한 Retrieval-Augmented Generation(RAG) 기술이나 외부 시스템과의 연동을 통해, 실시간 정보 반영과 실행형 응답도 가능해지고 있어요.

 

이처럼 대화형 AI 에이전트는 이제 단순한 '챗봇'이 아니라, 지식과 도구를 활용해 실제 문제를 해결할 수 있는 실행 가능한 언어 인터페이스로 진화하고 있어요. 앞으로는 이 에이전트가 어떻게 대화를 ‘이해하고 기억하며, 실행까지 연결하는지가 가장 중요한 차별화 요소가 될 거예요. 😁


3. 정보 검색 및 분석 AI 에이전트 📊

“데이터를 탐색하고, 인사이트를 도출하며, 변화를 감지하고 예측까지 수행하는 지능형 분석 에이전트”

정보 검색 및 분석 AI 에이전트는 단순히 문서를 찾아 보여주는 시스템이 아니에요. 이 에이전트는 질문을 이해하고, 정형·비정형 데이터를 탐색하며, 필요하다면 복잡한 정보를 요약하고, 숨겨진 인사이트를 추출해 사용자가 곧바로 활용할 수 있도록 분석과 예측까지 수행해요.

 

이 에이전트는 보통 세 가지 핵심 능력을 중심으로 작동해요.

첫째는 ‘정보 탐색과 요약’이에요. 사용자의 질의에 맞는 문서를 검색하고, 그 내용을 정리해서 명확한 응답으로 제공해요. 검색된 결과는 단순 나열이 아니라 요약되거나 통합된 형태로 가공돼요.

 

둘째는 ‘데이터 분석 및 인사이트 도출’이에요. 정형 데이터뿐 아니라 문서나 보고서 같은 비정형 정보에서도 변화 패턴, 트렌드, 상관관계를 추출해 인사이트를 제공해요.

 

셋째는 ‘예측 및 알림 자동화’예요. 데이터 흐름을 실시간으로 감지하고, 이상 징후나 의미 있는 변화가 포착되면 이를 기반으로 예측 결과를 생성하거나, 자동으로 알림과 리포트를 전달할 수 있어요.

이런 일을 할 수 있어요! ✨

  • 정보 탐색 및 요약
    • 대규모 문서 기반 질의응답
    • 보고서, 뉴스, 블로그 등 외부 콘텐츠 요약
    • 출처와 함께 통합 응답 제공
  • 데이터 인텔리전스
    • 다양한 소스의 정보 통합 분석
    • 비정형 데이터에서 인사이트 도출
    • 시장 동향 분석 및 경쟁사 비교
  • 예측 및 자동화 대응
    • 실시간 트렌드 모니터링
    • 지표 기반 이상 탐지 및 알림 전송
    • 맞춤형 분석 리포트 및 대시보드 생성

🧩 구성 요소는 어떻게 생겼을까요?

정보 검색 및 분석 AI 에이전트는 아래와 같은 컴포넌트들로 구성돼요.

  • 질문 이해 모듈: 사용자의 질문을 해석하고, 정보 탐색 또는 분석 전략을 결정해요.
  • 벡터 검색기: 의미 기반으로 관련 문서나 콘텐츠를 찾는 핵심 검색 컴포넌트예요.
  • 지식 저장소 (Vector DB): 미리 임베딩된 문서, 뉴스, 보고서 등을 저장한 공간이에요.
  • RAG 모듈: 검색된 정보를 LLM에 결합해 응답을 생성하는 구조예요.
  • 분석 엔진: 다양한 데이터를 통합 분석하고, 통계적 인사이트나 트렌드를 도출해요.
  • 예측 모델: 과거 데이터 흐름을 기반으로 미래 추세를 예측하거나 이상 상황을 감지해요.
  • 리포트 및 알림 모듈: 분석 결과를 시각화해 보고서 형태로 만들고, 조건이 만족되면 실시간 알림을 전송해요.

💫 작동 흐름은 이렇게 이어져요

정보 검색 및 분석 에이전트는 대체로 다음과 같은 순서로 동작해요. 아래 다이어그램은 흐름 이해를 돕고자 제작한 예시 아키텍처에요!

[정보 검색 및 분석 AI 에이전트 - 예시 아키텍처]

순서 별 하단에는 이 단계에서 작동하는 주요 구성 요소를 함께 표시했어요.

🎯 핵심은 ‘검색을 넘어, 분석과 예측까지’

정보 검색 및 분석 AI 에이전트는 단순히 질문에 답하는 도구가 아니라, 다양한 형태의 데이터를 해석하고, 실질적인 의사결정에 필요한 인사이트를 제공할 수 있는 분석 중심 에이전트예요. 특히 RAG 구조, 벡터 기반 문서 검색, 정형 데이터 분석, 시계열 예측 모델을 함께 결합하면 기존의 검색 중심 시스템보다 훨씬 더 유연하고 실행력 있는 분석 도우미가 될 수 있어요. 이 에이전트는 앞으로 전략 기획, 마케팅, 리서치, 경영 분석 등 다양한 영역에서 데이터 중심 사고를 자동화해주는 핵심 도구가 될 거예요.


세 가지 AI 에이전트, 어떻게 다르고 어떻게 연결될까요? 🔗

이번 글에서 다룬 작업 자동화, 대화형, 정보 검색 및 분석 에이전트는 각기 다른 목적과 기능을 가진 에이전트들이에요. 하지만 실제 환경에서는 이들이 독립적으로 사용되기보다는, 서로 유기적으로 연결되어 하나의 지능형 워크플로우를 구성하는 경우가 많아요.

 

예를 들어, 대화형 에이전트가 사용자의 요청을 자연어로 이해하고, 정보 검색 및 분석 에이전트가 관련 데이터를 탐색해 인사이트를 도출한 뒤, 그 결과를 바탕으로 작업 자동화 에이전트가 실제 업무를 실행하는 식이에요. 최근에는 LangGraph, Autogen, CrewAI 등과 같은 프레임워크를 통해 이러한 멀티 에이전트 구조를 체계적으로 설계하고 실행하는 방식이 주목받고 있어요.

 

이번 시리즈에서는 대표적인 세 가지 유형을 중심으로 살펴봤지만, 이 외에도 도메인 전문가 지원, 개인화 추천, 학습 튜터링, 콘텐츠 생성 등 AI 에이전트가 활용될 수 있는 분야는 빠르게 확장되고 있어요.

 

앞으로는 다양한 형태의 AI 에이전트들이 서로 협력하며, 사람처럼 소통하고, 판단하고, 실행까지 수행하는 자율형 시스템을 구성하게 될 거예요.


활용 사례1 : 아마존 알렉사+(Alexa+) - 생성형 AI로 진화한 음성 비서

이미지 제공 ❘ 아마존

최근 인공지능 기술의 발전으로 대화형 AI 에이전트가 우리 일상에 빠르게 자리 잡고 있어요. 그중에서도 아마존이 2025년 2월 26일에 공개한 '알렉사+(Alexa+)'는 생성형 AI 기술을 적극 활용한 차세대 음성 비서로, 대화형 AI 에이전트의 가능성을 보여주는 대표적인 사례예요.

자연스러운 대화와 맥락 이해 능력

알렉사+의 가장 큰 특징은 사용자의 말을 단순히 명령어로 인식하는 것이 아니라, 맥락을 이해하고 대화의 흐름을 유지하는 능력이에요. 예를 들어, "내일 친구랑 저녁 먹을 건데 우산 챙겨야 해?"라는 질문에 알렉사+는 기상 정보와 사용자의 일정 데이터를 종합적으로 분석하여 "내일 저녁 7시 기준 강수 확률은 60%예요. 우산을 챙겨가는 것이 좋겠어요."라고 답변해요. 이는 단순한 날씨 정보 제공을 넘어, 사용자의 의도와 상황을 정확히 이해한 결과예요.

개인화된 서비스와 선제적 제안

알렉사+는 사용자의 생활 패턴을 분석하여 맞춤형 서비스를 제공해요. 예를 들어, 사용자가 매주 금요일 저녁마다 피자를 주문했다면, "오늘도 저녁에 피자를 주문하시겠어요?"라고 선제적으로 제안할 수 있어요. 이러한 개인화된 서비스는 사용자 경험을 크게 향상시키며, AI 에이전트가 단순한 도구가 아닌 개인 비서로 기능할 수 있음을 보여줘요.

통합된 스마트 홈 제어 시스템

알렉사+는 IoT 기기와의 연동이 강화되어 음성 명령 하나로 집안의 여러 기기를 정밀하게 제어할 수 있어요. "알렉사, 영화 모드로 설정해 줘"라는 단일 명령으로 조명이 어둡게 조정되고, TV가 자동으로 켜지며, 사운드 시스템이 최적화되는 등 여러 작업을 동시에 수행할 수 있어요. 이는 대화형 AI 에이전트가 복잡한 환경에서도 효율적으로 작동할 수 있음을 보여줘요.

감성 지능을 갖춘 AI 비서

알렉사+는 사용자의 말투나 음성 톤을 분석해, 피로감이나 감정 변화를 어느 정도 인식하려는 시도를 하고 있어요. 예를 들어, 사용자가 지친 목소리로 "오늘 너무 힘들어"라고 말하면, "오늘 하루 힘들었나 보네요. 기분 전환할 수 있도록 편안한 음악을 들려드릴까요?"처럼 상황에 맞는 공감적 응답을 제공할 수 있어요.

아직 완벽하게 감정을 이해하는 수준은 아니지만, 이런 감성 인식(EQ) 기반의 상호작용은 AI 에이전트가 단순한 명령 수행 도구를 넘어, 사용자와 정서적으로 연결되는 파트너로 진화하고 있다는 신호예요.

생산성 향상을 위한 고급 기능

알렉사+는 단순한 음성 비서를 넘어 생산성 도구로서의 기능도 갖추고 있어요. 이메일이나 파일을 분석하여 중요한 정보를 요약하거나, 음성 명령만으로 레스토랑 예약을 진행하는 등 복잡한 작업도 처리할 수 있어요. 예를 들어, "알렉사, 지난주 회의록에서 중요한 내용 정리해 줘"라고 요청하면, 회의의 핵심 내용을 간결하게 요약해 제공해요.

보안 기능과 스마트 카메라 연동

알렉사+는 링(Ring) 보안 카메라와 연동되어 집 주변의 의심스러운 활동을 AI로 분석하고, 필요시 자동으로 경고 알람을 보내요. "현관 앞에 낯선 방문객이 있어요. 영상 확인 후 보안 시스템을 작동시킬까요?"와 같은 알림을 통해 사용자의 안전을 보호하는 역할도 수행해요.

멀티모달 인터페이스로의 진화

알렉사+는 Echo Show와 같은 디스플레이 제품과 결합하여 시각적 요소까지 활용하는 멀티모달 인터페이스를 제공해요. 사용자의 관심사 기반으로 뉴스, 일정, 날씨 정보를 한눈에 볼 수 있는 'For You' 패널 기능을 통해 정보 접근성을 높이고, 사용자 경험을 향상시켜요.

 

🧐 알렉사+는 단순한 음성 명령 실행기가 아니라, 사용자의 일상에 깊이 통합된 진정한 대화형 AI 에이전트로 기능해요. 사용자의 맥락을 이해하고, 선제적으로 도움을 제공하며, 복잡한 작업을 자연스러운 대화를 통해 해결하는 모습은 대화형 AI 에이전트의 이상적인 활용 사례를 보여주고 있어요.

활용 사례2 : KT 상담 Assist - AI 기반 고객센터 지원 시스템

작업 자동화 에이전트와 대화형 에이전트의 사례를 찾던 중 아주 좋은 예시가 있어서 간단히 소개할까 해요.

 

최근 기업들은 고객 서비스 품질 향상과 상담사 업무 효율화를 위해 AI 기술을 적극 도입하고 있어요. 그중에서도 KT가 개발한 '상담 Assist'는 고객센터 상담사를 위한 AI 기반 지원 시스템으로, 대화형 에이전트와 작업 자동화 에이전트의 특성을 결합한 혁신적인 솔루션이에요. 간단히 말하자면, 상담사가 고객과 대화하는 동안 실시간으로 필요한 정보를 찾아주고, 상담 내용을 자동으로 요약하고 분류해주는 똑똑한 비서 같은 존재죠!

 

특히 KT 상담 Assist는 전통적인 대화형 에이전트와 작업 자동화 에이전트의 경계를 넘나드는 혁신적인 시스템 같아요. 고객과 직접 대화하지는 않지만, 대화를 '이해'하고 그에 맞는 '작업'을 자동화하니까요!

 💼 주요 기능 및 효과

이 서비스는 다음과 같은 핵심 기능들을 제공한다고 해요.

이미지 제공 ❘ KT

  • 실시간 대화 텍스트 변환 (STT) - KT의 자체 거대언어모델(LLM)을 활용하여 고객과의 대화를 실시간으로 텍스트로 변환해요.
  • 고객 문의에 맞는 답변 추천 - AI-KMS(지식정보시스템)를 활용해 상황에 적합한 정보를 즉시 제공해요.
  • 상담 내용 자동 요약 및 분류 - 상담이 끝난 후 내용을 자동으로 정리하고 분류해 후속 작업을 간소화해요.
  • 고객 상담 이력 관리 - 과거 상담 내역을 체계적으로 관리하여 일관된 서비스를 제공해요.
  • 감정 분석 - 감정 신호를 포착하고, 상담사가 참고할 수 있도록 시각화된 지표로 제공해요

이런 기능들이 가져온 실질적인 효과는 정말 놀라워요.

  • 상담 시간 단축: 기존에 15초 이상 걸리던 정보 검색 시간을 5초 이내로 단축했어요!
  • 상담 품질 향상: 상담사의 경력과 무관하게 일관된 고품질 서비스를 제공할 수 있게 되었어요.
  • 업무 효율성 증가: 상담 요약 및 분류 작업 시간을 60~120초에서 10초 미만으로 줄였어요.

🏗️ 상담 Assist의 아키텍처, 어떻게 생겼을까요? 

KT 상담 Assist의 아키텍처는 마치 레고 블록처럼 여러 모듈이 조합된 형태로 설계되어 있어요. 이런 모듈화된 구조는 복잡한 AI 시스템을 유연하게 만들기 위한 설계 방식이에요. 특히 대화 이해와 작업 자동화 기능이 모두 필요한 시스템에서는 이런 접근법이 효과적이죠!

이미지 제공 ❘ KT

🔹 주요 구성 요소들을 살펴볼까요?

1. 수집 채널 (왼쪽)

  • 실시간 STT: 음성을 텍스트로 변환하는 부분이에요
  • 상담조직정보: 상담사와 조직에 관한 정보를 담고 있어요
  • 상담지식: 상담에 필요한 지식 베이스를 관리해요

2. 처리 파이프라인 (중앙)

  • 수집엔진: 실시간과 준실시간으로 데이터를 수집해요
  • 지식탐색: 관련 지식을 찾고 문장 유사도를 분석해요
  • 실시간 추천: 상담사에게 필요한 정보를 즉시 제공해요
  • 후처리 지원: 상담 종료 후 필요한 작업을 처리해요

3. 기술 모듈 (하단)

  • 전처리, NLP, 감성분석: 텍스트 데이터를 분석하는 AI 기능들이에요
  • 문서요약, 분류엔진, 대화추천: 상담 내용을 정리하고 다음 단계를 제안해요

4. 시각화 도구 (상단)

  • 대시보드, 실시간 상담 Assist: 상담사가 사용하는 인터페이스예요
  • 민원콜 감지, 상담콜검색: 특별한 상황을 모니터링하고 검색할 수 있어요

💡 이 아키텍처에서 발견한 흥미로운 설계 패턴들 

마이크로서비스 아키텍처의 활용

아키텍처를 보면 각 기능이 독립적인 모듈로 분리되어 있는 것을 볼 수 있어요. 이건 마치 여러 개의 작은 전문가 팀이 각자의 일을 하면서도 서로 협력하는 것과 비슷해요! 예를 들어, STT 기술이 발전하면 그 모듈만 업데이트하면 되고, NLP 알고리즘이 개선되면 그 부분만 교체할 수 있죠. 개인적으로는 이런 모듈화된 설계가 AI 기술처럼 빠르게 발전하는 분야에서는 정말 현명한 선택이라고 생각해요.

이벤트 기반 아키텍처의 흔적

아키텍처 다이어그램에서 화살표들을 보면, 데이터가 한 모듈에서 다른 모듈로 흐르는 것을 볼 수 있어요. 이것은 이벤트 기반 아키텍처의 특징이에요. 상담이 시작되면 STT가 음성을 텍스트로 변환하는 '이벤트'가 발생하고, 이 텍스트는 다시 NLP 분석이라는 '이벤트'를 트리거하죠. 마치 도미노처럼 하나의 액션이 다음 액션을 유발하는 거예요!

파이프라인 처리 패턴

데이터가 수집 → 처리 → 분석 → 시각화로 흐르는 파이프라인 구조를 채택했어요. 특히 재미있는 점은 '실시간'과 '준실시간' 처리를 구분했다는 거예요. 상담사가 당장 필요한 정보는 실시간으로 처리하고, 상담 요약이나 분류 같은 작업은 조금 여유를 두고 처리하는 거죠. 마치 응급실에서 중증 환자를 먼저 치료하는 것과 비슷한 원리랍니다!

지식 기반 시스템과 AI의 결합

아키텍처의 오른쪽에 보면 '도메인 지식사전'과 'AI모델 학습/검증' 부분이 있어요. 이건 정말 흥미로운 부분인데요, 순수한 AI만으로는 해결하기 어려운 도메인 특화 문제를 다루기 위한 설계예요. 제 생각에는 이런 하이브리드 접근법이 현재 AI 기술의 한계를 현명하게 보완하는 방식 같아요. 범용 AI는 일반적인 언어 이해를 담당하고, 도메인 지식은 특화 정보를 제공하는 식이죠!

 

🧐 KT 상담 Assist는 AI가 인간을 대체하는 것이 아니라, 인간의 능력을 증강시키는 방향으로 설계된 좋은 사례예요. 상담사의 전문성과 공감 능력은 유지하면서, AI가 정보 검색과 데이터 처리 같은 반복적인 작업을 담당하는 인간-AI 협업 모델을 보여주고 있어요. 이러한 접근법은 앞으로 AI 에이전트가 비즈니스 환경에서 어떻게 가치를 창출할 수 있는지에 대한 중요한 시사점을 제공해요!

3부 마무리: AI 에이전트 설계와 클라우드, 혁신의 두 날개 ✨

지금까지 AI 에이전트의 대표적인 세 가지 활용 패턴과 그 아키텍처에 대해 함께 살펴봤어요. 단순한 챗봇이나 자동화 시스템이 아니라, AI 에이전트가 스스로 상황을 이해하고, 적절히 판단하고, 실제로 행동까지 수행하는 방식으로 어떻게 진화하고 있는지를 확인하셨을 거예요.

 

작업 자동화 에이전트는 상황 인식과 의사결정을 통해 복잡한 업무 프로세스를 자동화하고, 대화형 에이전트는 사용자의 자연어 요청을 이해해 적절한 응답을 생성하거나 도구를 실행하고, 정보 검색 및 분석 에이전트는 대규모 문서와 데이터를 탐색해 유용한 인사이트와 리포트를 실시간으로 제공해요.

 

이 에이전트들이 제대로 작동하려면, 뒤에서는 반드시 탄탄한 기술적 구조가 뒷받침돼야 해요. 예를 들어, 검색 기반 정보 처리에는 RAG(Retrieval-Augmented Generation) 아키텍처가, 복잡한 실행 제어에는 도구 호출 기반 에이전트 아키텍처가 적합해요. 그리고 이런 구조를 함께 조합하면, 정보를 이해하고 판단하며, 실제 행동까지 연결하는 하이브리드 AI 에이전트를 구현할 수 있어요.

 

이 모든 시스템이 안정적으로 작동하려면 클라우드 인프라가 필수예요. 대규모 벡터 데이터베이스를 운영하거나, LLM 추론을 실시간 처리하고, 다양한 외부 API와 연결된 툴을 실행하려면 유연하고 확장 가능한 클라우드 기반 아키텍처가 꼭 필요하죠. ☁️

 

다음 4부에서는... 📖

4부에서는 AI 에이전트 간의 협업 구조, 즉 다중 에이전트 시스템(MAS)스웜 인텔리전스 같은 주제로 넘어가볼 예정이에요. 에이전트 하나하나의 능력을 넘어, 서로 협력하고 조율하며 더 복잡한 일을 함께 해결하는 방식을 함께 살펴볼 거예요.

 

이제 에이전트는 혼자 일하지 않아요. 함께 작동할 때, AI는 더 똑똑해지고 더 강력해질 수 있어요.

그 다음 여정도 기대해주세요.

 

감사합니다! 🙏


[관련/출처]

https://analyticsindiamag.com/it-services/ai-agents-are-basically-rpa-with-llms/
https://www.kt-aicc.com/user/assist
https://smythos.com/ai-industry-solutions/finance/ai-agents-in-finance/
https://www.ibm.com/kr-ko
https://dxtalk.net/alexa-plus-ai-upgrade/#google_vignette