[기술리포트] 2025 구글 AI 에이전트 아키텍처 구조 완벽 이해

 

 [ kt cloud Cloud컨설팅팀 심대섭 님 ] 

 

AI 에이전트는 이제 기업 실무를 자동화하는 실행 시스템입니다. 이 글에서는 구글이 제안한 AI 아키텍처를 바탕으로, 조직이 업무 효율을 높이기 위해 어떻게 설계 전략을 세워야 하는지 쉽게 설명합니다.

 

대규모 언어 모델(LLM)의 시대가 본격적으로 시작된 지 몇 년, 많은 기업이 생성형 AI 기술을 도입했지만, 실제 비즈니스 실행력 향상에는 여전히 갈증을 느끼고 있습니다. 왜일까요?

 

LLM은 텍스트 생성에는 능하지만, 실제 시스템을 작동시키거나 업무를 완료하는 실행 능력은 부족하기 때문입니다.

---

이제는 ‘AI 에이전트 구조’에 주목해야 할 때

이 글에서는 구글(Google)이 제안한 AI 에이전트 아키텍처를 바탕으로, 실제 기업 환경에서 어떻게 AI 실행력을 설계할 수 있는지 구체적으로 살펴보겠습니다.

1. LLM과 AI 에이전트는 무엇이 다른가?

“GPT나 Gemini처럼 말도 잘하고 똑똑한데, 그게 에이전트 아닌가요?”
많은 사람들이 이렇게 질문합니다.

 

하지만 단순히 자연어를 잘 처리한다고 해서, 그 모델이 실제 ‘업무를 수행’할 수 있는 것은 아닙니다.

 

아이언맨의 자비스(J.A.R.V.I.S)를 떠올려보세요.
자비스는 상황을 인식하고, 계획을 세우며, 실제 장비를 작동시키는 실행자입니다.
이것이 바로 AI 에이전트(Agent)입니다.

항목	대규모 언어 모델 (LLM)	AI 에이전트 (Agent)
기본 역할	텍스트 생성	작업 계획 및 실행
상태 관리	Stateless (기억 없음)	Stateful (컨텍스트 유지)
실행 기능	없음	API 호출, 파일 수정, 툴 제어 가능
구성 요소	단일 모델	모델 + 오케스트레이터 + 도구 체계
예시	“회의 요약해줘” → 요약 결과 반환	요약 후 이메일 자동 전송까지 처리

기술적으로 보면?

LLM은 기본적으로 매 요청마다 새로운 응답을 생성하는 Stateless(비상태) 함수 구조로 동작합니다.

즉, 이전 대화나 맥락을 자동으로 기억하지 않으며, 입력과 출력이 명확히 분리된 구조입니다. 다만 최근에는 ChatGPT의 Memory 기능이나 사용자 세션 기반 저장 구조 등을 통해, 일부 시스템 수준에서는 상태(State)를 유지하는 기능이 탑재되기도 합니다.

하지만 이러한 기능은 모델 자체의 설계가 아닌, 애플리케이션 단의 확장 기능이라는 점에서 LLM의 근본 구조는 여전히 Stateless로 분류됩니다.

 

반면, 에이전트는 기억과 실행까지 갖춘 작업 수행 구조입니다.

• LLM 기반 추론 엔진: 사용자의 의도를 파악하고 목적을 분석
• 상태 저장소 (Memory): 이전 작업 이력과 컨텍스트 기억
• 오케스트레이터: 어떤 순서로 어떤 작업을 수행할지 계획
• 도구 체계 (Tools): 외부 API 호출, 데이터 접근, 애플리케이션 제어 등

요약하자면, 생성형 AI가 조언자 역할이라면, AI 에이전트는 실제 업무를 자동화하고 실행하는 '실행자'입니다. AI 업무 자동화의 핵심은 바로 이 구조 설계에 달려 있습니다.

---

2. 구글이 제안한 AI 에이전트 구조 – 생각하고, 조율하고, 실행한다

구글은 2024년 발표에서 자사의 AI 에이전트 구조를 3단계로 정의했습니다.

그림 1. AI Agent 구조

 🧠 Model – 생각한다 (Think)

• 대화를 이해하고, 추론하며, 콘텐츠를 생성하는 지능의 핵심
• 예: Gemini, GPT(모델), Microsoft Copilot(모델 기반 서비스)

🎛 Orchestration – 조율한다 (Coordinate)

• 요청의 목적을 해석하고, 어떤 도구를 어떤 순서로 사용할지 계획
• 상태를 유지하며 흐름을 제어

🛠 Tools – 실행한다 (Act)

• 외부 API, 함수, 데이터 저장소 등을 활용해 실제 행동을 수행
• 예: 문서 생성, 캘린더 등록, 시스템 제어 등

👉 이 구조는 하나의 모델에 모든 역할을 맡기기보다,
‘생각(모델) – 계획(오케스트레이션) – 실행(도구)’이라는 분업 구조로 동작합니다.
이러한 설계는 에이전트의 확장성과 유연성을 높이는 데 필수적입니다.

---

3. 에이전트의 사고 방식 – 문제를 ‘어떻게’ 풀 것인가?

에이전트는 단순히 질문에 답하는 존재가 아닙니다.
스스로 목적을 이해하고, 그 목적을 달성하기 위해 생각하고 계획하며 실행하는 구조를 갖습니다.

이를 가능하게 하는 대표적인 사고 전략은 다음과 같습니다.

그림 2. AI Agent 실행 구조

🧠 ReAct – 생각하고 바로 행동!

• 방식: 판단과 실행을 연속적으로 수행
• 적합한 상황: 빠른 대응과 반복 작업이 필요한 경우
• 예시: “받은 이메일 → 미팅 요청 감지 → 캘린더 자동 등록”

🔗 Chain of Thought (CoT) – 논리적으로 단계 구상

• 방식: 문제 해결을 위한 중간 사고 과정을 단계적으로 서술
• 적합한 상황: 절차가 복잡하거나 조건이 많은 작업
• 예시: “출장 준비 → 항공권 검색 → 숙소 비교 → 일정 조정”

🌲 Tree of Thought (ToT) – 다양한 가능성을 평가하며 결정

• 방식: 여러 아이디어를 병렬로 전개한 후 장단점을 비교
• 적합한 상황: 창의적 문제 해결, 옵션 비교
• 예시: “호텔 A vs B vs C → 교통/가격/후기 비교 → 최종 선택”

📌 전략 비교 요약

전략	핵심 개념	적합한 업무
ReAct	즉시 판단 후 실행	이메일 대응, 자동화 루틴
CoT	단계적 사고 전개	일정 계획, 분석형 태스크
ToT	병렬 아이디어 탐색	옵션 평가, 복합 의사결정

---

4. 도구는 단순한 API가 아니다

많은 사람들이 ‘도구(Tool)’를 API 정도로 생각하지만, AI 에이전트에게 도구란 현실 세계와 연결되는 손과 발입니다.
도구가 없다면, 아무리 똑똑한 에이전트라도 실제 행동은 불가능합니다.

 

구글은 도구 계층을 다음 세 가지로 정의합니다.

그림3. AI Agent Tools

• Extensions
  브라우저 제어, 문서 열기 등 외부 인터페이스 확장
  예: “계약서 열고 2항 수정해줘” → Google Docs 자동 제어
• Functions
  특정 작업을 수행하는 사용자 정의 함수
  예: 회의 일정 등록, 내부 보고서 작성 등
• Data Stores
  RAG 기반 검색 및 개인화된 정보 저장소
  예: “작년 매출 추이 알려줘” → 내부 DB에서 검색하여 요약

👉 이처럼 도구는 단순한 호출 수단이 아니라, 에이전트가 환경과 상호작용할 수 있도록 만드는 실행의 핵심입니다.

---

5. Agent to Agent 협업 – 분산된 전문가들의 협업

앞으로의 트렌드는 하나의 거대한 에이전트가 모든 일을 처리하는 구조가 아닙니다.
대신, 여러 전문화된 에이전트가 협업하는 Agent-to-Agent(A2A) 구조가 확산되고 있습니다.

 

AI 에이전트는 이제 하나의 모델이 모든 일을 처리하는 구조를 넘어서고 있습니다.
복잡한 작업은 여러 개의 '전문 에이전트'로 나눠 수행하고, 이를 조율하는 메인 에이전트(Main Agent)가 전체 흐름을 통제합니다.

 

예를 들어 ‘여행 도우미 에이전트’를 상상해보세요.

그림4. Agent to Agent 협업

• ✈️ Flight Agent는 항공권 예약만 처리하고
• 🏨 Hotel Agent는 숙소를 검색하며
• 📅 Itinerary Agent는 전체 일정을 조율합니다.
• 🧠 이들을 통제하는 Main Agent는 각 하위 에이전트에게 질문을 분배하고, 결과를 받아 결합된 응답을 생성합니다.

이러한 구조는 마치 실제 기업 조직처럼 역할을 나누고 협업하며, 복잡한 문제에 더 유연하고 신속하게 대응할 수 있게 만듭니다.

OpenAI의 A2A(Agent-to-Agent) 구조처럼, 각 에이전트는 자연어 기반으로 서로 소통하고 독립적으로 API를 호출하며 작업을 수행합니다.

이제 하나의 에이전트가 아니라, 서로 협력하는 에이전트 팀이 새로운 패러다임입니다.

---

AI 에이전트는 ‘기능’이 아니라 ‘패러다임’입니다

AI 에이전트는 단순한 기술 도구가 아닙니다. 업무를 자동화하는 방식 그 자체를 새롭게 정의하는 패러다임입니다.

이제는 어떤 모델(LLM)을 사용하는가보다, 어떻게 에이전트를 구조화하고 협업하게 설계할 수 있는가가 더 중요한 경쟁력이 되었습니다.

 

Google은 Vertex AI Agent Builder를 통해 이를 제품화했고, OpenAI, Microsoft, Anthropic 등도 각자의 에이전트 생태계를 구축 중입니다. 에이전트 기반 구조에 빠르게 적응한 기업일수록 더 빠르게 시장을 선점하고, 더 낮은 비용으로 더 높은 실행력을 갖출 수 있습니다.

 

생성형 AI에서 실행형 AI로의 전환이 가속화되고 있습니다. 이제 기업의 AI 전략은 단순히 LLM을 도입하는 것이 아니라, AI 에이전트 아키텍처를 기반으로 한 실행력 중심의 업무 자동화 설계가 핵심입니다.

---

[관련/출처]

Google, AI Agents Internal Whitepaper (2024), 발표 요약 기반 DeepLearningAI, Google AI Agent Summary PDF Tree of Thought: Deliberate Problem Solving with LLMs, 2023 Chain of Thought Prompting, 2022 Google Cloud, Vertex AI Agent Builder 공식 문서 OpenAI, A2A: Agent-to-Agent Communication Research Summary (2024)