기업은 AX기술을 어떻게 도입하면 될까요? 기업들의 AX기술 도입 전략 소개

[kt cloud 사업전략팀 박정오 님]

 

기업은 AX기술을 어떻게 도입하면 될까요? 기업들의 AX기술 도입 전략 소개

디지털 전환(DX)을 넘어 AI기술을 중심으로 기업의 변화를 추구하는 AX(AI Transformation)는 새로운 패러다임으로 떠오르고 있습니다. 최근 금융 및 시스템 통합(SI) 업종의 기업 컨퍼런스나 서밋에서는 최신 AX기술들과 그 활용 사례들을 발표하고 있습니다. 생성형AI 기술을 기업내에 적용하여 단순 반복적인 업무부터 의사 결정을 하는 업무까지 해결을 하고 있으며, 이를 통해 기업 경쟁력을 높이고자 노력하고 있습니다. 최근 여러 컨퍼런스와 서밋에서 발표된 자료와 얻은 지식을 활용하여 공통적으로 다루고 있는 AX기술과 기업 내부에 어떻게 구성하고, 업무에 적용하는지 이야기하고자 합니다. 또한, 기업들이 성공적인 AX도입을 위해서는 어떻게 할지 전략도 함께 소개하도록 하겠습니다.

 

 

기업들은 왜 AX 도입할까요?

요즘 기업들이 AX를 도입하는 이유는 뭘까요? 간단히 말해서, 살아남기 위해서입니다. 기업 비즈니스를 계속 변화되고 있는데, 여기에 맞추려면 지속적인 혁신이 필요합니다.

기업들은 아래와 같은 이유로 AX를 도입합니다.

1 데이터의 힘: 기업들이 쌓아둔 데이터, 그냥 방치할 건가요? 데이터를 잘 활용하면 고객의 행동을 예측하고, 맞춤형 서비스를 제공할 수 있습니다.
2 업무 자동화: 반복적인 업무, 귀찮죠? AI를 이용하면 단순, 반복적인 업무를 자동화할 수 있습니다. 직원들은 더 창의적이고, 중요한 일에 집중하게 되고, 결론적으로 기업 생산성은 올라가고, 비용은 줄어들게 됩니다.
3 스마트한 의사결정: 많은 데이터를 빠르게 분석해주는 AI덕분에, 경영진은 더 나은 의사 결정을 내릴 수 있게 됩니다.
4 혁신 촉진: 기업들은 AI연구 조직을 구성하여, AI기술을 활용한 서비스를 개선하고, 업무 프로세스를 혁신하는 등 다양한 분야에 AI를 적용하여 변화하고 있습니다.

 

<주요 기업들의 AI전담조직>

 

 

기업 AX 플랫폼 소개

기업들이 AX도입하기 위해서는 궁극적으로 기업AX 플랫폼 구축해야 됩니다.
기업AX플랫폼은 인프라, 생성형AI 플랫폼, 어플리케이션 레벨로 구성되어 기업들이 업무에 AI를 활용할 수 있도록 지원합니다. 각 구성 요소들의 세부 내역을 하나하나 알아보도록 하겠습니다.

 

[기업AX플랫폼 구성요소]

출처: 코리아 핀테크 위크 발표 자료 가공(보험연구원, “인슈어테크 기업의 생성형AI활용과 전망”; (주) 코스콤, “금융업계 AI서비스 실증사례 및 발전방향”)

 

1. 인프라
GPUaaS(서비스형 GPU)를 기반으로 설계되어 AI 학습과 추론 작업을 지원합니다. 이를 학습 인프라와 추론 인프라로 구분할 수 있습니다.

 

• 학습(AI Train) 인프라
  학습 인프라는 AI 모델을 훈련시키기 위해 필요합니다. 대규모 데이터 세트를 처리하고 AI 모델이 패턴을 인식하고 학습하기 위해 대규모 GPU 노드 클러스터링이 필요합니다.
  kt cloud의 경우, GPU컴퓨팅 자원을 원하는 만큼 확장하여, 기업은 학습 작업을 효율적으로 수행할 수 있습니다. 이로 인해 초기 투자 비용을 절감하고, 필요에 따라 인프라를 유연하게 확장할 수 있습니다. 이는 특히 데이터 과학자들이 새로운 모델을 신속하게 개발하고, 실험을 통해 성능을 최적화하는 데 도움이 됩니다.
• 추론(AI Serv) 인프라
  추론 인프라는 학습된 AI 모델을 실시간으로 실행하여 예측과 결정을 내리는 데 사용됩니다. 학습 인프라와 달리 추론 인프라는 대규모 GPU클러스터링이 필요하지 않습니다. 추론 작업은 실시간으로 처리하기 때문에, 고성능의 컴퓨팅 자원과 안정적인 네트워크 인프라가 필수적입니다. kt loud는 이를 위해 성능 열화 없는 Slicing기술을 적용하여 필요한 만큼 GPU 자원을 적기에 제공할 수 있습니다. 이를 통해 기업은 빠르고 정확한 의사결정을 지원받을 수 있으며, 고객경험을 향상시킬 수 있습니다.

 

2. 생성형AI플랫폼

생성형 AI 플랫폼은 LLM Ops, AI Agent 관리, 멀티 AI 에이전트 체계로 구성되어 있습니다.
처음 접하시는 분들은 어렵게 느껴질 수 있으나, 기본적으로 우리 기업의 업무를 처리하기 위하여 필요한 지식을 학습한 “기업전용 LLM(생성형AI)”이 필요하게 됩니다. 이것을 가능하게 하는 것은 LLM Ops이고요. 이렇게 생성된 LLM을 기업 업무에 활용하기 위하여 특화된 솔루션이 AI Agnet입니다. 쉽게 기업 업무에 맞는 Chatgpt들을 AI Agent가 되는 것입니다.
이 AI Agnet를 관리하기 위한 것이 “AI Agent관리”와 “멀티 AI에이전트 체계”입니다.

그림과 함께 해당 구성 요소들을 좀 더 자세히 소개하도록 하겠습니다.

 

• LLM Ops

출처: 삼성SDS Real Summit 발표자료 가공 (삼성SDS, “생성형AI로 더욱 스마트해지는 R&D혁신”; “LLM을 넘어 Agentic System까지 반드시 알아야 할 기업용 AI기술과 활용전략”)

 

LLM Ops는 다양한 대규모 언어 모델(LLM)을 활용하여 기업 맞춤형 AI 솔루션을 제공합니다. LLM Ops는 여러 LLM 중에서 기업의 필요에 맞는 모델을 선택하고, 이를 기업의 데이터로 파인튜닝하여 최적의 성능을 발휘하는 “기업전용 LLM”을 만들수 있습니다. LLM Ops는 또한 RAG(Retrieval-Augmented Generation) 기술을 도입하여 AI 모델의 정확도를 높이고 할로시네이션을 줄입니다. RAG 기술은 기업의 내부 데이터베이스와 연동되어 AI가 더 신뢰할 수 있는 답변을 생성하도록 돕습니다. 이를 통해 기업은 중요한 의사 결정을 내릴 때 더 정확한 정보를 바탕으로 판단할 수 있습니다.

또한, LLM Ops는 지속적인 파인튜닝을 통해 새로운 지식을 학습하고, RAG기능 업데이트를 통해 AI 모델의 성능을 유지하고 개선합니다. 이는 기업이 변화하는 시장 환경에 빠르게 대응할 수 있도록 지원합니다. LLM Ops는 기업의 고유한 데이터와 요구사항을 반영하여 맞춤형 솔루션을 제공함으로써, 기업의 경쟁력을 강화하는 데 기여합니다.

 

• AI Agent관리(AI Agent Studio)

출처: 삼성SDS Real Summit 발표자료 가공(삼성SDS, “LLM을 넘어 Agentic System까지 반드시 알아야 할 기업용 AI기술과 활용전략”)

 

AI Agent 관리는 기업 내 직원들의 업무를 자동화할 수 있는 AI 에이전트를 쉽게 생성하고 관리할 수 있는 포털입니다. 이 툴을 통해 사용자는 복잡한 프로그래밍 지식 없이도 간편하게 AI 에이전트를 만들 수 있습니다. 예를 들어, 고객 서비스 자동화를 위해 챗봇을 만들거나, 내부 프로세스 최적화를 위한 업무 도우미 AI를 생성할 수 있습니다. AI Agent Studio
는 직관적인 사용자 인터페이스를 제공하며, 생성된 AI 에이전트를 실시간으로 테스트하고 배포할 수 있는 기능도 포함하고 있습니다. 이를 통해 직원들은 더 복잡하고 가치 있는 업무에 집중할 수 있게 됩니다.

 

• 멀티 AI 에이전트 체계

출처: 코리아핀테크, 삼성SDS Real Summit 발표 자료 가공

 

여러 업무를 동시에 처리할 수 있는 AI 에이전트들을 연계하여 효율성을 극대화합니다. 각 AI 에이전트는 특정 업무를 담당하며, 서로 협업하여 전체적인 업무 흐름을 개선합니다. 
예를 들어, 고객 문의 처리 AI 에이전트와 재고 관리 AI 에이전트를 연계하면, 고객이 특정 제품에 대해 문의할 때 재고 정보를 실시간으로 제공할 수 있습니다. 이는 고객 만족도를 높이고, 내부 업무 프로세스를 원활하게 만듭니다. 멀티 AI 에이전트 체계는 기업이 다양한 부서와 업무 영역에서 AI 기술을 효과적으로 활용할 수 있도록 지원합니다. 이처럼 LLM Ops, AI Agent Studio, 멀티 AI 에이전트 체계로 구성된 생성형 AI 플랫폼은 기업의 디지털 전환을 가속화하고, AI를 통해 혁신을 실현할 수 있도록 도와줍니다.

 

3. Application
기업 AX 플랫폼의 어플리케이션 레벨은 AI 에이전트를 활용하여 기업 내부의 다양한 업무를 자동화하는 데 초점을 맞추고 있습니다. 예를 들어, 마케팅 캠페인 관리, 재고 관리, 고객 서비스 등 주요 업무 영역에 AI 에이전트를 배치합니다. 이 AI 에이전트들은 실시간으로 데이터를 분석하고, 의사결정을 지원하여, 업무의 정확성과 효율성을 높입니다. 이를 통해 기업은 더 빠르게 변화하는 시장에 대응하고, 경쟁력을 유지할 수 있게 됩니다. 또한, 각 어플리케이션은 기존 시스템과의 통합이 용이하여, 기존 인프라와 매끄럽게 연계될 수 있습니다. 이러한 자동화 솔루션은 직원들의 반복 업무를 줄이고, 더 창의적이고 전략적인 업무에 집중할 수 있도록 합니다.

 

 

기업AX 도입 전략

기업들이 AI Transformation(AX)을 성공적으로 도입하기 위해서는 단계별로 전략을 세우는 것이 중요합니다. 아래와 같은 단계로 기업AX도입을 추진해야 됩니다.

 

1. 단위 업무 중심으로 초기 ‘서비스형 SaaS’ 도입
처음부터 모든 업무에 AX를 적용하려는 시도는 부담이 큽니다. 대신, 1~2개의 핵심 업무를 선정하여 서비스형 AI 에이전트(SaaS)를 도입하고 성능을 검증하는 것이 좋습니다. 예를 들어, 고객 서비스 자동화를 목표로 챗봇을 도입하거나, 재고 관리 자동화를 위한 AI 모델을 구축할 수 있습니다. 이를 통해 초기 단계에서 성공적인 사례를 만들어 다른 부서로 확산할 수 있습니다.

 

2. 생성형 AI 추진 역량 내재화
AI 에이전트를 효과적으로 활용하려면 기업 내부에 관련 역량을 내재화하는 것이 필요합니다. 이를 위해서는 직원들에게 AI 교육과 훈련을 제공하고, AI 전문 인력을 채용하거나 재교육하는 것이 중요합니다. 기업 내 AI 전문팀을 구성하여 지속적으로 생성형 AI를 연구하고 개발하는 것도 좋은 전략입니다.

 

3. 인프라 및 생성형 AI 플랫폼 구축
안정적이고 확장 가능한 인프라를 구축하는 것은 AX 도입의 기초입니다. GPUaaS(서비스형 GPU) 기반의 학습 및 추론 인프라를 마련하고, 이를 통해 대규모 데이터를 효과적으로 처리할 수 있어야 합니다. 또한, 여러 대규모 언어 모델(LLM)을 통합 관리할 수 있는 플랫폼을 구축하여 기업에 맞는 AI 모델을 사용하고,
업무에 활용할 수 있도록 구축해야 합니다.

 

4. AI 에이전트 활용 확산
초기 도입과 성능 검증이 완료된 후에는 AI 에이전트를 다양한 업무에 확산하는 전략이 필요합니다. 제품 개발, 마케팅, 운영 등 주요 업무 영역에 AI 에이전트를 배치하여 실시간 분석과 의사결정을 지원합니다. 이를 통해 업무의 효율성과 정확성을 높일 수 있습니다.

 

5. 조직 문화 변화 관리
AX 도입은 단순히 기술적 변화를 의미하지 않습니다. 조직 문화와 업무 방식의 변화를 동반합니다. 따라서, 변화 관리 전략을 통해 직원들이 새로운 기술을 수용하고 적극적으로 활용할 수 있도록 지원해야 합니다. 내부 커뮤니케이션을 강화하고, 성공적인 도입 사례를 공유하며, 변화에 대한 긍정적인 인식을 확산시켜야 합니다.

이와 같이 체계적이고 단계적인 접근을 통해 기업들은 AX를 성공적으로 도입하고, 이를 통해 기업들은 경쟁력을 강화할 수 있을 것입니다.

 

 

 

관련/출처

1. 애플 잡은 MS도 여기에 꽂혀...'AX' 시대가 온다  - 이코노믹리뷰

2. 대세는 DX에서 AX로…IT서비스 기업들 ‘AI 공략’ 가속 - 디지털데일리

3. [IT트렌드] 기업의 혁신을 주도하는 인공지능.. : 네이버블로그

4. [조경재 칼럼] AX를 성공적으로 추진하기 위한 고려사항 - 세이프타임즈

5. “벤처도 AX가 대세”…벤처협회, 혁신 사례 소개 - 전자신문

6. LGU+ 황현식 “익시오는 시작…고객 위한 AI에 최대 3조 투자할 것” - 전자신문

7. 산업 전방위 퍼지는 AX 경영 [AI로 다 바꿔라] - 매경ECONOMY

8. SS&C Blue Prism | 자동화의 미래는 어떻게 전망하시나요? 2024년 동향과 전망

9. AX(AI Transformation): 인공지능 시대를 선도하는 기업의 필수 전략

10. REAL SUMMIT 2024 다시보기| 삼성SDS

11. 2024 Fintech