![[케클러 인터뷰 시리즈] #4 전국에 1GW 규모 AI 데이터센터를 준비하는 kt cloud의 방식](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2Fvrnb2%2FdJMcagl3PiX%2FAAAAAAAAAAAAAAAAAAAAANbcCpFr_42mi2WqX_tIXWbkZ9c9VAJJ_WEyrfGXJEhX%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1785509999%26allow_ip%3D%26allow_referer%3D%26signature%3DED2nmx%252FscrhsLxr2HV0tgCTnduo%253D)
요약 SUMMARY
‘기술이 장르가 되는 곳, kt cloud의 케클러 인터뷰 시리즈’는 케클러들의 목소리를 통해 고객의 다음 문제를 먼저 고민하는 kt cloud의 기술적 지향점과 해법을 전합니다.
네 번째 호에서는 kt cloud 데이터센터 사업을 총괄하는 박재우 상무를 만났습니다.
AI 시대에 데이터센터의 기준은 어떻게 달라졌는지, 고객마다 다른 AI *워크로드를 수용하려면 무엇을 설계해야 하는지, 그리고 kt cloud가 어떤 AI 데이터센터를 만들어가고 있는지를 담았습니다.
#ktcloud #AIDC #AI데이터센터 #AI #AI인프라 #GPU
안녕하세요. kt cloud 마케팅커뮤니케이션팀입니다.
AI가 기업의 핵심 서비스로 자리 잡으면서 데이터센터의 역할도 빠르게 변화하고 있습니다. 과거에는 얼마나 많은 서버를 수용할 수 있는지가 경쟁력이었다면, 이제는 AI 서비스를 안정적으로 운영할 수 있는 인프라를 갖추는 것이 핵심 경쟁력이 되고 있습니다.
AI 연산의 핵심인 *GPU는 막대한 전력을 소비하고 많은 열을 발생시킵니다. 또한 수천 장의 GPU가 하나의 AI 모델을 동시에 학습하려면 대규모 데이터를 실시간으로 처리하는 초고속 네트워크가 필수입니다. 이처럼 AI 워크로드의 특성은 기존 데이터센터와는 전혀 다른 인프라를 요구합니다.
이에 따라 고밀도 랙, *액체 냉각, 고전압 전력 공급, 초고속 네트워크 등 AI에 최적화된 설비 구축이 필수 과제로 떠오르고 있습니다. 그러나 GPU를 많이 확보하고 최신 설비를 갖추는 것만으로 AI 데이터센터가 완성되는 것은 아닙니다.
진정한 AI 데이터센터는 입지 선정부터 전력과 냉각, 네트워크, 운영까지 모든 요소가 하나의 체계로 설계되고 유기적으로 운영되어야 합니다. 그래야 고객의 AI 서비스를 안정적으로 지원하고, 지속적으로 확장할 수 있기 때문입니다.
이번 인터뷰에서는 kt cloud DC사업담당 박재우 상무를 만나 AI 시대 데이터센터의 새로운 기준과 AI 서비스를 안정적으로 운영하기 위해 갖춰야 할 핵심 경쟁력에 대해 들어보았습니다.
이야기를 시작하며
이번 인터뷰의 주인공이 꼽은 ‘이 글이 필요한 분들’
↳ 대규모 GPU 클러스터와 AI 플랫폼을 운영하는 기술 리더
↳ 비즈니스 확장을 위한 데이터센터 전략을 고민하는 IT 의사결정자
Part 1. AI 시대, 데이터센터의 기준이 바뀌다
과거 데이터센터의 역할은 명확했습니다. 안정적인 전력과 냉방 환경을 갖추고, 고객의 서버와 장비를 안전하게 수용하는 것이었습니다.
하지만 *AX(AI 전환, AI Transformation)가 본격화되면서 데이터센터의 역할도 근본적으로 달라지고 있습니다. 박재우 상무는 이러한 변화를 이끄는 가장 큰 요인으로 “GPU가 만들어낸 고집적 환경”을 꼽습니다.
기존 서버 랙이 수 kW 수준의 전력을 사용했다면, 최신 AI용 *고집적 랙은 수십 kW에서 많게는 100kW 이상의 전력을 요구합니다. 전력 소비가 급격히 증가하면서, 데이터센터 역시 이전과는 전혀 다른 설계 기준이 필요해졌습니다.
충분한 전력을 안정적으로 공급할 수 있는 수전 설비와 이중화 구조는 물론, GPU에서 발생하는 막대한 열을 효과적으로 처리할 수 있는 냉각 시스템까지 모두 함께 고려되어야 합니다. 이제는 *공랭 중심의 기존 방식만으로는 AI 워크로드를 안정적으로 운영하기 어려운 환경이 된 것입니다.
박재우 상무는 고객들의 질문도 달라졌다고 말합니다.
"
예전에는 ‘빈 상면이 있느냐’를 물었다면,
이제는 ‘이곳에서 우리 AI 서비스를 실제로 안정적으로 운영할 수 있느냐’를 묻습니다.
"
데이터센터는 이제 고객의 AI 서비스를 구축하고, 확장하며, 중단 없이 운영할 수 있도록 뒷받침하는 핵심 인프라이자 실행 기반으로 그 역할이 진화하고 있습니다.
Part 2. 고객의 워크로드에서 출발하는 ‘맞춤형’ 설계
하나의 AI 데이터센터 모델로 모든 고객을 만족시킬 수 있을까요?
박재우 상무는 AI 데이터센터는 고객의 AI 워크로드와 비즈니스 특성에서 설계가 시작되어야 한다고 말합니다. 산업과 서비스마다 AI를 활용하는 방식과 데이터 환경이 모두 다르기 때문입니다.
금융권은 강력한 보안과 규제 준수, 무중단 운영이 최우선이며, 증권 서비스는 물리적 거리를 최소화한 초저지연 환경이 핵심 경쟁력입니다.
제조업은 생산 현장과 가까운 곳에서 실시간 데이터를 처리해야 하고, 공공 부문은 데이터 주권을 고려한 분리 환경이 필수적입니다.
반면 AI 기술·서비스 기업은 대규모 모델 학습을 위한 GPU 규모와 확장 가능한 초고속 네트워크를 가장 중요하게 살펴봅니다.
이처럼 고객이 요구하는 환경이 서로 다른 만큼, 하나의 데이터센터 모델로 모든 AI 서비스를 지원하기는 어렵습니다. 이에 kt cloud는 고객의 위치와 AI 워크로드, 데이터 특성, 운영 규모에 따라 하이퍼스케일(Hyperscale), 엣지(Edge), 마이크로(Micro) 데이터센터를 최적의 형태로 제안하고 있습니다.
|
구분
|
주요 특징
|
적합한 워크로드
|
| 01. 하이퍼스케일 데이터센터 (Hyperscale Data Center) |
수천 대 이상의 서버, 대규모 전력, 초고속 네트워크를 갖춘 초대형 거점 | 대규모 AI 모델 학습, 대형 클라우드 등 막대한 연산 자원이 필요한 영역 |
| 02. 엣지 데이터센터 (Edge Data Center) |
사용자나 산업 현장 등 데이터 발생지와 물리적으로 가장 가까운 곳에 분산 배치 | 초저지연 금융 거래, 제조 현장 실시간 분석, 자율주행 및 로봇 제어 |
| 03. 마이크로 데이터센터 (Micro Data Center) |
서버·전력·냉각·보안을 소형 모듈(랙 단위)에 통합하여 필요한 위치에 즉시 배치 | 특정 거점이나 제한된 규모의 신속한 인프라 대응 |
핵심은 고객에게 이미 구축된 데이터센터를 선택하도록 하는 것이 아니라, 고객의 AI 서비스에 가장 적합한 데이터센터를 설계하는 데 있습니다.
kt cloud는 고객의 워크로드를 먼저 분석하고, 그에 맞는 데이터센터의 형태와 운영 조건을 설계합니다. 박재우 상무는 이런 접근이야말로 고객의 비즈니스에 최적화된 진정한 ‘맞춤형 AI 데이터센터’의 핵심이라고 설명합니다.
Part 3. AI 데이터센터를 완성하는 3대 핵심 기술
AI 데이터센터의 경쟁력은 GPU를 얼마나 많이 확보했는지가 아니라, 그 GPU를 얼마나 안정적으로 운영할 수 있느냐에서 결정됩니다. 박재우 상무는 AI 데이터센터를 뒷받침하는 핵심 요소로 전력 품질, 열 관리, 그리고 운영 역량을 꼽습니다.
01. 전력 품질: 용량을 넘어 품질과 효율까지
GPU가 밀집된 환경에서는 단순히 많은 전력을 공급하는 것만으로는 충분하지 않습니다. 대규모 전력이 한꺼번에 집중되면 전력 파형이 왜곡되는 고조파 현상이 발생할 수 있으며, 이는 고가의 GPU 장비 성능과 수명, 서비스 안정성에 영향을 미칠 수 있습니다. 따라서 안정적인 전력 공급은 물론, 전력 품질 관리와 이중화 설계까지 함께 갖춰져야 합니다.
kt cloud는 대기전력 손실을 줄이고 에너지 효율을 높이기 위해, 랙에 고전압을 직접 공급하는 800V DC(고전압 직류)기반의 차세대 전력 구조도 선제적으로 준비하고 있습니다.
02. 열 관리: 공기로 식히기 어려운 시대
GPU의 소비 전력이 증가하면 발생하는 열도 함께 늘어납니다. 수십 kW의 열을 발생시키는 고집적 랙 환경에서는 기존 공랭식 냉각만으로는 안정적인 온도 유지가 어렵습니다. 이에 kt cloud는 지난해 개소한 가산 AI 데이터센터에 냉각판을 부착해 액체로 직접 칩의 열을 식히는 Direct-to-Chip 방식의 액체 냉각을 가장 먼저 상용화했습니다.
하지만 진짜 기술 경쟁력은 액체 냉각 설비를 도입하는 데 있지 않습니다. GPU 배치와 워크로드를 고려해 어느 랙에서 얼마나 많은 열이 발생할지를 예측하고, 이를 바탕으로 냉각 구조까지 함께 설계하는 것이 핵심입니다.
03. 운영: 기술을 지속 가능한 서비스로 만드는 과정
전력과 냉각 설비를 갖췄다고 해서 AI 데이터센터가 완성되는 것은 아닙니다. 이를 안정적으로 운영할 체계와 노하우가 갖춰져야 고객의 AI 서비스를 중단 없이 지속할 수 있습니다. 특히 액체 냉각 환경에서는 물과 냉매가 서버 바로 옆을 흐르기 때문에 작은 누액도 서비스 장애로 이어질 수 있어 더욱 정교한 운영 관리가 필요합니다.
kt cloud는 가산 AI 데이터센터에서 배관 설계와 유량 제어, 24시간 관제, 실시간 장애 대응까지 축적한 운영 경험을 바탕으로 AI 서비스를 안정적으로 운영할 수 있는 체계를 구축하고 있습니다.
박재우 상무는 이러한 전력·냉각·운영 역량이 앞으로 AI 데이터센터 경쟁력을 좌우하는 핵심 요소가 될 것으로 전망합니다. 또한 이러한 기술은 데이터센터를 표준화된 모듈 형태로 빠르게 구축하는 '*모듈러 데이터센터'는 물론, 로봇과 자율주행 등 초저지연 연산이 요구되는 '*피지컬 AI 시대'의 엣지 인프라 경쟁력으로도 이어질 것이라고 설명합니다.
Part 4. AI 인프라 구축 이후, 고객이 마주하는 진짜 과제
AI 인프라를 구축했다고 해서 곧바로 AI 서비스를 안정적으로 운영할 수 있는 것은 아닙니다. 박재우 상무는 GPU를 도입하는 것과 AI 서비스를 운영하는 것은 전혀 다른 영역이라고 말합니다.
고집적 GPU 환경을 자체적으로 구축하려면 데이터센터 시설은 물론 전력과 냉각, 네트워크까지 모두 갖춰야 합니다. 여기에 전문 운영 인력과 24시간 장애 대응 체계까지 필요해 초기 투자뿐 아니라 지속적인 운영 부담도 커질 수밖에 없습니다.
그래서 kt cloud는 고객이 인프라 운영보다 AI 서비스 개발과 비즈니스에 집중할 수 있도록 구축부터 운영까지 필요한 범위를 선택할 수 있는 서비스를 제공하고 있습니다.
01. Colocation
코로케이션은 고객이 보유한 GPU와 서버를 안정적으로 운영할 수 있도록 상면과 전력, 냉각, 네트워크, 보안 환경을 제공하는 서비스입니다. 자체 AI 데이터센터를 구축하기 어려운 기업도 AI 워크로드에 적합한 인프라를 빠르게 확보할 수 있습니다.
02. kt cloud Colocation.AI
한 단계 더 나아가 kt cloud Colocation.AI는 GPU 인프라와 전문 운영 서비스를 하나로 제공하는 AI 특화 서비스입니다. 고객은 GPU 장비를 직접 구매하거나 운영 조직을 별도로 구축하지 않아도, 필요한 규모의 AI 인프라를 월 과금 방식으로 이용할 수 있습니다. 이를 통해 초기 투자 부담은 줄이고, AI 서비스 개발과 운영에 더욱 집중할 수 있습니다.
박재우 상무는 "AI 시대에는 인프라를 얼마나 많이 보유했는지보다, 얼마나 빠르고 안정적으로 AI 서비스를 시작할 수 있는지가 더 중요한 경쟁력이 될 것"이라고 강조합니다.
Part 5. AI 병목을 해결하는 ‘연결’
AI 서비스의 성능을 결정하는 것은 GPU만이 아닙니다.
박재우 상무는 AI 워크로드의 숨은 병목은 연산 성능이 아니라 데이터가 이동하는 속도와 연결 구조에 있다고 설명합니다. 아무리 뛰어난 GPU를 갖추더라도 데이터가 제때 전달되지 않으면 GPU는 제 성능을 발휘하지 못하기 때문입니다.
결국 AI 시대의 네트워크는 단순한 연결 수단이 아니라, 데이터센터 전체 성능을 결정하는 핵심 인프라입니다.
박재우 상무는 kt cloud의 AI 데이터센터 연결 구조를 데이터센터 내부, 데이터센터 간, 글로벌 세 단계로 설명합니다.
01. 데이터센터 내부 연결 (Intra-DC)
수천 장의 GPU가 하나의 AI 모델을 동시에 학습하려면 GPU 간 데이터가 초고속·초저지연으로 오가야 합니다. kt cloud는 광통신 기반의 고속 네트워크를 촘촘하게 구성해 GPU 간 병목을 최소화하고 AI 연산 성능을 극대화합니다.
02. 데이터센터 간 연결 (Inter-DC)
여러 지역에 위치한 데이터센터도 하나의 AI 인프라처럼 동작해야 합니다. kt cloud는 데이터센터 간 전용망을 통해 대규모 데이터를 실시간으로 연동하고, 학습과 추론 작업을 여러 거점으로 분산해 연산 효율과 서비스 안정성을 높이고 있습니다.
03. 글로벌 연결 (Global DC)
AI 서비스가 글로벌로 확장될수록 국가 간 데이터 이동도 크게 늘어납니다. 특히 대규모 AI 모델의 학습과 추론 과정에서는 국제망을 통한 초대용량 데이터 전송이 빈번하게 발생합니다. 이를 뒷받침하는 핵심 인프라가 바로 '*해저케이블'입니다.
KT는 국내 최대 수준의 해저케이블과 인터넷 연동 거점(*IX), 통신 *백본망을 보유하고 있으며, 이를 기반으로 국내는 물론 글로벌까지 안정적인 AI 네트워크 환경을 제공합니다.
박재우 상무는 AI 데이터센터의 경쟁력은 개별 시설이 아니라 얼마나 끊김 없이 연결되는 하나의 인프라를 구현할 수 있는지에 달려 있다고 강조합니다.
kt cloud는 KT그룹의 네트워크 역량을 바탕으로 데이터센터 내부부터 데이터센터 간, 글로벌까지 하나의 AI 인프라처럼 유기적으로 연결해 대규모 AI 워크로드를 안정적으로 지원하고 있습니다.
Part 6. 진짜 AI 서비스를 운영할 수 있는 AI 데이터센터의 모습
그렇다면 AI 서비스를 운영하는 기업은 앞으로 어떤 기준으로 데이터센터를 선택해야 할까요?
박재우 상무는 “사업자가 얼마나 많은 기술을 보유했는지가 아니라, 그 기술을 실제 서비스 환경에서 얼마나 안정적으로 운영해왔는지가 더 중요하다”고 말합니다.
새로운 기술은 도입보다 운영이 어렵습니다. 특히 액체 냉각과 같은 차세대 기술은 장기간의 운영 경험을 통해 안정성이 검증되어야 비로소 고객의 AI 서비스를 중단 없이 안정적으로 운영할 수 있습니다.
결국 앞으로의 경쟁은 누가 더 큰 데이터센터를 짓느냐가 아니라, 누가 고객의 AI 비즈니스를 더 안정적으로 지원할 수 있느냐에 달려 있습니다.
박재우 상무가 생각하는 '진짜 AI 서비스를 운영할 수 있는 AI 데이터센터'는 단순히 GPU를 많이 갖춘 시설이 아닙니다.
고객의 AI 워크로드에 맞는 인프라를 설계하고, 고집적 환경을 안정적으로 운영할 수 있는 기술과 경험을 갖추며, 고객이 인프라보다 AI 서비스와 비즈니스에 집중할 수 있도록 지원하고, 데이터센터 내부부터 글로벌까지 끊김 없이 연결하는 것. 이 모든 요소가 하나의 체계로 갖춰질 때 비로소 진정한 AI 데이터센터가 완성됩니다.
이러한 방향은 KT그룹이 추진하는 AI 인프라 전략과도 맞닿아 있습니다.
KT그룹은 향후 5년간 AI 인프라에 총 6조 원을 투자해 1GW 규모의 AI 데이터센터를 단계적으로 구축하고, 전국 수천 개의 국사를 초저지연 AI 엣지 거점으로 활용할 계획입니다. 또한 글로벌 해저케이블 용량을 128Tbps 이상으로 확대하는 등 AI 시대에 필요한 연결 경쟁력도 지속적으로 강화하고 있습니다.
kt cloud는 앞으로도 설계와 구축, 운영, 연결까지 AI 데이터센터의 전 과정을 책임지는 파트너로서, 고객이 AI 비즈니스에 집중할 수 있는 가장 신뢰받는 AI 인프라를 제공해 나갈 것입니다.
관련 용어 설명
- 워크로드(Workload): 컴퓨터 시스템이나 클라우드 환경에서 처리해야 하는 애플리케이션, 데이터, 연산 등의 작업을 의미합니다.
- GPU(Graphics Processing Unit): AI 모델의 학습과 추론에 필요한 대규모 병렬 연산을 수행하는 고성능 프로세서입니다.
- 액체 냉각(Liquid Cooling): 고성능 GPU 서버에서 발생하는 열을 효율적으로 제어하기 위해 액체를 이용해 장비를 냉각하는 기술입니다.
- DBO(Design, Build, Operate): 데이터센터의 설계부터 구축, 운영까지 전 과정을 수행하는 사업 모델입니다.
- AX(AI Transformation): AI를 활용해 비즈니스와 업무 프로세스를 혁신하고 새로운 가치를 창출하는 AI 전환 전략입니다.
- 고집적 랙(High-density Rack): 단위 랙에 많은 서버와 GPU를 집적해 높은 전력과 냉각 성능이 요구되는 데이터센터용 랙입니다.
- 공랭식(Air Cooling): 공기의 흐름을 이용해 서버와 장비에서 발생하는 열을 냉각하는 방식입니다.
- 모듈러 데이터센터(Modular Data Center): 전력·냉각·서버 수용 환경 등을 표준화된 모듈 형태로 제작한 뒤 현장에서 조립하는 데이터센터 구축 방식입니다. 구축 기간을 단축하고 수요에 맞춰 유연하게 확장할 수 있습니다.
- 피지컬 AI(Physical AI): AI가 물리적 환경을 실시간으로 인식하고 판단해 로봇, 자율주행 등 실제 동작으로 이어지도록 하는 기술입니다.
- 해저케이블(Submarine Cable): 바다 밑에 설치되는 광케이블로, 국가와 국가를 연결해 전 세계 인터넷 트래픽 대부분을 전송하는 핵심 통신 인프라입니다.
- IX(Internet Exchange): 통신사업자와 인터넷 서비스 사업자(ISP) 등이 인터넷 트래픽을 직접 교환하는 인터넷 연동 거점입니다.
- 백본망(Backbone Network): 국가나 대규모 네트워크의 핵심 전송망으로, 대량의 데이터 트래픽을 고속으로 전달하는 기반 네트워크입니다.
'kt cloud Story > Team Culture' 카테고리의 다른 글
| [케클러 인터뷰 시리즈] #3 개발자가 본질에 집중하도록: kt cloud 플랫폼 엔지니어링 이야기 (1) | 2026.06.24 |
|---|---|
| [케클러 인터뷰 시리즈] #2 장애에도 서비스가 멈추지 않는 ‘Multi-AZ’ 엔지니어링 비하인드 (1) | 2026.05.27 |
| [케클러 인터뷰 시리즈] #1 kt cloud PLATFORM 재설계 이야기 (0) | 2026.04.23 |
| [공모전 후기] Dev Agent, kt cloud의 업무 방식을 혁신하다 (0) | 2026.02.23 |
| [인터뷰] AI로 성장하는 사람들, kt cloud는 이렇게 합니다 (1) | 2025.09.24 |