[AI Cloud 고객사례]
KT융합기술원
Hyperscale AI Computing을 활용한 AI 초거대 언어모델 적용 사례
미국에 챗GPT가 있다면
한국은 KT의 초거대 AI '믿음'이 있다!
KT에서 23년 하반기에 출시를 앞둔 초거대 AI 믿음을 연구하고 개발하는 곳!
바로 KT융합기술원인데요.
KT융합기술원 또한 kt cloud의 고객사이십니다.
자세한 내용을 들어보죠.
Q.KT의 초거대 AI연구에 대해 설명 부탁드려요!
저희가 실제로 연구하는 초거대 AI는 초거대 언어모델입니다.
초거대라는것은 파라미터 규모에 따라서 달라지는데요.
현재는 10억 개 이상의 언어모델에 대해서 초거대로 분류하고 있습니다.
언어 모델에는 GPT3와 T5는라는 큰 두가지 모델이 있는데요.
GPT3 같은 경우는 생성에 기반을 둔 모델인 반면에 T5 생성과 이해를 동시에 할 수 있는 능력이 있기 때문에
저희는 지금 T5를 기반으로 초거대 모델을 연구하고 있습니다.
Q.초거대 AI 연구에 어려움이 있으셨나요?
초거대에서 가장 큰 고민은 학습 속도입니다.
보통 초거대 모델을 한 번 학습하기 위해서는 수일에서 수달까지 걸리기 때문에
시간을 줄이는 게 굉장히 중요합니다.
시간을 줄이려면 초거대 같은 경우는
GPU를 한 두장 쓰는게 아니라 수백 장, 수천 장을 쓰기 때문에
이 수천장의 GPU를 얼마나 효과적으로 잘 묶어서 빠르게 학습할 수 있느냐 그게 가장 큰 고민이고 가장 큰 숙제입니다.
Q.HAC서비스를 직접 사용해보니 어떠셨나요?
첫 번째는 학습 속도의 개선이었는데요.
N사에 비해서 같은 비용으로 GPU를 썼을때보다 2배나 속도가 빨랐습니다.
그리고 두 번째는 국내에서 굉장히 빠르게 효율적으로 기술 지원을 받을 수 있다는 점이 좋았습니다.
*HAC(Hyperscale AI Comuting)이란?
kt cloud의 핵심 상품 중 하나로, GPU 자원을 종량제 방식으로 필요한만큼, 사용한 만큼만 사용 가능한 Cloud AI GPU 인프라 상품
대규모 GPU자원을 활용할 때 적합한 HAC서비스
금융, AICC 등 콜센터 등에 접목하여 상용화 된다고 하니
일상생활에서 kt cloud의 HAC인프라를 기반으로한 다양한 서비스들을 경험해볼 수 있게 되겠네요.
'고객 사례' 카테고리의 다른 글
| [고객사례] AI 이루다 챗봇기업 스캐터랩: 친구처럼 친밀한 대화를 나눌 수 있는 비결 (0) | 2023.02.09 |
|---|
