기술 블로그 (Tech) | kt cloud

[AI활용] AI Portal부터 보안관제까지, kt cloud AI 내재화 3가지 사례

[ kt cloud AI사업개발팀 정소라 님 ] 📋 요약 이 글에서는 kt cloud가 사내 업무에 AI를 적용해 업무 효율과 관제 품질을 개선한 내재화 사례를 다룹니다.실제 운영 환경에서 AI 도입 효과를 검증하고 확산하기 위한 실무 방향을 정리합니다.#ktcloud #AI내재화 #RAG #MCP #보안관제 "우리가 먼저 써봤습니다"AI 플랫폼을 만드는 회사가 정작 자기 업무에는 AI를 쓰지 않는다면, 그 플랫폼을 얼마나 신뢰할 수 있을까요? kt cloud는 고객에게 플랫폼을 제안하기 전에, 사내 업무에 먼저 AI를 적용해보는 원칙을 세웠습니다. "Dog-fooding"이라고도 부르는 이 접근법을 통해, 실제 업무 환경에서 마주치는 문제를 직접 겪고, 해결하고, 개선한 경험을 축적했..

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 이 글에서는 Dell Pro Max GB10 AI 워크스테이션의 아키텍처, 설정, 성능 검증과 활용성을 다룹니다.로컬 AI 개발 환경의 선택 기준과 운영 방향을 정리합니다.#DellProMaxGB10 #AI워크스테이션 #Blackwell #통합메모리 #로컬AI AI 엔지니어라면 누구나 한 번쯤 이런 상상을 해보셨을 겁니다."내 책상 위에 H100 하나만 있으면 소원이 없겠다." 클라우드에 H100, A100 클러스터가 구축되어 있지만, 보안상의 이유로 데이터를 외부로 반출할 수 없거나, 네트워크 지연(Latency) 없이 즉각적인 추론 테스트를 하고 싶을 때 우리는 항상 로컬 장비를 갈망합니다. 하지만 현실은 냉혹합니다. 현재 시중..

[ kt cloud AI사업개발팀 정소라 님 ] 📋 요약 이 글에서는 kt cloud AI Foundry를 활용한 기업 맞춤형 AI 서비스 구축 흐름을 다룹니다.생성형 AI 도입을 체계화하고 보안·품질 리스크를 줄이는 실무 방향을 정리합니다.#ktcloud #AIFoundry #RAG #LLM #생성형AI 바이브코딩 열풍과 더불어 kt cloud AI사업개발팀은 기업의 AX컨설팅 및 교육을 지원해드리고 있습니다. 오늘은 기업 맞춤형 AI 서비스를 가장 빠르고 효율적으로 구축할 수 있는 kt cloud AI Foundry의 활용 가이드를 준비했습니다.복잡해 보이는 생성형 AI 개발, AI Foundry의 '5 step'을 따라가면 누구나 체계적으로 활용할 수 있습니다. 실제 kt clou..

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 이 글에서는 Python 기반 API Gateway 구축 과정에서FastAPI 대신 Rust 런타임 기반의 웹 프레임워크 Robyn을 도입한 배경과 실측 성능 벤치마크 결과를 다룹니다.고부하 환경에서의 Tail Latency 안정성과 서버 생존율 차이가엔터프라이즈 AI 서비스의 인프라 선택에 실질적인 기준이 됨을 정리합니다.#Robyn #FastAPI #API Gateway #Rust런타임 #Tail Latency 최근 LLM 트렌드와 함께 AI 서비스의 아키텍처는 날이 갈수록 복잡해지고 있습니다. vLLM이나 TGI 같은 고성능 추론 엔진들은 자체적으로 API 서버 기능을 내장하고 있어 실행 즉시 모델과 통신할 수 있는 환경을 제..

[ kt cloud Cloud컨설팅팀 심대섭 님 ] 📋 요약 이 글에서는 RAG(검색 증강 생성) 기반 LLM 서비스에서 컨텍스트 품질이 답변 성능에 미치는 영향과,TopK 조정·rerank·중복 제거·질문 기반 압축 등 실무 적용 가능한 컨텍스트 최적화 기법을 다룹니다.프롬프트 튜닝보다 근거 문서의 선별·정제·구조화가답변의 신뢰성과 일관성을 결정하는 핵심 변수임을 정리합니다.#RAG #컨텍스트최적화 #rerank #TopK #query-aware-compression LLM을 서비스에 붙이면 가장 먼저 손대는 건 보통 프롬프트입니다. 그런데 운영 단계로 들어가면, 프롬프트를 아무리 다듬어도 답변 품질이 들쭉날쭉한 상황을 자주 마주합니다. 특히 RAG처럼 문서를 붙여 답하게 만드는 구조..

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 이 글에서는 AI 모델 운영의 핵심인 MLOps에서 LLMOps로의 진화 과정을 다룹니다.생성형 AI 시대에 필요한 운영 체계의 변화와 기업이 고려해야 할 실무 관점을 정리합니다.#MLOps #LLMOps #AI운영 #생성형AI #RAGAI 모델을 만들고 배포하는 일은 이제 그 자체로 특별하지 않습니다. 누구나 튜토리얼을 따라 모델을 학습시키고, 몇 번의 시도로 눈에 띄는 성능을 낼 수 있습니다.그러나 모델을 ‘운영’하기 시작하는 순간, 이야기는 완전히 달라집니다. 실제 환경에서 AI는 하나의 모델로 완성되지 않습니다. 데이터 검증, 파이프라인 자동화, 자원 스케줄링, 거버넌스 정책 등이 동시에 맞물려야 합니다. 각 단계는 서로 의..

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 Opensource Summit 2025에서 kt cloud AI Foundry 기반 RAG 챗봇 구축 사례를 소개합니다.모델 배포부터 임베딩, 벡터 저장소까지 통합 플랫폼으로 구현한 실전 아키텍처와 코드를 단계별로 공유합니다.#AIFoundry #RAG #챗봇구축 #오픈소스 #클라우드AI2025년 11월 4일부터 5일까지, 서울 코엑스에서 열린 Opensource Summit Korea 2025는 국내외 개발자와 오픈소스 커뮤니티가 한자리에 모이는 대규모 기술 행사였습니다. kt cloud는 이 자리에서 다이아몬드 스폰서로 참여하며, AI Foundry 플랫폼을 중심으로 한 다양한 AI 서비스 경험을 선보였습니다.행사장 한쪽에 마련된 kt cl..

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 NVIDIA H200 GPU로 업그레이드된 kt cloud AI Train의성능 분석 결과와 실제 학습 및 추론 워크로드에서의 개선된 처리 속도를 소개합니다.대규모 AI 모델 개발을 위한 고성능 클라우드 인프라의 활용 방법과 효율적인 자원 관리 전략을 제시합니다. #H200 #GPU #AI학습 #클라우드인프라 #성능분석7월, AI Train에는 NVIDIA의 H200 Tensor Core GPU 기반 상품 라인업이 신규 추가되었습니다. 새롭게 선보이는 H200 서버는 기존 H100 대비 향상된 메모리 대역폭, FP8 연산 최적화를 제공하며, 차세대 CPU 및 I/O 아키텍처를 활용한 고속 데이터 전송 능력을 갖추고 있어 고성능 컴퓨팅 환경에서 요구..

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 클라우드 GPU 서버에서 발생하는 암호화폐 채굴 문제의 실제 사례와 탐지 방법을 소개합니다.리소스 사용 패턴 분석을 통한 보안 위협 대응 전략을 제시합니다.#GPU서버 #암호화폐채굴 #클라우드보안 #리소스모니터링 #보안위협탐지 GPU 서버를 클라우드 환경에서 제공하는 플랫폼을 운영하다 보면 다양한 유형의 사용 패턴을 마주하게 됩니다. 대부분의 사용자는 인공지능 학습이나 추론 등 본래의 목적에 맞게 GPU를 활용하지만, 일부는 비정상적인 방식으로 리소스를 사용하는 사례도 존재합니다. 그중 대표적인 것이 바로 암호화폐 채굴입니다. 암호화폐 채굴은 계산량이 많은 작업이기 때문에 GPU나 CPU 자원을 장시간 점유하게 됩니다. 이로 인해 해당 인스턴스에서..

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 kt cloud AI SERV NPU를 활용하여 고객 문의 응답 보조 시스템을 구축한 사례를 소개합니다.GPU 대비 비용 효율적인 NPU 환경에서 LLM 모델을 최적화하고 문서 기반 자동 응답 시스템을 구현하는 방법을 다룹니다. #NPU #AI응답시스템 #LLM최적화 #문서검색 #비용효율AI 서비스에 대한 수요는 최근 몇 년 사이 급격히 증가하고 있습니다. 그에 따라 자연스럽게 GPU 기반 인프라에 대한 수요도 함께 높아지고 있으며, 특히 클라우드 환경에서는 다양한 AI 모델 학습 및 추론 워크로드를 처리하기 위한 GPU 자원의 확보가 중요한 과제가 되었습니다. 하지만 AI 모델의 크기와 복잡성이 커질수록 GPU 자원은 더욱 부족해지고 있으며, 사..