기술 블로그 (Tech) | kt cloud

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 이 글에서는 Python 기반 API Gateway 구축 과정에서FastAPI 대신 Rust 런타임 기반의 웹 프레임워크 Robyn을 도입한 배경과 실측 성능 벤치마크 결과를 다룹니다.고부하 환경에서의 Tail Latency 안정성과 서버 생존율 차이가엔터프라이즈 AI 서비스의 인프라 선택에 실질적인 기준이 됨을 정리합니다.#Robyn #FastAPI #API Gateway #Rust런타임 #Tail Latency 최근 LLM 트렌드와 함께 AI 서비스의 아키텍처는 날이 갈수록 복잡해지고 있습니다. vLLM이나 TGI 같은 고성능 추론 엔진들은 자체적으로 API 서버 기능을 내장하고 있어 실행 즉시 모델과 통신할 수 있는 환경을 제..

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 Opensource Summit 2025에서 kt cloud AI Foundry 기반 RAG 챗봇 구축 사례를 소개합니다.모델 배포부터 임베딩, 벡터 저장소까지 통합 플랫폼으로 구현한 실전 아키텍처와 코드를 단계별로 공유합니다.#AIFoundry #RAG #챗봇구축 #오픈소스 #클라우드AI2025년 11월 4일부터 5일까지, 서울 코엑스에서 열린 Opensource Summit Korea 2025는 국내외 개발자와 오픈소스 커뮤니티가 한자리에 모이는 대규모 기술 행사였습니다. kt cloud는 이 자리에서 다이아몬드 스폰서로 참여하며, AI Foundry 플랫폼을 중심으로 한 다양한 AI 서비스 경험을 선보였습니다.행사장 한쪽에 마련된 kt cl..