기술 블로그 (Tech) | kt cloud

[리뷰] 책상 위의 데이터센터, Dell Pro Max GB10 AI 워크스테이션 실사용기

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 이 글에서는 Dell Pro Max GB10 AI 워크스테이션의 아키텍처, 설정, 성능 검증과 활용성을 다룹니다.로컬 AI 개발 환경의 선택 기준과 운영 방향을 정리합니다.#DellProMaxGB10 #AI워크스테이션 #Blackwell #통합메모리 #로컬AI AI 엔지니어라면 누구나 한 번쯤 이런 상상을 해보셨을 겁니다."내 책상 위에 H100 하나만 있으면 소원이 없겠다." 클라우드에 H100, A100 클러스터가 구축되어 있지만, 보안상의 이유로 데이터를 외부로 반출할 수 없거나, 네트워크 지연(Latency) 없이 즉각적인 추론 테스트를 하고 싶을 때 우리는 항상 로컬 장비를 갈망합니다. 하지만 현실은 냉혹합니다. 현재 시중..

[ kt cloud AI사업개발팀 정소라 님 ] 📋 요약 이 글에서는 kt cloud AI Foundry를 활용한 기업 맞춤형 AI 서비스 구축 흐름을 다룹니다.생성형 AI 도입을 체계화하고 보안·품질 리스크를 줄이는 실무 방향을 정리합니다.#ktcloud #AIFoundry #RAG #LLM #생성형AI 바이브코딩 열풍과 더불어 kt cloud AI사업개발팀은 기업의 AX컨설팅 및 교육을 지원해드리고 있습니다. 오늘은 기업 맞춤형 AI 서비스를 가장 빠르고 효율적으로 구축할 수 있는 kt cloud AI Foundry의 활용 가이드를 준비했습니다.복잡해 보이는 생성형 AI 개발, AI Foundry의 '5 step'을 따라가면 누구나 체계적으로 활용할 수 있습니다. 실제 kt clou..

[ kt cloud Cloud컨설팅팀 심대섭 님 ] 📋 요약 이 글에서는 RAG(검색 증강 생성) 기반 LLM 서비스에서 컨텍스트 품질이 답변 성능에 미치는 영향과,TopK 조정·rerank·중복 제거·질문 기반 압축 등 실무 적용 가능한 컨텍스트 최적화 기법을 다룹니다.프롬프트 튜닝보다 근거 문서의 선별·정제·구조화가답변의 신뢰성과 일관성을 결정하는 핵심 변수임을 정리합니다.#RAG #컨텍스트최적화 #rerank #TopK #query-aware-compression LLM을 서비스에 붙이면 가장 먼저 손대는 건 보통 프롬프트입니다. 그런데 운영 단계로 들어가면, 프롬프트를 아무리 다듬어도 답변 품질이 들쭉날쭉한 상황을 자주 마주합니다. 특히 RAG처럼 문서를 붙여 답하게 만드는 구조..

[ kt cloud 마케팅커뮤니케이션팀 김지웅 님 ] 📋 요약 이 글에서는 RAG 시스템의 핵심 구성 요소인 임베딩 원리, 다국어 모델 선정 전략,그리고 HNSW·DiskANN·GPU 가속·양자화 등 벡터 인덱싱 최적화 기법을 다룹니다.모델의 표현력과 인프라 검색 효율 사이의 트레이드오프를 이해하는 것이실무 RAG 시스템의 품질과 운영 비용을 동시에 결정짓는다는 점을 정리합니다. #RAG #벡터임베딩 #HNSW #DiskANN #양자화들어가며 💭안녕하세요, kt cloud 테크 마케터 김지웅 입니다. 🙋‍♂️RAG를 구축하다 보면 지난 3편에서 다룬 '청킹' 다음으로 반드시 마주하는 거대한 산이 하나 있어요.“문서를 잘게 쪼개긴 했는데, 이걸 도대체 어떤 기준으로 수치화하고(임베딩), 수억 개..

[ kt cloud Cloud컨설팅팀 심대섭 님 ] 📋 요약 이 글에서는 AI 에이전트의 시장 성장, 기술 아키텍처, 산업별 적용 사례를 다룹니다.기업의 전략적 도입 방향과 2025년 이후 발전 로드맵에 대한 핵심 내용과 주요 특징을 정리합니다. #AIAgent #자율지능 #디지털혁신 #자동화 #기술전략AI 에이전트(AI Agents)는 2024년에 이어 2025년에도 기술 생태계에서 가장 큰 관심을 받은 분야 중 하나로 자리 잡았습니다. 여러 시장조사(예: MarketsandMarkets 등)에 따르면 AI 에이전트 관련 시장은 2025년을 전후로 향후 5년간 연평균 40~50% 수준의 높은 성장률을 보일 것으로 예측됩니다. 이는 단순한 자동화 도구를 넘어, 환경을 인식하고 독립적으로..

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 Opensource Summit 2025에서 kt cloud AI Foundry 기반 RAG 챗봇 구축 사례를 소개합니다.모델 배포부터 임베딩, 벡터 저장소까지 통합 플랫폼으로 구현한 실전 아키텍처와 코드를 단계별로 공유합니다.#AIFoundry #RAG #챗봇구축 #오픈소스 #클라우드AI2025년 11월 4일부터 5일까지, 서울 코엑스에서 열린 Opensource Summit Korea 2025는 국내외 개발자와 오픈소스 커뮤니티가 한자리에 모이는 대규모 기술 행사였습니다. kt cloud는 이 자리에서 다이아몬드 스폰서로 참여하며, AI Foundry 플랫폼을 중심으로 한 다양한 AI 서비스 경험을 선보였습니다.행사장 한쪽에 마련된 kt cl..

[ kt cloud 마케팅커뮤니케이션팀 김지웅 님 ]📋요약 생성형 AI의 한계를 보완하는 RAG(Retrieval-Augmented Generation)의 개념과 구조를 소개합니다.검색과 생성을 결합해 최신 정보 반영, 출처 기반 정확성, 투명한 검증으로신뢰성 있는 답변을 가능하게 하는 원리와 핵심 요소를 설명합니다. #RAG #검색증강생성 #벡터임베딩 #AI아키텍처 #LLM들어가며 💭안녕하세요, kt cloud 테크 마케터 김지웅입니다. 🙋‍♂️요즘 뉴스와 컨퍼런스에서는 하루가 멀다 하고 “생성형 AI 혁신 사례”가 쏟아지고 있어요.하지만 막상 현업에서 만나는 분들은 이렇게 묻곤 해요.“AI가 답은 잘하는데… 믿을 만한 걸까? 🤔”그 의문에는 이유가 있어요. AI 답변이 때로는 겉보기에 그럴듯하..

[kt cloud 마케팅커뮤니케이션 팀]안녕하세요, kt cloud 마케팅커뮤니케이션팀입니다. 생성형 AI 도입에 대한 관심이 높아지며, 기업들은 단순한 API 호출을 넘어 자사 데이터를 기반으로 하는 맞춤형 AI 시스템 구축에 관심을 갖기 시작했습니다. 그 중심에 있는 기술이 바로 RAG(Retrieval-Augmented Generation)인데요. 하지만 기술의 개념은 점차 알려지고 있음에도, 실제 기업 환경에서 RAG 시스템을 도입·운영하기까지는 여전히 다양한 장벽이 존재합니다. 지난 7월 24일, ‘우리 기업의 AX 전략 웨비나’에 참석한 실무자 약 300명을 대상으로 진행한 설문을 통해 기업들이 생성형 AI, 특히 RAG 도입을 어떻게 고민하고 있으며 어떤 지원이 필요한지를 구체적으로 살펴보았..

[ kt cloud Cloud컨설팅팀 심대섭 님 ] AI 에이전트는 이제 기업 실무를 자동화하는 실행 시스템입니다. 이 글에서는 구글이 제안한 AI 아키텍처를 바탕으로, 조직이 업무 효율을 높이기 위해 어떻게 설계 전략을 세워야 하는지 쉽게 설명합니다. 대규모 언어 모델(LLM)의 시대가 본격적으로 시작된 지 몇 년, 많은 기업이 생성형 AI 기술을 도입했지만, 실제 비즈니스 실행력 향상에는 여전히 갈증을 느끼고 있습니다. 왜일까요? LLM은 텍스트 생성에는 능하지만, 실제 시스템을 작동시키거나 업무를 완료하는 실행 능력은 부족하기 때문입니다.이제는 ‘AI 에이전트 구조’에 주목해야 할 때이 글에서는 구글(Google)이 제안한 AI 에이전트 아키텍처를 바탕으로, 실제 기업 환경에서 어떻게 AI 실행력..

[kt cloud 마케팅커뮤니케이션팀 김지웅 님 ] 들어가며 💭안녕하세요, kt cloud 테크 마케터 김지웅입니다. 🙋‍♂️최근 AI 업계에서 가장 뜨거운 화두 중 하나가 바로 MCP(Model Context Protocol)예요. 2024년 11월 Anthropic이 발표한 이 프로토콜이 불과 몇 개월 만에 업계의 주목을 받고 있는데요, 특히 개발자 커뮤니티에서 빠르게 확산되고 있어요. 혹시 "또 다른 프로토콜이 나왔나?" 하고 생각하실 수도 있지만, MCP는 조금 다른 의미를 가져요. 마치 USB-C가 스마트폰, 노트북, 태블릿 등 다양한 기기들의 충전과 데이터 전송 방식을 하나로 통일한 것처럼, MCP는 AI 에이전트와 외부 시스템(데이터베이스, API, 파일 시스템 등) 간의 연결을 표준화하..