LLM 17

[기술해설] AI 질문 한 줄은 얼마나 많은 에너지를 쓸까? 데이터센터가 지능을 만드는 법

kt cloud DC글로벌고객팀 심재문 님 📝 요약 SUMMARY 이 글에서는 AI 토큰 생성에 필요한 에너지와데이터센터의 고밀도 GPU 랙 전력 공급, 직접액체냉각(DLC), PUE를 다룹니다.AI 인프라의 연산 효율과 안정적인 운영을 좌우하는 전력·냉각 설계의 중요성을 정리합니다.#AI데이터센터 #데이터센터전력 #GPU전력밀도 #액체냉각 #PUE1. 디지털 언어의 화폐 '토큰'에 내재된 물리적 실체대중에게 AI는 단순히 화면 위에 텍스트를 출력하는 소프트웨어에 불과하지만, 이를 지탱하는 하드웨어 엔지니어링 관점에서 AI는 '에너지를 지능으로 변환하는 변환기'입니다. 이 변환의 최소 입자가 바로 토큰(Token)입니다.1.1 토큰화(Tokenization)와 연산 밀도언어 모델(LLM)은 텍스트..

[Tech Series] kt cloud AI 검색 증강 생성(RAG) #5 : 검색 고도화(Retrieval Optimization)와 리랭킹(Re-ranking) 기술

[ kt cloud 마케팅커뮤니케이션팀 김지웅 님 ] 📋 요약 이 글에서는 RAG 시스템의 검색 고도화와 리랭킹을 활용한 실무형 검색 파이프라인 설계를 다룹니다.정확한 근거 문서 확보가 답변 품질과 운영 안정성을 좌우한다는 점을 정리합니다.#RAG #검색고도화 #하이브리드검색 #리랭킹 #AdaptiveRetrieval 들어가며💭안녕하세요! kt cloud 테크 마케터 김지웅입니다. 🙋‍♂️ 지난 1~4편의 연재를 통해 문서를 벡터로 변환하고 빠르게 찾아내는 RAG의 기반 기술들을 차근차근 살펴봤죠. 그런데 그동안의 이야기에는 한 가지 숨은 전제가 있었어요. 바로 ‘인덱싱과 검색 방식이 한 번 정해지면 변하지 않는다’는 정적인 환경을 가정했다는 점입니다. 하지만 현업에서 직접 AI 서..

[리뷰] 책상 위의 데이터센터, Dell Pro Max GB10 AI 워크스테이션 실사용기

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 이 글에서는 Dell Pro Max GB10 AI 워크스테이션의 아키텍처, 설정, 성능 검증과 활용성을 다룹니다.로컬 AI 개발 환경의 선택 기준과 운영 방향을 정리합니다.#DellProMaxGB10 #AI워크스테이션 #Blackwell #통합메모리 #로컬AI AI 엔지니어라면 누구나 한 번쯤 이런 상상을 해보셨을 겁니다."내 책상 위에 H100 하나만 있으면 소원이 없겠다." 클라우드에 H100, A100 클러스터가 구축되어 있지만, 보안상의 이유로 데이터를 외부로 반출할 수 없거나, 네트워크 지연(Latency) 없이 즉각적인 추론 테스트를 하고 싶을 때 우리는 항상 로컬 장비를 갈망합니다. 하지만 현실은 냉혹합니다. 현재 시중..

Tech Story/AI Cloud 2026.05.08

[AI활용] kt cloud AI Foundry로 AI 서비스 구축 흐름 한 번에 살펴보기

[ kt cloud AI사업개발팀 정소라 님 ] 📋 요약 이 글에서는 kt cloud AI Foundry를 활용한 기업 맞춤형 AI 서비스 구축 흐름을 다룹니다.생성형 AI 도입을 체계화하고 보안·품질 리스크를 줄이는 실무 방향을 정리합니다.#ktcloud #AIFoundry #RAG #LLM #생성형AI 바이브코딩 열풍과 더불어 kt cloud AI사업개발팀은 기업의 AX컨설팅 및 교육을 지원해드리고 있습니다. 오늘은 기업 맞춤형 AI 서비스를 가장 빠르고 효율적으로 구축할 수 있는 kt cloud AI Foundry의 활용 가이드를 준비했습니다.복잡해 보이는 생성형 AI 개발, AI Foundry의 '5 step'을 따라가면 누구나 체계적으로 활용할 수 있습니다. 실제 kt clou..

Tech Story/AI Cloud 2026.04.30

[활용가이드] kt cloud AI RAG(검색 증강 생성) 활용법 – 컨텍스트 최적화로 성능 높이기

[ kt cloud Cloud컨설팅팀 심대섭 님 ] 📋 요약 이 글에서는 RAG(검색 증강 생성) 기반 LLM 서비스에서 컨텍스트 품질이 답변 성능에 미치는 영향과,TopK 조정·rerank·중복 제거·질문 기반 압축 등 실무 적용 가능한 컨텍스트 최적화 기법을 다룹니다.프롬프트 튜닝보다 근거 문서의 선별·정제·구조화가답변의 신뢰성과 일관성을 결정하는 핵심 변수임을 정리합니다.#RAG #컨텍스트최적화 #rerank #TopK #query-aware-compression LLM을 서비스에 붙이면 가장 먼저 손대는 건 보통 프롬프트입니다. 그런데 운영 단계로 들어가면, 프롬프트를 아무리 다듬어도 답변 품질이 들쭉날쭉한 상황을 자주 마주합니다. 특히 RAG처럼 문서를 붙여 답하게 만드는 구조..

Tech Story/AI Cloud 2026.04.10

[Tech Series] kt cloud AI 검색 증강 생성(RAG) #4 : 임베딩(Embedding)과 벡터 인덱싱 기술

[ kt cloud 마케팅커뮤니케이션팀 김지웅 님 ] 📋 요약 이 글에서는 RAG 시스템의 핵심 구성 요소인 임베딩 원리, 다국어 모델 선정 전략,그리고 HNSW·DiskANN·GPU 가속·양자화 등 벡터 인덱싱 최적화 기법을 다룹니다.모델의 표현력과 인프라 검색 효율 사이의 트레이드오프를 이해하는 것이실무 RAG 시스템의 품질과 운영 비용을 동시에 결정짓는다는 점을 정리합니다. #RAG #벡터임베딩 #HNSW #DiskANN #양자화들어가며 💭안녕하세요, kt cloud 테크 마케터 김지웅 입니다. 🙋‍♂️RAG를 구축하다 보면 지난 3편에서 다룬 '청킹' 다음으로 반드시 마주하는 거대한 산이 하나 있어요.“문서를 잘게 쪼개긴 했는데, 이걸 도대체 어떤 기준으로 수치화하고(임베딩), 수억 개..

[분석] 2025 AI 트렌드 결산 #3: AI Agents, 자율적 지능이 이끄는 새로운 산업 패러다임

[ kt cloud Cloud컨설팅팀 심대섭 님 ] 📋 요약 이 글에서는 AI 에이전트의 시장 성장, 기술 아키텍처, 산업별 적용 사례를 다룹니다.기업의 전략적 도입 방향과 2025년 이후 발전 로드맵에 대한 핵심 내용과 주요 특징을 정리합니다. #AIAgent #자율지능 #디지털혁신 #자동화 #기술전략AI 에이전트(AI Agents)는 2024년에 이어 2025년에도 기술 생태계에서 가장 큰 관심을 받은 분야 중 하나로 자리 잡았습니다. 여러 시장조사(예: MarketsandMarkets 등)에 따르면 AI 에이전트 관련 시장은 2025년을 전후로 향후 5년간 연평균 40~50% 수준의 높은 성장률을 보일 것으로 예측됩니다. 이는 단순한 자동화 도구를 넘어, 환경을 인식하고 독립적으로..

Tech Story/etc. 2025.12.22

[후기] Opensource Summit 2025에서 AI Foundry를 만나다: kt cloud 미니 챗봇 구축기

[ kt cloud AI플랫폼팀 최지우 님 ] 📋 요약 Opensource Summit 2025에서 kt cloud AI Foundry 기반 RAG 챗봇 구축 사례를 소개합니다.모델 배포부터 임베딩, 벡터 저장소까지 통합 플랫폼으로 구현한 실전 아키텍처와 코드를 단계별로 공유합니다.#AIFoundry #RAG #챗봇구축 #오픈소스 #클라우드AI2025년 11월 4일부터 5일까지, 서울 코엑스에서 열린 Opensource Summit Korea 2025는 국내외 개발자와 오픈소스 커뮤니티가 한자리에 모이는 대규모 기술 행사였습니다. kt cloud는 이 자리에서 다이아몬드 스폰서로 참여하며, AI Foundry 플랫폼을 중심으로 한 다양한 AI 서비스 경험을 선보였습니다.행사장 한쪽에 마련된 kt cl..

Tech Story/AI Cloud 2025.11.13

[Tech Series] kt cloud AI 검색 증강 생성(RAG) #1 : 핵심 개념과 시스템 구조 이해

[ kt cloud 마케팅커뮤니케이션팀 김지웅 님 ]📋요약 생성형 AI의 한계를 보완하는 RAG(Retrieval-Augmented Generation)의 개념과 구조를 소개합니다.검색과 생성을 결합해 최신 정보 반영, 출처 기반 정확성, 투명한 검증으로신뢰성 있는 답변을 가능하게 하는 원리와 핵심 요소를 설명합니다. #RAG #검색증강생성 #벡터임베딩 #AI아키텍처 #LLM들어가며 💭안녕하세요, kt cloud 테크 마케터 김지웅입니다. 🙋‍♂️요즘 뉴스와 컨퍼런스에서는 하루가 멀다 하고 “생성형 AI 혁신 사례”가 쏟아지고 있어요.하지만 막상 현업에서 만나는 분들은 이렇게 묻곤 해요.“AI가 답은 잘하는데… 믿을 만한 걸까? 🤔”그 의문에는 이유가 있어요. AI 답변이 때로는 겉보기에 그럴듯하..

[트렌드 리포트] RAG 도입, 무엇이 가장 어려울까? - 기업 설문으로 본 AI 도입 실전 가이드

[kt cloud 마케팅커뮤니케이션 팀]안녕하세요, kt cloud 마케팅커뮤니케이션팀입니다. 생성형 AI 도입에 대한 관심이 높아지며, 기업들은 단순한 API 호출을 넘어 자사 데이터를 기반으로 하는 맞춤형 AI 시스템 구축에 관심을 갖기 시작했습니다. 그 중심에 있는 기술이 바로 RAG(Retrieval-Augmented Generation)인데요. 하지만 기술의 개념은 점차 알려지고 있음에도, 실제 기업 환경에서 RAG 시스템을 도입·운영하기까지는 여전히 다양한 장벽이 존재합니다. 지난 7월 24일, ‘우리 기업의 AX 전략 웨비나’에 참석한 실무자 약 300명을 대상으로 진행한 설문을 통해 기업들이 생성형 AI, 특히 RAG 도입을 어떻게 고민하고 있으며 어떤 지원이 필요한지를 구체적으로 살펴보았..