기술 블로그 (Tech) | kt cloud

Tech-Frontier.md kt cloud$ whoami --team❯ kt cloud Data플랫폼팀 김주환 님 📋 요약TL;DR이 글에서는 분산된 클라우드 운영 데이터를 통합하기 위한 레이크하우스 기반 데이터 플랫폼 Deck의 구축 과정을 다룹니다.운영 데이터의 기준을 일원화해 과금, 분석, 의사결정의 신뢰성을 높이는 방향을 정리합니다.#데이터플랫폼 #레이크하우스 #ObjectStorage #Trino #Kafka데이터는 넘치는데, 정작 쓸 수가 없었다클라우드를 운영할수록 로그, 지표, 이벤트, 사용량 데이터가 쉴 새 없이 쌓입니다. 문제는 이 데이터들이 시스템마다 서로 다른 형태로, 서로 다른 위치에 흩어진다는 점입니다. 정보 하나를 확인하려 여러 도구를 차례로 열어야 하고, 장애가 나면 "무..

Airflow란? Airflow는 Airbnb에서 개발한 워크플로우 관리 오픈소스 툴입니다. 아마도, 직장인 분들은 공감하실텐데요. 메일 보내놓고, 답장 기다리면서 느긋하게 현생을 즐길 수 있다면 좋겠지만 ㅠㅠ 다음 주 보고 자료도 수정해야하고, 옆팀에서 들어온 요청도 해결해야 하고 처음에 기다리던 메일은 또 제때 안 옵니다. 한 번 더 리마인드 메일도 보내고요 등등등.... Airbnb 서버도 이런 문제가 있었나 봅니다.....ㅠㅠ 에어플로우는 바로 (우리보다 조금 더 바쁠 것 같은) 서버를 위해 사용됩니다. 데이터 받아오기까지 가만히 있지 말고 사용자 요청도 처리하고.. 한 마디로 서버를 조금 더 열심히 굴리기 위한 툴인거죠. 장점 1. 파이썬으로 DAG 작성 에어플로우의 특징이자 장점 중 하나는, ..