kt cloud Tech Blog

  • 홈
  • kt cloud Story
  • Tech Story
  • News

kafka 1

Kafka 이벤트 전송 최적화: Partitioner와 batch 설정 이해하기

[kt cloud 플랫폼Innovation팀 오준영] Kafka 이벤트 전송 최적화: Partitioner와 batch 설정 이해하기 Kafka에서 Producer는 기본적으로 Sticky Partitioner를 사용하여, 이벤트를 batch 단위로 묶어 효율적으로 전송할 수 있습니다.배치 설정은 batch.size와 linger.ms가 있으며, 각각 배치의 크기와 데이터가 쌓이는 시간을 설정해 전송 조건을 조절할 수 있습니다.본 포스팅에서는 Kafka를 활용한 이벤트 발행과 구독하는 과정에서, 겪은 이벤트 분산 이슈의 원인을 파악하기 위해 Kafka Partitioner, batch.size, linger.ms 설정을 분석한 내용을 공유합니다.  1.시나리오 테스트 환경 (Local) Kafka Clu..

Tech Story/Cloud Architecture 2024.11.07
이전
1
다음
더보기
프로필사진

kt cloud 기술 블로그

Tech Innovation, With Customer!

  • 분류 전체보기 N
    • Tech Story
      • Tech Inside
      • Data Center & Security
      • Cloud Architecture
      • AI Cloud
      • DevOps & Container
      • etc.
    • kt cloud Story N
      • Tech Events
      • Team Culture
      • Service Updates
      • Newsletter N
      • Webinar
      • Customer Spotlight
    • News
      • Press Release
      • Promotion

Tag

케이티클라우드, 컨테이너, 데이터센터, gpu, 클라우드, saas, KT클라우드, DR, container, Kubernetes, KT Cloud, cloud, 리벨리온, DaaS, IDC, 쿠버네티스, NPU, CSAP, AI, KTCloud,

최근글과 인기글

  • 최근글
  • 인기글

Copyright © kt cloud Corp. All rights reserved.

  • 기업 홈페이지
  • Cloud 홈
  • G-Cloud 홈
  • Dater Center 홈
  • YouTube

티스토리툴바