kt cloud [Tech blog]

  • 홈
  • kt cloud Story
  • Tech Story
  • News

kafka 1

Kafka 이벤트 전송 최적화: Partitioner와 batch 설정 이해하기

[kt cloud 플랫폼Innovation팀 오준영] Kafka 이벤트 전송 최적화: Partitioner와 batch 설정 이해하기 Kafka에서 Producer는 기본적으로 Sticky Partitioner를 사용하여, 이벤트를 batch 단위로 묶어 효율적으로 전송할 수 있습니다.배치 설정은 batch.size와 linger.ms가 있으며, 각각 배치의 크기와 데이터가 쌓이는 시간을 설정해 전송 조건을 조절할 수 있습니다.본 포스팅에서는 Kafka를 활용한 이벤트 발행과 구독하는 과정에서, 겪은 이벤트 분산 이슈의 원인을 파악하기 위해 Kafka Partitioner, batch.size, linger.ms 설정을 분석한 내용을 공유합니다.  1.시나리오 테스트 환경 (Local) Kafka Clu..

Tech Story/Cloud Architecture 2024.11.07
이전
1
다음
더보기
프로필사진

kt cloud [Tech blog]

Tech Innovation, With Customer!

  • 분류 전체보기 (255) N
    • Tech Story (133)
      • Tech Inside (8)
      • Data Center & Security (12)
      • Cloud Architecture (58)
      • AI Cloud (10)
      • DevOps & Container (40)
      • etc. (5)
    • kt cloud Story (39)
      • Tech Events (1)
      • Team Culture (1)
      • Service Updates (2)
      • Newsletter (23)
      • Webinar (11)
      • Customer Spotlight (1)
    • News (82) N
      • Press Release (77) N
      • Promotion (4)

Tag

케이티클라우드, NPU, 데이터센터, CSAP, 클라우드, DaaS, 쿠버네티스, DR, KT클라우드, AI, gpu, KTCloud, 리벨리온, 컨테이너, cloud, IDC, Kubernetes, saas, container, KT Cloud,

최근글과 인기글

  • 최근글
  • 인기글
기업 홈페이지 Cloud 홈 Dater Center 홈

주식회사 케이티클라우드

  • 기업 홈페이지
  • Cloud 홈
  • G-Cloud 홈
  • Dater Center 홈
  • YouTube

티스토리툴바