목록topic (1)

Yebali

Kafka의 Topic과 Partition (작성 중)

토픽과 파티션 적정 파티션 개수 토픽 생성 시, 파티션의 개수를 정하는데 고려해야할 점. 데이터 처리량 메시지 키 사용 여부 브로커, 컨슈머 영향도 파티션은 카프카의 병렬 처리의 핵심이다. 파티션의 개수가 많아질수록 1:1 매핑되는 컨슈머 개수가 늘어나기 때문이다. 데이터 처리 속도를 올리는 두가지 방법 컨슈머의 처리량을 늘리는 것. 컨슈머를 추가해서 병렬처리량을 늘리는 것. 컨슈머 특성 상 다른 시스템들(S3, 하둡 등)과 연동되기 때문에 일정 수준 이상 컨슈머의 처리량을 늘리는 것은 어렵다. 반면 파티션의 개수를 늘리고 파티션 수 만큼 컨슈머를 추가하는 방법은 데이터 처리량을 늘리는 가장 확실한 방법이다. 프로듀서 전송 데이터량 < 컨슈머의 데이터 처리량 x 파티션 개수 단, 파티션의 개수를 늘리게 ..
Kafka 2022. 1. 30. 22:26
이전 Prev 1 Next 다음