Kafka의 Topic과 Partition (작성 중)

토픽과 파티션

적정 파티션 개수

토픽 생성 시, 파티션의 개수를 정하는데 고려해야할 점.

• 데이터 처리량
• 메시지 키 사용 여부
• 브로커, 컨슈머 영향도

파티션은 카프카의 병렬 처리의 핵심이다. 파티션의 개수가 많아질수록 1:1 매핑되는 컨슈머 개수가 늘어나기 때문이다.

 

데이터 처리 속도를 올리는 두가지 방법

1. 컨슈머의 처리량을 늘리는 것.
2. 컨슈머를 추가해서 병렬처리량을 늘리는 것.

컨슈머 특성 상 다른 시스템들(S3, 하둡 등)과 연동되기 때문에 일정 수준 이상 컨슈머의 처리량을 늘리는 것은 어렵다.

반면 파티션의 개수를 늘리고 파티션 수 만큼 컨슈머를 추가하는 방법은 데이터 처리량을 늘리는 가장 확실한 방법이다.

프로듀서 전송 데이터량 < 컨슈머의 데이터 처리량 x 파티션 개수

단, 파티션의 개수를 늘리게 됨에 따라 컨슈머, 브로커의 부담이 발생할 수 있다.