Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- PAGING
- topic생성
- kafka
- Streams
- K8s
- mysql
- AWS
- mirror maker2
- API
- producer
- ECS
- bean
- Entity
- transactionaleventlistener
- Kubernetes
- spring
- consumer
- JPA
- Spring Data JPA
- Kotlin
- CI
- git
- spring kafka
- offsetdatetime
- cd
- centos7
- entity graph
- QueryDSL
- CodePipeline
- Spring JPA
Archives
- Today
- Total
목록topic (1)
Yebali

토픽과 파티션 적정 파티션 개수 토픽 생성 시, 파티션의 개수를 정하는데 고려해야할 점. 데이터 처리량 메시지 키 사용 여부 브로커, 컨슈머 영향도 파티션은 카프카의 병렬 처리의 핵심이다. 파티션의 개수가 많아질수록 1:1 매핑되는 컨슈머 개수가 늘어나기 때문이다. 데이터 처리 속도를 올리는 두가지 방법 컨슈머의 처리량을 늘리는 것. 컨슈머를 추가해서 병렬처리량을 늘리는 것. 컨슈머 특성 상 다른 시스템들(S3, 하둡 등)과 연동되기 때문에 일정 수준 이상 컨슈머의 처리량을 늘리는 것은 어렵다. 반면 파티션의 개수를 늘리고 파티션 수 만큼 컨슈머를 추가하는 방법은 데이터 처리량을 늘리는 가장 확실한 방법이다. 프로듀서 전송 데이터량 < 컨슈머의 데이터 처리량 x 파티션 개수 단, 파티션의 개수를 늘리게 ..
Kafka
2022. 1. 30. 22:26