목록consumer (2)

Yebali

Kafka Producer/Consumer 만들기 (feat. Kotlin)

카프카를 실습하기 위한 간단한 프로듀서와 컨슈머를 만들어서 실험해보자. 토픽 만들기 3개의 파티션을 가진 'test'라는 이름의 토픽을 생성한다. bin/kafka-topics.sh \ --create \ --bootstrap-server 13.124.252.159:9092 \ --partitions 3 \ --topic test 프로듀서 Kotlin프로젝트를 새로 만들어 아래 의존성을 추가해준다. dependencies { implementation("org.apache.kafka:kafka-clients:2.8.1") implementation("org.slf4j:slf4j-simple:1.7.35") testImplementation(kotlin("test")) } "testMessage"라는 메시..
Kafka 2022. 2. 1. 17:33
Kafka Consumer (카프카 컨슈머)

컨슈머 컨슈머는 카프카에 적재된 데이터를 처리한다. 컨슈머의 고급 활용법과 옵션별 동작 방식을 알아보자 멀티 스레드 컨슈머 파티션을 여러 개 운영하는 경우 파티션의 개수와 컨슈머 개수를 동일하게 하는 것이 가장 좋다. 그렇다면 ‘1개의 프로세스 + N개의 스레드’ OR ‘N개의 프로세스 + 각 1개의 스레드’ 무엇이 더 좋을까? -> 개발자 선택에 달렸다. 운영하는 환경을 잘 파악하고 선택하자. 멀티 스레드로 운영할 경우 하나의 스레드에서 예외가 발생하여 프로세스 자체가 종료되면 다른 스레드까지 영향을 미치기 때문에 중복, 유실 등의 문제가 발생할 수 있다. + 스레드 세이프 로직, 변수를 적용을 고려해야 한다. 멀티 스레드 운영방식은 두 가지로 나뉜다. 하나의 컨슈머 스레드, 데이터 처리를 담당하는 여..
Kafka 2022. 1. 30. 22:39
이전 Prev 1 Next 다음