Kafka 토픽 생성하기

카프카에서 토픽을 생성하는 방법은 두 가지가 있다.

첫 번째는 카프카 컨슈머/프로듀서가 브로커에 생성되지 않은 토픽에 대해 데이터를 요청할 때 생성된다.

두 번째는 커맨드 라인 툴로 명시적으로 토픽을 생성하는 것이다.

 

토픽을 효과적으로 유지보수하기 위해서는 토픽을 명시적으로 생성하는 것이 좋다.

 

토픽 생성

'kafka-topics.sh'를 통해 토픽 관련 명령을 실행할 수 있다.

'--create'옵션을 사용하여 'hello.kafka'라는 이름을 가진 토픽을 생성할 수 있다.

bin/kafka-topics.sh \
--create \
--bootstrap-server 13.124.252.159:9092 \
--topic hello.kafka

클러스터의 정보와 토픽의 이름은 토픽을 만들기 위한 필수 값이다. 그렇게 때문에 두가지 정보만으로 토픽을 생성할 수 있었다. 

 

만약, 토픽의 파티션 개수, 복제 개수, 데이터 유지 기간 옵션등을 지정하여 토픽을 생성하고 싶다면 다음과 같이 하면 된다.

bin/kafka-topics.sh \
--create \
--bootstrap-server 13.124.252.159:9092 \
--partitions 3 \
--replication-factor 1 \
--config retention.ms=172800000 \
--topic hello.kafka2

 

토픽 조회

생성된 토픽들은 아래 명령어를 통해 조회 할 수 있다.

bin/kafka-topics.sh --bootstrap-server 13.124.252.159:9092 --list

토픽 상세 조회

생성된 토픽의 상태를 '--describe'옵션을 사용하여 확인할 수 있다.
파티션의 개수, 복제된 파티션이 위치한 브로커의 번호, 기타 토픽의 설정들을 출력한다.

카프카 클러스터의 성능이 생각보다 좋지 않다면 토픽 상세 조회 명령을 통해 토픽의 리더 파티션 쏠림 현상을 확인하는 것도 좋은 방법이다.

 bin/kafka-topics.sh --bootstrap-server 13.124.252.159:9092 --describe --topic hello.kafka2