Kafka 토픽 정리 정책

토픽 정리 정책

토픽의 데이터는 시간/용량에따라 삭제 규칙을 적용할 수 있다. (삭제하지 않는 것도 가능)

 

토픽 삭제 정책

토픽을 운영하면 토픽의 cleanup.policy를 delete로 설정한다. 이 옵션은 명시적으로 토픽의 데이터를 삭제하는 것을 뜻한다.

토픽의 데이터를 삭제할 때는 세그먼트 단위로 삭제한다.
세그먼트란 토픽의 데이터를 저장하는 명시적인 파일 시스템 단위를 말하며,
액티브 세그먼트란 데이터를 저장하기 위해 사용중인 세그먼트를 말한다.

 

삭제 정책이 실행되는 시점은 시간 또는 용량이 기준이 된다.

 

토픽 압축 정책

여기서 압축이란 메시지 키별로 해당 메시지 키의 레코드 중 오래된 데이터를 삭제하는 정책.

토픽 압축 정책은 카프카 스트림즈의 KTable과 같이 메시지 키를 기반으로 데이터를 처리할 경우 유용하다.