Yebali

카프카 스트림즈는 토픽에 적재된 데이터를 실시간으로 변환하여 다른 토픽에 적재하는 라이브러리이다. '정확히 한번 전달', '장애 허용 시스템'등 데이터 처리 안정성이 매우 뛰어나 카프카 클러스터를 운영하면서 실시간 스트림 처리를 해야 한다면 카프카 스트림즈를 1순위로 고려하는 것을 권장하고 있다. 예제에서 만들어볼 카프카 스트림즈는 0~9 사이의 임의의 숫자들이 적재된 'random.number' 토픽으로부터 메시지를 읽어 5보다 큰 숫자들만 'over5.number' 토픽에 적재하는 기능을 하는 스트림즈 애플리케이션이다. 토픽 생성하기 bin/kafka-topics.sh \ --create \ --bootstrap-server 13.124.252.159:9092 \ --partitions 3 \ --t..

카프카 스트림즈란? 토픽에 있는 데이터를 실시간으로 변환하여 다른 토픽에 적재하는 라이브러리이다. 카프카 스트림즈의 장점 카프카가 공식적으로 지원하는 라이브러리이다. 그리고 카프카와 카프카 스트림즈는 함께 버전업이 되어 호환성이 서로 좋다. 스트림 처리에 필요한 다양한 기능(토픽 생성, 상태 저장, 데이터 조인 등)을 제공한다. 장애가 발생해도 장애 허용 시스템(Fault Tolerant System)을 통해 데이터가 딱 한 번만 처리되도록 보장한다. '프로듀서 + 컨슈머' vs '스트림즈' ‘프로듀서 + 컨슈머’조합으로 스트림즈와 유사한 것을 만들 수 있다. 하지만 단 한번의 데이터 처리, 장애 허용 시스템 등의 기능들은 ‘프로듀서 + 컨슈머’의 조합으로는 구현하기 어렵다. 만약 소스 토픽(사용하는 토..