Yebali

카프카 커넥트란? 카프카 오픈소스에 포함된 툴 중 하나로 데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션이다. 특정한 작업 형태를 템플릿으로 만들어놓은 커넥터를 실행하면, 프로듀서/컨슈머 애플리케이션 개발/배포/운영 작업의 반복을 줄일 수 있다. 커넥터는 각 커넥터가 가진 고유한 설정값을 받아서 데이터를 처리한다. (ex, 파일의 데이터를 토픽으로 보내는 커넥터는 파일이존재하는 디렉토리 위치, 파일 이름을 설정해야 한다.) 커넥터의 종류 소스 커넥터 : 데이터를 토픽으로 가지고 오는 프로듀서 역할을 하는 커넥터 싱크 커넥터 : 데이터를 다른 애플리케이션으로 보내는 컨슈머 역할을 하는 커넥터 Mysql → Kafka / Kafka → Mysql 할 때, JDBC 커넥..

카프카 스트림즈란? 토픽에 있는 데이터를 실시간으로 변환하여 다른 토픽에 적재하는 라이브러리이다. 카프카 스트림즈의 장점 카프카가 공식적으로 지원하는 라이브러리이다. 그리고 카프카와 카프카 스트림즈는 함께 버전업이 되어 호환성이 서로 좋다. 스트림 처리에 필요한 다양한 기능(토픽 생성, 상태 저장, 데이터 조인 등)을 제공한다. 장애가 발생해도 장애 허용 시스템(Fault Tolerant System)을 통해 데이터가 딱 한 번만 처리되도록 보장한다. '프로듀서 + 컨슈머' vs '스트림즈' ‘프로듀서 + 컨슈머’조합으로 스트림즈와 유사한 것을 만들 수 있다. 하지만 단 한번의 데이터 처리, 장애 허용 시스템 등의 기능들은 ‘프로듀서 + 컨슈머’의 조합으로는 구현하기 어렵다. 만약 소스 토픽(사용하는 토..