Docker를 사용해 Kafka 설치하기 Docker 관련 포스팅은 👇🏻2024.08.20 - [Docker] - [🐳 Docker] Dockerfile & Docker Compose 사용하기# D" data-og-host="tildacoderecorder.tistory.com" data-og-source-url="https://tildacoderecorder.tistory.com/146" data-og-url="https://tildacoderecorder.tistory.com/146" data-og-image="https://scrap.kakaocdn.net/dn/Duyiv/hyXaHunXfv/g5uOjeXGy9K8jW8pjwrd7k/img.png?width=800&height=200&face=..

Kafka Broker Kafka Broker는 Partition에 대한 Read 및 Write를 관리하는 소프트웨어Kafka Server라고 부르기도 하며, Topic내의 Partition들을 분산, 유지 및 관리각각의 Broker들은 ID로 식별됨 (단 ID는 숫자)Topic의 일부 Partition들을 포함 -> Topic 데이터의 일부분(Partition)을 갖을 뿐 데이터 전체를 갖고 있지 않음Kafka Cluster: 여러 개의 Broker들로 구성되며, Client는 특정 Broker에 연결하면 전체 클러스터에 연결됨최소 3대 이상의 Broker를 하나의 Cluster로 구성해야하지만 4대 이상을 권장한다고 함 ✔️ Kafka Broker ID와 Partition ID의 관계 그리고 Boot..

이번 프로젝트 때 Kafka를 사용하여 비동기 처리 및 알림 시스템을 개발하게 되어서 개발에 들어가기 전에 확실히 이해하고자 포스팅 Kafka Kafka는 분산 스트리밍 플랫폼으로 주로 실시간 데이터 피드의 빅 데이터 처리를 목적으로 사용된다.메시지 큐와 유사하지만, 대용량 데이터 스트림을 저장하고 실시간으로 분석하거나 처리하는데 더 중점을 둔다. 장단점장점단점데이터 복제데이터를 여러 브로커에 복제하여 저장하므로 데이터 손실 방지확인 메커니즘데이터가 소비자에게 성공적으로 전달되었는지 확인하는 기능 제공다양한 소비자 패턴여러 소비자가 동시에 데이터를 구독 할 수 있음프로토콜 지원다양한 클라이언트를 통해 다른 언어에서도 사용 가능분산 시스템클러스터링을 통해 여러 노드에서 데이터를 분산 처리수평 확장브로커와 ..