이번 프로젝트에서 프로메테우스와 그라파나를 사용해 모니터링을 하게 되어서 정리용으로 포스팅..  Prometheus🔥 "프로메테우스"는 그리스 로마 신화에 나오는 그 이름이 맞다. 미래를 예측하고 신들에게서 불을 훔쳐 인간에게 준 인물이기에 로고가 횃불 모양이며 미래에 발생 할 수 있는 문제를 예측하고 미리 알려줌으로써 장애를 방지한다는 모니터링 시스템의 특징과 잘 부합한다.  프로메테우스는 오픈소스 시스템 모니터링 및 경고 도구이다.Prometheus는 시계열 데이터베이스(TSDB)를 사용하여 메트릭 데이터를 수집하고, 쿼리 및 시각화를 통해 시스템 상태를 모니터링하고 경고를 설정할 수 있다.  ※ 매트릭 데이터는 특정 시스템이나 프로세스의 상태를 숫자로 표현한 데이터를 의미한다.※ 시계열 데이터는 ..

Kafka Broker Kafka Broker는 Partition에 대한 Read 및 Write를 관리하는 소프트웨어Kafka Server라고 부르기도 하며, Topic내의 Partition들을 분산, 유지 및 관리각각의 Broker들은 ID로 식별됨 (단 ID는 숫자)Topic의 일부 Partition들을 포함 -> Topic 데이터의 일부분(Partition)을 갖을 뿐 데이터 전체를 갖고 있지 않음Kafka Cluster: 여러 개의 Broker들로 구성되며, Client는 특정 Broker에 연결하면 전체 클러스터에 연결됨최소 3대 이상의 Broker를 하나의 Cluster로 구성해야하지만 4대 이상을 권장한다고 함 ✔️ Kafka Broker ID와 Partition ID의 관계 그리고 Boot..

이번 프로젝트 때 Kafka를 사용하여 비동기 처리 및 알림 시스템을 개발하게 되어서 개발에 들어가기 전에 확실히 이해하고자 포스팅 Kafka Kafka는 분산 스트리밍 플랫폼으로 주로 실시간 데이터 피드의 빅 데이터 처리를 목적으로 사용된다.메시지 큐와 유사하지만, 대용량 데이터 스트림을 저장하고 실시간으로 분석하거나 처리하는데 더 중점을 둔다. 장단점장점단점데이터 복제데이터를 여러 브로커에 복제하여 저장하므로 데이터 손실 방지확인 메커니즘데이터가 소비자에게 성공적으로 전달되었는지 확인하는 기능 제공다양한 소비자 패턴여러 소비자가 동시에 데이터를 구독 할 수 있음프로토콜 지원다양한 클라이언트를 통해 다른 언어에서도 사용 가능분산 시스템클러스터링을 통해 여러 노드에서 데이터를 분산 처리수평 확장브로커와 ..