지난 글에서 도커 파일로 프로메테우스와 그라파나를 띄워보았다. 👇🏻 2024.10.13 - [DevOps] - 도커로 프로메테우스 & 그라파나 띄우기 + 프로비저닝 기능까지 1 도커로 프로메테우스 & 그라파나 띄우기 + 프로비저닝 기능까지 1이번 프로젝트에서 프로메테우스와 그라파나를 사용해 모니터링을 하게 되어서 정리용으로 포스팅..  Prometheus🔥 "프로메테우스"는 그리스 로마 신화에 나오는 그 이름이 맞다. 미래를 예측하tildacoderecorder.tistory.com  이번 포스팅에서는 그라파나가 제공하는 프로비저닝 Provisioning 기능을 사용하고 이 기능 또한 도커로 띄워볼 예정이다.  그라파나의 프로비저닝 Provisioning 기능이란 그라파나에서 수동으로 설정해줘야 하..

이번 프로젝트에서 프로메테우스와 그라파나를 사용해 모니터링을 하게 되어서 정리용으로 포스팅..  Prometheus🔥 "프로메테우스"는 그리스 로마 신화에 나오는 그 이름이 맞다. 미래를 예측하고 신들에게서 불을 훔쳐 인간에게 준 인물이기에 로고가 횃불 모양이며 미래에 발생 할 수 있는 문제를 예측하고 미리 알려줌으로써 장애를 방지한다는 모니터링 시스템의 특징과 잘 부합한다.  프로메테우스는 오픈소스 시스템 모니터링 및 경고 도구이다.Prometheus는 시계열 데이터베이스(TSDB)를 사용하여 메트릭 데이터를 수집하고, 쿼리 및 시각화를 통해 시스템 상태를 모니터링하고 경고를 설정할 수 있다.  ※ 매트릭 데이터는 특정 시스템이나 프로세스의 상태를 숫자로 표현한 데이터를 의미한다.※ 시계열 데이터는 ..

이번 프로젝트에서 Cassandra를 처음 사용하게 되어서 Docker로 띄워보기로 함  1️⃣  Docker Cassandra 이미지 받기$ docker pull cassandra:latest  2️⃣  이미지를 컨테이너로 띄우기$ docker run --name container_name cassandra:latest --name 옵션으로 카산드라가 실행될 도커 컨테이너의 컨테이너명을 정해줄 수 있다.사용하지 않으면 도커가 생성한 임의의 이름으로 컨테이너가 만들어진다.  + ) 카산드라 포트 번호 설정 카산드라의 기본 포트 번호는 9042지만 현재 프로젝트에서는 5436을 사용하려한다.docker run -d --name mycassandra -p 5436:9042 cassandra:latest 따라..

Docker를 사용해 Kafka 설치하기 Docker 관련 포스팅은 👇🏻2024.08.20 - [Docker] - [🐳 Docker] Dockerfile & Docker Compose 사용하기# D" data-og-host="tildacoderecorder.tistory.com" data-og-source-url="https://tildacoderecorder.tistory.com/146" data-og-url="https://tildacoderecorder.tistory.com/146" data-og-image="https://scrap.kakaocdn.net/dn/Duyiv/hyXaHunXfv/g5uOjeXGy9K8jW8pjwrd7k/img.png?width=800&height=200&face=..

Kafka Broker Kafka Broker는 Partition에 대한 Read 및 Write를 관리하는 소프트웨어Kafka Server라고 부르기도 하며, Topic내의 Partition들을 분산, 유지 및 관리각각의 Broker들은 ID로 식별됨 (단 ID는 숫자)Topic의 일부 Partition들을 포함 -> Topic 데이터의 일부분(Partition)을 갖을 뿐 데이터 전체를 갖고 있지 않음Kafka Cluster: 여러 개의 Broker들로 구성되며, Client는 특정 Broker에 연결하면 전체 클러스터에 연결됨최소 3대 이상의 Broker를 하나의 Cluster로 구성해야하지만 4대 이상을 권장한다고 함 ✔️ Kafka Broker ID와 Partition ID의 관계 그리고 Boot..

이번 프로젝트 때 Kafka를 사용하여 비동기 처리 및 알림 시스템을 개발하게 되어서 개발에 들어가기 전에 확실히 이해하고자 포스팅 Kafka Kafka는 분산 스트리밍 플랫폼으로 주로 실시간 데이터 피드의 빅 데이터 처리를 목적으로 사용된다.메시지 큐와 유사하지만, 대용량 데이터 스트림을 저장하고 실시간으로 분석하거나 처리하는데 더 중점을 둔다. 장단점장점단점데이터 복제데이터를 여러 브로커에 복제하여 저장하므로 데이터 손실 방지확인 메커니즘데이터가 소비자에게 성공적으로 전달되었는지 확인하는 기능 제공다양한 소비자 패턴여러 소비자가 동시에 데이터를 구독 할 수 있음프로토콜 지원다양한 클라이언트를 통해 다른 언어에서도 사용 가능분산 시스템클러스터링을 통해 여러 노드에서 데이터를 분산 처리수평 확장브로커와 ..