백견이 불여일타

Docker-Compose로 Confluent Kafka 와 C3(Confluent Control Center) 설치 이전 포스팅에서 Confluent에 대해 정말 간략하게 설명을 했었다. Confluent 라이센스를 적용하여 프로젝트를 짧게나마 해본 입장에서 여러 Confluent Ecosystem 중에서 C3(Confluent Control Center)를 유용하게 잘 사용했었기에 C3에 대해 소개할겸 이번 포스팅은 docker-copomse를 사용하여 kafka broker 클러스터와 C3(Confluent Control Center) 설치를 다뤄보겠다. Confluent란 Apache Kafka를 만든 멤버들이 창립한 회사로 Confluent Kafka와 함께 여러 컴포넌트와 기능을 추가한 유료 ..

Data Platform/Kafka 2022. 10. 10. 21:04

Apache Kafka의 주요 요소 Kafka(Broker) : Kafka 애플리케이션이 설치된 서버 또는 노드 Producer : 메시지를 생산(produce)해서 Kafka의 Topic으로 메시지를 보내는 애플리케이션 Consumer : Topic의 메시지를 가져와서 소비(Consume)하는 애플리케이션 Zookeeper : Kafka의 메타데이터(metadata) 관리 및 브로커의 health check를 담당하는 애플리케이션 위 그림과 같이 프로듀서(Producer)에서 보내는 메시지(Message) 혹은 이벤트(Event)들은 카프카 브로커(Kafka Broker)에 토픽(Topic)이라는 단위로 저장되며 컨슈머(Consumer)는 저장된 토픽을 읽어온다. 여기서 카프카가 다른 메시징 큐(Mes..

Data Platform/Kafka 2022. 1. 16. 14:09

Apache Kafka란? 수많은 이벤트를 처리할 수 있는 분산 이벤트 스트리밍 플랫폼으로 2011년 Linked in에서 만들고 오픈소스로 제공한 이후 이벤트 스트리밍 플랫폼으로 빠르게 발전하는 중이다. 대부분 Event Hub 또는 Messaging Queue로만 사용하고 있지만, Kafka 이외의 ksqlDB, schema registry, connector 등을 함께 사용하여 데이터 플랫폼으로 사용할 수 있다. Kafka가 등장한 배경 Kafka 이전의 흔한 아키텍처 한 눈에 봐도 아키텍처가 매우 복잡하다.. 위와 같은 아키텍처에서는 시스템을 확장하는 것이 매우 어렵다. 시스템간의 의존성이 복잡하여 만약 한 시스템에서 장애가 발생하더라도 여러 시스템에 영향이 가며 이는 장애를 복구하는데 있어서도 ..

Data Platform/Kafka 2022. 1. 9. 23:53