백견이 불여일타

[Elastic Stack] M1 Mac Elasticsearch와 Kibana 8.4.3 설치 들어가며 2022년 올해 초 Elasticsearch 8.0 버전이 릴리즈 되었지만 역시 빠른 속도로 마이너 버전이 올라가 벌써 2022년 10월 기준 8.4.3 버전까지 릴리즈 되었다. 이번 포스팅에서는 8.4.3 버전의 Elasticsearch와 Kibana를 직접 설치하는 과정을 정리해보려 한다. 설치 환경 OS : M1 Mac Elasticsearch version : 8.4.3 Kibana version : 8.4.3 Elasticsearch 다운로드 및 실행 공식 홈페이지의 서포트 매트릭스 페이지에서 설치하고자 하는 Elasticsearch 버전과 OS의 호환성을 확인 후 설치할 것을 권장한다. E..

Data Platform/Elastic Stack 2022. 10. 22. 10:44

Index vs Index Patterns(Data Views) 인덱스 패턴(Index Pattern)이란 용어는 Elastic Stack 7.x.x 까지만 사용되었고, Elastic Stack 8.x.x 부터는 데이터 뷰(Data View)라는 용어로 변경이 되었다. 본 블로그는 Elastic Stack 7.16.3 버전을 기준으로 설명하고 있으므로 인덱스 패턴(Index Pattern)으로 설명하겠다. 지난 포스팅에서는 Elasticsearch의 인덱스(Index) 개념과 샤드(Shard)에 대해 다뤄봤다. 그런데 막상 Kibana(키바나)에서 인덱스를 불러와 분석을 하거나 대시보드를 만들려면 인덱스를 찾지 못한다. 결론부터 말하자면 Kibana의 메뉴에서는 인덱스가 아닌 인덱스 패턴(Index Pa..

Data Platform/Elastic Stack 2022. 6. 25. 10:12

Windwos 10에서 Docker Compose로 TLS가 적용된 Elastic Cluster 구성 - Logstash 연결 (7.16.3 버전) 사전 준비 : Docker 설치, Docker Compose로 TLS가 적용된 Elastic Cluster 구성 지난 포스팅에서는 Windows OS에서 Docker-Compose를 사용하여 SSL/TLS가 적용된 Elasitcsearch Cluster를 구축하는 방법에 대해 소개를 했다. 이번 포스팅에서는 구축한 Elasticsearch Cluster에 Logstash를 연결하여 데이터를 저장하는 방법에 대해 알아본다. 💡 !!작성시 오탈자 주의!! 0. Logstash란 Logstash에 대해 소개하는 별도의 포스팅을 할 예정이지만 이번에는 간단하게 알아..

Data Platform/Elastic Stack 2022. 6. 12. 17:41

[Elastic Stack] Filebeat multiple output 에러 사건의 발단 외부 사이트에서 빅데이터 프로젝트를 진행하던 중에 웹로그를 Kafka 토픽으로 적재해야 하는 요건이 나왔다. 그런데 이미 Filebeat를 사용해 웹로그를 읽어 Elasticsearch에 적재하고 있다고 한다. 그래서 우리 회사도 기존에 사용하던 Filebeat에 Kafka output만 추가하여 Kafka 토픽을 만드는 것으로 이야기를 마쳤다. 이 때만 해도 이전에 타 프로젝트에서 Logstash를 이용해 ETL 작업을 할 때, output plugin을 여러 개 사용했기 때문에 당연히 Filebeat에서도 Elasticsearch와 Kafka에 동시에 output 설정을 해서 적재를 하겠거니 라는 안일한 생각을..

Data Platform/Elastic Stack 2022. 3. 16. 22:53

[Elastic Stack] Elasticsearch Index와 Shard 개념 인덱스(Index)와 샤드(Shard) 지난 포스팅에서 Elasticsearch에서 인덱스는 하나의 “논리적인 저장 단위”이고 샤드는 “물리적으로 노드에 저장되는 단위”라고 정의했었다. Elasticsearch나 다른 NoSQL 또는 Kafka와 같은 분산 처리 환경에 익숙하지 않다면 논리적인 저장 단위와 물리적으로 저장하는 단위가 나뉘어져 있다는 개념이 생소할 것이다. 특히 단일 노드로 Standalone 형식으로 테스트를 진행한다면 더더욱 이해가 어려울 수 있다. 하지만 분산 처리를 함으로써 수평 확장(Scale-Out)이 용이해지고 단일 노드의 물리적인 한계를 극복할 수 있다. 또한 처리량을 높여 오히려 퍼포먼스를 향..

Data Platform/Elastic Stack 2022. 3. 3. 21:44

[Elastic Stack] Elasticsearch 주요 용어 Elasticsearch란 지난 포스팅에서 Elasticsearch에 대해 대표적인 특징에 대해 알아봤다. 이번 포스팅에서는 Elasticsearch에서 사용하는 주요 용어 일부에 대해 소개하겠다. Elasticsearch 주요 용어 노드 (Node) Elasticsearch는 노드(Node)라는 이름으로 실행이 된다. 또한 실행 중인 Elasticsearch를 인스턴스(instance)라고도 표현한다. 클러스터가 구성되는 단위이며 Elasticsearch가 설치되는 물리적 혹은 논리적 단위이다. 보통은 물리적인 서버(머신)에 노드 하나를 구성하는 방식을 권장하지만, 경우에 따라 단일 물리 서버에 복수개의 노드를 설치할 수도 있다. 클러스터..

Data Platform/Elastic Stack 2022. 2. 24. 22:20

[Elastic Stack] Elasticsearch 특징 Elasticsearch란 지난 포스팅에서 Elastic Stack에 대해 무엇인지 간략하게 소개했다. 이번에는 Elastic Stack의 심장인 Elasticsearch에 대해 좀 더 알아보며 핵심 용어들에 대해 소개하겠다. Elasticsearch의 특징 Apache Lucene 기반의 검색 엔진 Elasticsearch는 Apache Lucene이라는 Java 기반의 검색 엔진 라이브러리이다. 여기서 라이브러리 의 의미는 Lucene을 사용하고 싶을 경우 말 그대로 라이브러리로 다운받아 import를 시켜야 Lucene의 API를 사용할 수 있다는 뜻이고, 개발단에서 코드레벨로써만 활용할 수 있다는 점이다. 따라서 Java 언어의 의존성이 ..

Data Platform/Elastic Stack 2022. 2. 10. 21:05

Elastic Stack이란 출처 : https://www.elastic.co/kr/blog/getting-started-with-elastic-cloud Elastic Stack이란 Elasticsearch, Logstash, Kibana의 앞글자를 따서 ELK Stack이라고 불리던 기존의 아키텍처에서 Beats 제품군이 추가된 Elastic의 제품군들이다. 보통의 데이터 관련 작업을 수행하게 되면 일반적으로 수집 - 저장/처리 - 분석/시각화 등의 단계를 거치게 된다. Elastic Stack의 그림을 보면 Beats/Logstash - Elasticsearch - Kibana의 순서대로 아래서 위로 올라가게 되는데 Beats/Logstash는 데이터 수집 단계, Elasticsearch는 저장/처..

Data Platform/Elastic Stack 2022. 1. 24. 23:16