백견이 불여일타

[Elastic Stack] M1 Mac Elasticsearch와 Kibana 8.4.3 설치 들어가며 2022년 올해 초 Elasticsearch 8.0 버전이 릴리즈 되었지만 역시 빠른 속도로 마이너 버전이 올라가 벌써 2022년 10월 기준 8.4.3 버전까지 릴리즈 되었다. 이번 포스팅에서는 8.4.3 버전의 Elasticsearch와 Kibana를 직접 설치하는 과정을 정리해보려 한다. 설치 환경 OS : M1 Mac Elasticsearch version : 8.4.3 Kibana version : 8.4.3 Elasticsearch 다운로드 및 실행 공식 홈페이지의 서포트 매트릭스 페이지에서 설치하고자 하는 Elasticsearch 버전과 OS의 호환성을 확인 후 설치할 것을 권장한다. E..

Data Platform/Elastic Stack 2022. 10. 22. 10:44

Docker-Compose로 Confluent Kafka 와 C3(Confluent Control Center) 설치 이전 포스팅에서 Confluent에 대해 정말 간략하게 설명을 했었다. Confluent 라이센스를 적용하여 프로젝트를 짧게나마 해본 입장에서 여러 Confluent Ecosystem 중에서 C3(Confluent Control Center)를 유용하게 잘 사용했었기에 C3에 대해 소개할겸 이번 포스팅은 docker-copomse를 사용하여 kafka broker 클러스터와 C3(Confluent Control Center) 설치를 다뤄보겠다. Confluent란 Apache Kafka를 만든 멤버들이 창립한 회사로 Confluent Kafka와 함께 여러 컴포넌트와 기능을 추가한 유료 ..

Data Platform/Kafka 2022. 10. 10. 21:04

Index vs Index Patterns(Data Views) 인덱스 패턴(Index Pattern)이란 용어는 Elastic Stack 7.x.x 까지만 사용되었고, Elastic Stack 8.x.x 부터는 데이터 뷰(Data View)라는 용어로 변경이 되었다. 본 블로그는 Elastic Stack 7.16.3 버전을 기준으로 설명하고 있으므로 인덱스 패턴(Index Pattern)으로 설명하겠다. 지난 포스팅에서는 Elasticsearch의 인덱스(Index) 개념과 샤드(Shard)에 대해 다뤄봤다. 그런데 막상 Kibana(키바나)에서 인덱스를 불러와 분석을 하거나 대시보드를 만들려면 인덱스를 찾지 못한다. 결론부터 말하자면 Kibana의 메뉴에서는 인덱스가 아닌 인덱스 패턴(Index Pa..

Data Platform/Elastic Stack 2022. 6. 25. 10:12

Windwos 10에서 Docker Compose로 TLS가 적용된 Elastic Cluster 구성 - Logstash 연결 (7.16.3 버전) 사전 준비 : Docker 설치, Docker Compose로 TLS가 적용된 Elastic Cluster 구성 지난 포스팅에서는 Windows OS에서 Docker-Compose를 사용하여 SSL/TLS가 적용된 Elasitcsearch Cluster를 구축하는 방법에 대해 소개를 했다. 이번 포스팅에서는 구축한 Elasticsearch Cluster에 Logstash를 연결하여 데이터를 저장하는 방법에 대해 알아본다. 💡 !!작성시 오탈자 주의!! 0. Logstash란 Logstash에 대해 소개하는 별도의 포스팅을 할 예정이지만 이번에는 간단하게 알아..

Data Platform/Elastic Stack 2022. 6. 12. 17:41

데이터 엔지니어링 스타터 키트 - 7주차 어느새 마지막 주차가 되었다. 이번 주차에서는 Airflow를 운영하는 관점에서 필요할만한 개념들과 함께 이 스터디 이후에 무엇을 공부하면 좋을지와 앞으로 데이터 엔지니어의 커리어와 관련한 이야기를 해주셨다. 오늘은 전반적인 내용에 대해 간략하게 정리하는 느낌으로 포스팅을 해보겠다. 운영을 위한 Airflow Configuration Metadata 관리를 위한 Database는 Splite보다 MySQL 또는 PostgreSQL을 추천 Default로 설정되는 Sqlite를 사용하게 되면 여러 DAG 또는 Task가 동시에 실행될 때 동시접속하기가 어려운 등의 여러 이슈가 있기 때문에 운영환경에서는 MySQL 또는 PostgreSQL을 사용할 것을 추천 sql_..

Data Platform/데이터 엔지니어링 2022. 6. 11. 20:10

Airflow 2.2.5 Installation 최근 프로그래머스 데이터 엔지니어링 스타터 키트 스터디에 참여하며 Airflow에 대해 학습했다. 스터디 당시에는 AWS EC2 인스턴스를 각 스터디원마다 나눠주어 직접 Airflow를 설치하는 과제를 통해 Airflow 실습을 진행했다. 당시 OS는 Ubuntu 18.04였는데 이번에는 설치했던 문서를 참고하여 Rocky Linux에 설치하는 방법을 정리해보겠다. 미리 준비할 사항 실습을 위해 AWS Rocky Linux 인스턴스가 준비되어야 하는데, 필요하면 Rocky Linux 테스트 서버를 만드는 포스팅을 참고하면 된다. 혹은 굳이 Rocky Linux가 아니더라도 CentOS 8이나 Redhat 계열의 OS면 실습을 따라하는데 문제가 없을것으로 ..

Data Platform/데이터 엔지니어링 2022. 6. 7. 00:14

데이터 엔지니어링 스타터 키트 - 6주차 이번주차는 지난 5주차에서 내주신 Weather_Forecast DAG 구현하기 과제를 수행한 내용과 세션 내에서 맥스님이 설명하신 내용에 대해 포스팅하겠다. 숙제 - Weather_Forecast DAG 구현하기 전 세계의 날씨 관련 정보를 관측소 자료를 통해 API로 제공하는 OpenWeathermp 사이트에서 무료 API Key를 발급받아서 매일 날씨정보를 가져와 Redshift에 저장하는 과제이다. 요구사항 서울의 위도와 경도를 찾아 서울 정보에 대해 API를 Request할 것 응답 결과에서 온도 정보(평균/최소/최대)만 앞으로 7일을 대상으로 출력해볼 것 날짜, 낮 온도(day), 최소 온도(min), 최대 온도(max) 읽어온 결과를 Redshift ..

Data Platform/데이터 엔지니어링 2022. 5. 30. 21:43

데이터 엔지니어링 스타터 키트 - 5주차 이번주차는 지난주차에 이어서 Airflow를 더 심화학습하는 주차였다. 그리고 언제나 그렇듯 세션 초반에는 이전 주차의 숙제를 리뷰하는 시간과 질문에 대해 리뷰하는 시간을 가졌다. 꽤 많은 시간을 리뷰에 사용하기 때문에 숙제를 열심히 한 만큼 얻어가는게 많을 것이고, 그렇지 않다면 아무래도 공감이 덜 될것이기 때문에 숙제를 소흘히 하면 안되겠다는 생각이 들었다. 오늘은 세션에서 새로 배운것보다는 Airflow를 설치하는 과제를 수행하는 과정에 대한 포스팅을 하겠다. Ubuntu 서버에 Airflow 설치 AWS Instance 접속 프로그래머스에서 각각 스터디원들에게 Airflow를 설치하여 테스트를 할 수 있는 EC2 인스턴스를 제공해준다. OS는 Ubuntu ..

Data Platform/데이터 엔지니어링 2022. 5. 22. 23:03