백견이 불여일타

Windwos 10에서 Docker Compose로 TLS가 적용된 Elastic Cluster 구성 - Logstash 연결 (7.16.3 버전) 사전 준비 : Docker 설치, Docker Compose로 TLS가 적용된 Elastic Cluster 구성 지난 포스팅에서는 Windows OS에서 Docker-Compose를 사용하여 SSL/TLS가 적용된 Elasitcsearch Cluster를 구축하는 방법에 대해 소개를 했다. 이번 포스팅에서는 구축한 Elasticsearch Cluster에 Logstash를 연결하여 데이터를 저장하는 방법에 대해 알아본다. 💡 !!작성시 오탈자 주의!! 0. Logstash란 Logstash에 대해 소개하는 별도의 포스팅을 할 예정이지만 이번에는 간단하게 알아..

Data Platform/Elastic Stack 2022. 6. 12. 17:41

Airflow 2.2.5 Installation 최근 프로그래머스 데이터 엔지니어링 스타터 키트 스터디에 참여하며 Airflow에 대해 학습했다. 스터디 당시에는 AWS EC2 인스턴스를 각 스터디원마다 나눠주어 직접 Airflow를 설치하는 과제를 통해 Airflow 실습을 진행했다. 당시 OS는 Ubuntu 18.04였는데 이번에는 설치했던 문서를 참고하여 Rocky Linux에 설치하는 방법을 정리해보겠다. 미리 준비할 사항 실습을 위해 AWS Rocky Linux 인스턴스가 준비되어야 하는데, 필요하면 Rocky Linux 테스트 서버를 만드는 포스팅을 참고하면 된다. 혹은 굳이 Rocky Linux가 아니더라도 CentOS 8이나 Redhat 계열의 OS면 실습을 따라하는데 문제가 없을것으로 ..

Data Platform/데이터 엔지니어링 2022. 6. 7. 00:14