백견이 불여일타

데이터 엔지니어링 스타터 키트 - 7주차 어느새 마지막 주차가 되었다. 이번 주차에서는 Airflow를 운영하는 관점에서 필요할만한 개념들과 함께 이 스터디 이후에 무엇을 공부하면 좋을지와 앞으로 데이터 엔지니어의 커리어와 관련한 이야기를 해주셨다. 오늘은 전반적인 내용에 대해 간략하게 정리하는 느낌으로 포스팅을 해보겠다. 운영을 위한 Airflow Configuration Metadata 관리를 위한 Database는 Splite보다 MySQL 또는 PostgreSQL을 추천 Default로 설정되는 Sqlite를 사용하게 되면 여러 DAG 또는 Task가 동시에 실행될 때 동시접속하기가 어려운 등의 여러 이슈가 있기 때문에 운영환경에서는 MySQL 또는 PostgreSQL을 사용할 것을 추천 sql_..

Data Platform/데이터 엔지니어링 2022. 6. 11. 20:10

Airflow 2.2.5 Installation 최근 프로그래머스 데이터 엔지니어링 스타터 키트 스터디에 참여하며 Airflow에 대해 학습했다. 스터디 당시에는 AWS EC2 인스턴스를 각 스터디원마다 나눠주어 직접 Airflow를 설치하는 과제를 통해 Airflow 실습을 진행했다. 당시 OS는 Ubuntu 18.04였는데 이번에는 설치했던 문서를 참고하여 Rocky Linux에 설치하는 방법을 정리해보겠다. 미리 준비할 사항 실습을 위해 AWS Rocky Linux 인스턴스가 준비되어야 하는데, 필요하면 Rocky Linux 테스트 서버를 만드는 포스팅을 참고하면 된다. 혹은 굳이 Rocky Linux가 아니더라도 CentOS 8이나 Redhat 계열의 OS면 실습을 따라하는데 문제가 없을것으로 ..

Data Platform/데이터 엔지니어링 2022. 6. 7. 00:14

데이터 엔지니어링 스타터 키트 - 6주차 이번주차는 지난 5주차에서 내주신 Weather_Forecast DAG 구현하기 과제를 수행한 내용과 세션 내에서 맥스님이 설명하신 내용에 대해 포스팅하겠다. 숙제 - Weather_Forecast DAG 구현하기 전 세계의 날씨 관련 정보를 관측소 자료를 통해 API로 제공하는 OpenWeathermp 사이트에서 무료 API Key를 발급받아서 매일 날씨정보를 가져와 Redshift에 저장하는 과제이다. 요구사항 서울의 위도와 경도를 찾아 서울 정보에 대해 API를 Request할 것 응답 결과에서 온도 정보(평균/최소/최대)만 앞으로 7일을 대상으로 출력해볼 것 날짜, 낮 온도(day), 최소 온도(min), 최대 온도(max) 읽어온 결과를 Redshift ..

Data Platform/데이터 엔지니어링 2022. 5. 30. 21:43

데이터 엔지니어링 스타터 키트 - 4주차 이번 주의 주제는 ETL/Airflow 소개이다. 드디어 Airflow에 대해 본격적으로 배우는 시간을 갖는다. 그 전에 Airflow를 사용하는 이유라고 할 수 있는 ETL에 대해 맥스님의 경험을 토대로 알아보며 관련 용어들에 대해 설명을 해주셨다. 그리고 Airflow를 사용하며 모르고 사용했을 경우 치명적일 수도 있는 Backfill 방식에 대해 설명해 주셨다. 이번 포스팅에서는 세션에서 다룬 용어 및 Airflow에 대해 간략하게 다뤄보겠다. 데이터 파이프라인이란? ETL: Extract, Transform, Load의 약자 Data Pipeline, Data Workflow, DAG 등의 용어와 호환할 수 있음 Data Source에서 원하는 데이터를 추..

Data Platform/데이터 엔지니어링 2022. 5. 17. 05:10