백견이 불여일타

데이터 엔지니어링 스타터 키트 - 6주차 이번주차는 지난 5주차에서 내주신 Weather_Forecast DAG 구현하기 과제를 수행한 내용과 세션 내에서 맥스님이 설명하신 내용에 대해 포스팅하겠다. 숙제 - Weather_Forecast DAG 구현하기 전 세계의 날씨 관련 정보를 관측소 자료를 통해 API로 제공하는 OpenWeathermp 사이트에서 무료 API Key를 발급받아서 매일 날씨정보를 가져와 Redshift에 저장하는 과제이다. 요구사항 서울의 위도와 경도를 찾아 서울 정보에 대해 API를 Request할 것 응답 결과에서 온도 정보(평균/최소/최대)만 앞으로 7일을 대상으로 출력해볼 것 날짜, 낮 온도(day), 최소 온도(min), 최대 온도(max) 읽어온 결과를 Redshift ..

Data Platform/데이터 엔지니어링 2022. 5. 30. 21:43

데이터 엔지니어링 스타터 키트 - 5주차 이번주차는 지난주차에 이어서 Airflow를 더 심화학습하는 주차였다. 그리고 언제나 그렇듯 세션 초반에는 이전 주차의 숙제를 리뷰하는 시간과 질문에 대해 리뷰하는 시간을 가졌다. 꽤 많은 시간을 리뷰에 사용하기 때문에 숙제를 열심히 한 만큼 얻어가는게 많을 것이고, 그렇지 않다면 아무래도 공감이 덜 될것이기 때문에 숙제를 소흘히 하면 안되겠다는 생각이 들었다. 오늘은 세션에서 새로 배운것보다는 Airflow를 설치하는 과제를 수행하는 과정에 대한 포스팅을 하겠다. Ubuntu 서버에 Airflow 설치 AWS Instance 접속 프로그래머스에서 각각 스터디원들에게 Airflow를 설치하여 테스트를 할 수 있는 EC2 인스턴스를 제공해준다. OS는 Ubuntu ..

Data Platform/데이터 엔지니어링 2022. 5. 22. 23:03

데이터 엔지니어링 스타터 키트 - 4주차 이번 주의 주제는 ETL/Airflow 소개이다. 드디어 Airflow에 대해 본격적으로 배우는 시간을 갖는다. 그 전에 Airflow를 사용하는 이유라고 할 수 있는 ETL에 대해 맥스님의 경험을 토대로 알아보며 관련 용어들에 대해 설명을 해주셨다. 그리고 Airflow를 사용하며 모르고 사용했을 경우 치명적일 수도 있는 Backfill 방식에 대해 설명해 주셨다. 이번 포스팅에서는 세션에서 다룬 용어 및 Airflow에 대해 간략하게 다뤄보겠다. 데이터 파이프라인이란? ETL: Extract, Transform, Load의 약자 Data Pipeline, Data Workflow, DAG 등의 용어와 호환할 수 있음 Data Source에서 원하는 데이터를 추..

Data Platform/데이터 엔지니어링 2022. 5. 17. 05:10

[AWS] PuTTY로 EC2 터미널 접속 준비물 : Putty, PuttyGen, EC2 Instance, EC2 접속을 위한 pem(또는 cer)파일 PuTTY와 PuTTYgen 소개 및 설치 Mac이나 같은 Linux 환경에서는 터미널을 통해 비교적 쉽게 EC2 터미널에 접속할 수 있다. 하지만 Windows OS 환경의 경우에는 개인적으로 느꼈을 때 터미널 친화적이지 않아 별도의 소프트웨어를 통해 EC2 터미널에 접속한다. 주로 많이 사용하는 소프트웨어는 MobaXterm, XShell 등이 있지만 개인용이 아닌 회사에서 사용할 때에는 라이센스 문제가 있을 수 있으므로 주로 PuTTy를 사용한다. PuTTY는 SSH, 텔넷 등을 위한 클라이언트이다. 그 말은 PuTTY를 통해 다른 OS와 통신이 ..

실무이야기 2022. 5. 15. 22:20

데이터 엔지니어링 스타터 키트 - 3주차 이번 주차의 주제는 SQL for Data Engineers 였다. 맥스님 말씀으로는 백엔드 엔지니어가 다루는 SQL과 데이터 엔지니어가 다루는 SQL은 차이가 있다고 해주셨는데 현재 SQL을 다루는 입장으로서 매우 공감이 갔다. 이번 주차도 지난 주차와 마찬가지로 숙제에 대한 리뷰로 시작을 했고 숙제가 SQL을 사용하는 쿼리였으므로 자연스럽게 이번 주차 내용과도 이어졌다. SQL의 장단점, 빅데이터 시대의 SQL, DDL과 DML, SQL의 기초 및 심화과정에 대한 언급, 실습 순서로 세션이 진행되었고 마찬가지로 숙제가 주어졌다. 2시간 반 정도 SQL과 관련하여 많은 내용이 다뤄졌는데 모든 내용을 포스팅하기에는 어렵기에 이번에는 숙제를 하며 개인적으로 정리가 ..

Data Platform/데이터 엔지니어링 2022. 5. 8. 22:49

데이터 엔지니어링 스타터 키트 - 2주차 2주차에서는 지난주 가벼운 숙제였던 퀴즈에 대해 맥스님이 리뷰를 해주시며 정답해설을 해주는 시간 및 다른 분들이 하신 질문에 대해 답변하는 시간으로 시작했다. 이후 데이터 엔지니어의 일주일에 대해 간략하게 소개하는 시간과 Cloud와 AWS에 대한 간단한 소개, 실제로 실습할때 사용할 Redshift에 대해 소개하는 순서로 진행되었다. 이번 포스팅에서는 개인적으로 처음 접해보는 Redshift에 대해 간략하게 정리해보겠다. Data Warehouse 데이터 분석을 위해 구축된 운영용 데이터베이스와는 별도의 데이터베이스 Production DB의 경우 속도가 중요한 대신 저장 공간에 제약이 있는 반면(OLTP), DW의 경우 내부 직원들이 사용하는 것이기 때문에 속..

Data Platform/데이터 엔지니어링 2022. 4. 30. 08:11

프로그래머스 데이터 엔지니어링 스타터 키트 과정을 시작하며 프로그래머스의 실리콘밸리에서 날아온 데이터 엔지니어 스타터 키트 과정을 눈여겨만 보다 이번 8기에 드디어 수강을 하게 되었다. 이번에는 단순히 수강하는 것에 그치지 않고 강의 내용을 좀 더 내것으로 만들겸 기록을 남길겸 해서 블로그에 포스팅하기도 새로운 목표를 잡고 시작해보려 한다. 데이터 엔지니어링 키트 과정 소개 1주차 : 데이터팀의 역할과 데이터 엔지니어링 소개 2주차 데이터 엔지니어의 일주일 같이 보기 AWS 간단소개 Redshift 소개 (ETL과 ELT) - 우리가 사용할 Data warehouse 3주차 : SQL for Data Engineers - 데이터를 다루는 사람들의 기본! / 백엔드 엔지니어들이 쓰는 SQL과는 다른 점에 ..

Data Platform/데이터 엔지니어링 2022. 4. 19. 23:25

지난 포스팅에서는 테스트를 위해 AWS 인스턴스를 생성했다. 생성했으면 접속해서 사용해야 하는데 처음에는 인스턴스에 접속하는 것부터 어렵다. 그래서 이번 포스팅에서는 지난번에 생성했던 인스턴스에 쉘로 접속하는 내용을 다룬다. 참고로 Windows 운영체제라면 Putty나 Xshell 또는 Mbaxterm을 사용하여 인스턴스에 접속하면 되지만 개인적으로 Mac을 사용하므로 Mac에서 SSH명령어를 이용해 터미널로 접속하는 방법을 다루겠다. Key 권한 설정 터미널을 이용하여 지난 포스팅에서 다운받은 키 페어가 있는 디렉토리로 이동한다. test-server로 키 이름을 지정했으므로 다운받은 키는 test-server.pem 또는 test-server.cer 로 다운받아졌을 것이다. 나는 cer 확장자로 다..

실무이야기 2022. 4. 11. 22:30