백견이 불여일타

데이터 엔지니어링 스타터 키트 - 4주차 이번 주의 주제는 ETL/Airflow 소개이다. 드디어 Airflow에 대해 본격적으로 배우는 시간을 갖는다. 그 전에 Airflow를 사용하는 이유라고 할 수 있는 ETL에 대해 맥스님의 경험을 토대로 알아보며 관련 용어들에 대해 설명을 해주셨다. 그리고 Airflow를 사용하며 모르고 사용했을 경우 치명적일 수도 있는 Backfill 방식에 대해 설명해 주셨다. 이번 포스팅에서는 세션에서 다룬 용어 및 Airflow에 대해 간략하게 다뤄보겠다. 데이터 파이프라인이란? ETL: Extract, Transform, Load의 약자 Data Pipeline, Data Workflow, DAG 등의 용어와 호환할 수 있음 Data Source에서 원하는 데이터를 추..

Data Platform/데이터 엔지니어링 2022. 5. 17. 05:10

데이터 엔지니어링 스타터 키트 - 3주차 이번 주차의 주제는 SQL for Data Engineers 였다. 맥스님 말씀으로는 백엔드 엔지니어가 다루는 SQL과 데이터 엔지니어가 다루는 SQL은 차이가 있다고 해주셨는데 현재 SQL을 다루는 입장으로서 매우 공감이 갔다. 이번 주차도 지난 주차와 마찬가지로 숙제에 대한 리뷰로 시작을 했고 숙제가 SQL을 사용하는 쿼리였으므로 자연스럽게 이번 주차 내용과도 이어졌다. SQL의 장단점, 빅데이터 시대의 SQL, DDL과 DML, SQL의 기초 및 심화과정에 대한 언급, 실습 순서로 세션이 진행되었고 마찬가지로 숙제가 주어졌다. 2시간 반 정도 SQL과 관련하여 많은 내용이 다뤄졌는데 모든 내용을 포스팅하기에는 어렵기에 이번에는 숙제를 하며 개인적으로 정리가 ..

Data Platform/데이터 엔지니어링 2022. 5. 8. 22:49

데이터 엔지니어링 스타터 키트 - 2주차 2주차에서는 지난주 가벼운 숙제였던 퀴즈에 대해 맥스님이 리뷰를 해주시며 정답해설을 해주는 시간 및 다른 분들이 하신 질문에 대해 답변하는 시간으로 시작했다. 이후 데이터 엔지니어의 일주일에 대해 간략하게 소개하는 시간과 Cloud와 AWS에 대한 간단한 소개, 실제로 실습할때 사용할 Redshift에 대해 소개하는 순서로 진행되었다. 이번 포스팅에서는 개인적으로 처음 접해보는 Redshift에 대해 간략하게 정리해보겠다. Data Warehouse 데이터 분석을 위해 구축된 운영용 데이터베이스와는 별도의 데이터베이스 Production DB의 경우 속도가 중요한 대신 저장 공간에 제약이 있는 반면(OLTP), DW의 경우 내부 직원들이 사용하는 것이기 때문에 속..

Data Platform/데이터 엔지니어링 2022. 4. 30. 08:11

프로그래머스 데이터 엔지니어링 스타터 키트 과정을 시작하며 프로그래머스의 실리콘밸리에서 날아온 데이터 엔지니어 스타터 키트 과정을 눈여겨만 보다 이번 8기에 드디어 수강을 하게 되었다. 이번에는 단순히 수강하는 것에 그치지 않고 강의 내용을 좀 더 내것으로 만들겸 기록을 남길겸 해서 블로그에 포스팅하기도 새로운 목표를 잡고 시작해보려 한다. 데이터 엔지니어링 키트 과정 소개 1주차 : 데이터팀의 역할과 데이터 엔지니어링 소개 2주차 데이터 엔지니어의 일주일 같이 보기 AWS 간단소개 Redshift 소개 (ETL과 ELT) - 우리가 사용할 Data warehouse 3주차 : SQL for Data Engineers - 데이터를 다루는 사람들의 기본! / 백엔드 엔지니어들이 쓰는 SQL과는 다른 점에 ..

Data Platform/데이터 엔지니어링 2022. 4. 19. 23:25

[Elastic Stack] Elasticsearch 노드 역할 Elasticsearch 노드 종류 Elasticsearch 클러스터에서 노드 역할을 분리하는 이유 Elasticsearch는 여러 노드를 클러스터로 구성하여 사용할 수 있다. 클러스터를 구성한다는 뜻은 클러스터와 클러스터에 참여하는 노드들에 대한 관리가 필요하다는 의미이다. 또한 Elasticsearch는 단순히 데이터를 저장하는 데 그치지 않고 심화된 통계처리를 통한 분석작업 또는 유료 라이센스의 경우 Machine Learning 등의 작업을 할 수 있다. 작은 규모의 클러스터에서는 각각의 Elasticsearch 노드가 모든 작업을 처리해도 괜찮지만 대규모의 클러스터에서는 각각의 역할을 수행하는 노드를 설정하여 작업을 하도록 하는게 ..

Data Platform/Elastic Stack 2022. 3. 27. 14:14

[Elastic Stack] Filebeat multiple output 에러 사건의 발단 외부 사이트에서 빅데이터 프로젝트를 진행하던 중에 웹로그를 Kafka 토픽으로 적재해야 하는 요건이 나왔다. 그런데 이미 Filebeat를 사용해 웹로그를 읽어 Elasticsearch에 적재하고 있다고 한다. 그래서 우리 회사도 기존에 사용하던 Filebeat에 Kafka output만 추가하여 Kafka 토픽을 만드는 것으로 이야기를 마쳤다. 이 때만 해도 이전에 타 프로젝트에서 Logstash를 이용해 ETL 작업을 할 때, output plugin을 여러 개 사용했기 때문에 당연히 Filebeat에서도 Elasticsearch와 Kafka에 동시에 output 설정을 해서 적재를 하겠거니 라는 안일한 생각을..

Data Platform/Elastic Stack 2022. 3. 16. 22:53

[Elastic Stack] Elasticsearch Index와 Shard 개념 인덱스(Index)와 샤드(Shard) 지난 포스팅에서 Elasticsearch에서 인덱스는 하나의 “논리적인 저장 단위”이고 샤드는 “물리적으로 노드에 저장되는 단위”라고 정의했었다. Elasticsearch나 다른 NoSQL 또는 Kafka와 같은 분산 처리 환경에 익숙하지 않다면 논리적인 저장 단위와 물리적으로 저장하는 단위가 나뉘어져 있다는 개념이 생소할 것이다. 특히 단일 노드로 Standalone 형식으로 테스트를 진행한다면 더더욱 이해가 어려울 수 있다. 하지만 분산 처리를 함으로써 수평 확장(Scale-Out)이 용이해지고 단일 노드의 물리적인 한계를 극복할 수 있다. 또한 처리량을 높여 오히려 퍼포먼스를 향..

Data Platform/Elastic Stack 2022. 3. 3. 21:44

[Elastic Stack] Elasticsearch 주요 용어 Elasticsearch란 지난 포스팅에서 Elasticsearch에 대해 대표적인 특징에 대해 알아봤다. 이번 포스팅에서는 Elasticsearch에서 사용하는 주요 용어 일부에 대해 소개하겠다. Elasticsearch 주요 용어 노드 (Node) Elasticsearch는 노드(Node)라는 이름으로 실행이 된다. 또한 실행 중인 Elasticsearch를 인스턴스(instance)라고도 표현한다. 클러스터가 구성되는 단위이며 Elasticsearch가 설치되는 물리적 혹은 논리적 단위이다. 보통은 물리적인 서버(머신)에 노드 하나를 구성하는 방식을 권장하지만, 경우에 따라 단일 물리 서버에 복수개의 노드를 설치할 수도 있다. 클러스터..

Data Platform/Elastic Stack 2022. 2. 24. 22:20