백견이 불여일타

[AWS] 테스트 서버 생성 (rocky linux) 최근에는 도커나 쿠버네티스를 사용하여 컨테이너 기반으로 빅데이터 플랫폼을 손쉽게 설치하기도 하지만 아직도 온프레미스(On-premise) 환경 또는 클라우드를 사용하더라도 베어메탈(Bare Metal)로 설치하여 사용하는 케이스도 많다. 또한 대부분의 빅데이터 플랫폼들은 운영 환경에서 고가용성(HA, High Availability)을 위해 대부분 클러스터를 구성하여 설치하게 된다. 이때, 사내에 인프라나 데이터 엔지니어 등의 역할을 하시는 분들이 솔루션들을 설치해주신다면 편하게 작업을 할 수 있지만, 설치 작업부터 진행한다면 미리 테스트해보는 환경을 구성하여 소위 삽질이라고 하는 여러 시행착오를 미리 해볼 필요가 있다. 개인이 물리 서버를 한대도 준..

실무이야기 2022. 4. 10. 19:39

[Elastic Stack] Elasticsearch 노드 역할 Elasticsearch 노드 종류 Elasticsearch 클러스터에서 노드 역할을 분리하는 이유 Elasticsearch는 여러 노드를 클러스터로 구성하여 사용할 수 있다. 클러스터를 구성한다는 뜻은 클러스터와 클러스터에 참여하는 노드들에 대한 관리가 필요하다는 의미이다. 또한 Elasticsearch는 단순히 데이터를 저장하는 데 그치지 않고 심화된 통계처리를 통한 분석작업 또는 유료 라이센스의 경우 Machine Learning 등의 작업을 할 수 있다. 작은 규모의 클러스터에서는 각각의 Elasticsearch 노드가 모든 작업을 처리해도 괜찮지만 대규모의 클러스터에서는 각각의 역할을 수행하는 노드를 설정하여 작업을 하도록 하는게 ..

Data Platform/Elastic Stack 2022. 3. 27. 14:14

[Elastic Stack] Filebeat multiple output 에러 사건의 발단 외부 사이트에서 빅데이터 프로젝트를 진행하던 중에 웹로그를 Kafka 토픽으로 적재해야 하는 요건이 나왔다. 그런데 이미 Filebeat를 사용해 웹로그를 읽어 Elasticsearch에 적재하고 있다고 한다. 그래서 우리 회사도 기존에 사용하던 Filebeat에 Kafka output만 추가하여 Kafka 토픽을 만드는 것으로 이야기를 마쳤다. 이 때만 해도 이전에 타 프로젝트에서 Logstash를 이용해 ETL 작업을 할 때, output plugin을 여러 개 사용했기 때문에 당연히 Filebeat에서도 Elasticsearch와 Kafka에 동시에 output 설정을 해서 적재를 하겠거니 라는 안일한 생각을..

Data Platform/Elastic Stack 2022. 3. 16. 22:53

자바강의 - [8주차] Web 개론 Web 이란 무엇인가? W3 == WWW == World Wide Web 이란 인터넷에 연결된 컴퓨터를 통해 사람들이 정보를 공유할 수 있는 정보 공간 Web의 기반 HTTP Hypertext Transfer Protocol 어플리케이션 컨트롤 URI Uniform Resoure Identifier 리소스 식별자 HTML Hyper Text Markup Language 하이퍼미디어 포맷 웹 브라우저에서 사용자가 알아보기 쉬운 형태로 표현됨 REST (Representational State Transfer) 월드 와이드 웹과 같은 분산 하이퍼미디어 시스템을 위한 소프트웨어 아키텍처의 한 형식 네트워크 아키텍처 원리의 모음 - 자원을 정의하고 자원에 대한 주소를 지정하는..

Programming/Java 2022. 3. 13. 11:00

자바강의 - [7주차] 디자인 패턴 개념 디자인 패턴(Design Pattern) 자주 사용하는 설계 패턴을 정형화해서 이를 유형별로 가장 최적의 방법으로 개발을 할 수 있도록 정해둔 설계 알고리즘과 유사하지만, 명확하게 정답이 있는 형태는 아니며, 프로젝트의 상황에 맞추어 적용 가능 GoF(Gang of Four)의 23개의 디자인 패턴이 있으며 이를 잘 이해하고 활용한다면, 경험이 부족하더라도 좋은 소프트웨어 설계가 가능 디자인 패턴의 장점 개발자(설계자) 간의 원활한 소통 소프트웨어 구조 파악 용이 재사용을 통한 개발 시간 단축 설계 변경 요청에 대한 유연한 대처 디자인 패턴의 단점 객체지향 설계/구현 초기 투자 비용 부담 생성 패턴 객체를 생성하는 것과 관련된 패턴으로, 객체의 생성과 변경이 전체..

Programming/Java 2022. 3. 7. 21:02

자바강의 - [7주차] 객체지향 객체지향의 등장 1970년대 들어 용어가 나왔으며 50년이 넘는 역사를 가지고 있음 객체 지향 이전에는 C언어 처럼 실행하고자 하는 순서대로 명령어를 입력해서 실행되는 “절차 지향”이 주를 이뤘으며 이를 “절차지향 언어"라고 함 현대에 와서 프로그램의 복잡도가 증가하며 유지보수, 개발기간 등 다양한 부분에서 비효율이 발생하기시작 이런 어려움을 해결하기 위해 기존 절차지향 개발 방식에서 벗어나 “추상화, 상속, 은닉, 재사용, 인터페이스 등"의 특성을 가진 객체지향으로 개발을 시작함 객체지향이란 현실에 존재하는 사물을 있는 그대로 모델링하여, 이들의 행위와 속성을 정의하고 절차적이 아닌 객체가 중심이 되어 실제 사물이 동작하는 방식으로 설계하는 방법 객체지향의 4대 특성 캡..

Programming/Java 2022. 3. 7. 20:59

[Elastic Stack] Elasticsearch Index와 Shard 개념 인덱스(Index)와 샤드(Shard) 지난 포스팅에서 Elasticsearch에서 인덱스는 하나의 “논리적인 저장 단위”이고 샤드는 “물리적으로 노드에 저장되는 단위”라고 정의했었다. Elasticsearch나 다른 NoSQL 또는 Kafka와 같은 분산 처리 환경에 익숙하지 않다면 논리적인 저장 단위와 물리적으로 저장하는 단위가 나뉘어져 있다는 개념이 생소할 것이다. 특히 단일 노드로 Standalone 형식으로 테스트를 진행한다면 더더욱 이해가 어려울 수 있다. 하지만 분산 처리를 함으로써 수평 확장(Scale-Out)이 용이해지고 단일 노드의 물리적인 한계를 극복할 수 있다. 또한 처리량을 높여 오히려 퍼포먼스를 향..

Data Platform/Elastic Stack 2022. 3. 3. 21:44

자바강의 - [6주차] 자바와 자료구조 (2) 제네릭(Generic) 프로그래밍 다양한 타입의 객체들을 다루는 메서드나 컬렉션 클래스에 컴파일 시의 타입 체크(compile-time type check)를 해주는 기능 객체의 타입을 컴파일 시에 체크하기 때문에 객체의 타입 안정성을 높이고 형변환의 번거로움이 줄어듬 따라서 제네릭을 사용하면 타입 안정성을 제공하므로 타입체크와 형변환을 생략할 수 있어 코드가 간결해짐 제네릭을 적용하지 않은 코드 예제 ArrayList tvList = new ArrayList(); tvList.add(new Tv()); Tv t = (Tv)tvList.get(0); 제네릭을 적용한 코드 ArrayList tvList = new ArrayList(); tvList.add(ne..

Programming/Java 2022. 3. 1. 21:50