본문 바로가기

전체 글38

Tez 실행 시 NoSuchMethodError 해결하기 도커로 apache/hive 이미지를 이용해서 hive 를 올리고 bde2020/hadoop 이미지를 이용해 3.3.6 버전의 hadoop을 깔고서 tez job 을 실행했는데 자꾸 아래 에러가 났습니다. ERROR : Failed java.lang.NoSuchMethodError: org.apache.hadoop.fs.FsTracer.get(Lorg/apache/hadoop/conf/Configuration;)Lorg/apache/htrace/core/Tracer; at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:323) ~[hadoop-hdfs-client-3.3.1.jar:?] at org.apache.hadoop.hdfs.DFSClient.(DFSCli.. 2024. 3. 16.
도커로 하둡 클러스터 구축 및 하이브 연동하기 정말로 많은 삽질이 있었습니다. 하.... 그래도 덕분에 하둡 클러스터의 구조와 하이브 간의 소통방식을 어느 정도 이해한 것 같아요. 하둡 클러스터를 구축하고, 하이브가 이것과 통신하게 하고, 여기에 웹 UI인 Hue 를 설치하는 과정까지 한번 진행해 보겠습니다. 하둡 클러스터와 하이브 구조 먼저 결과적으로 구축한 하둡 클러스터와 하이브의 구조를 살펴보면 아래와 같습니다. 서로 통신하는 아이들끼리 화살표로 표기했습니다. 각 통신하는 모듈별로 구분을 쉽게 하기 위해 화살표 색을 다르게 했습니다. 위 그림에서 보는 것처럼, 총 8개의 노드가 필요합니다. 노드 이름 역할 namenode HDFS 메타데이터 저장, data노드 관리 datanode 2개 HDFS 데이터 저장, resourcemanager 에서 .. 2024. 3. 16.
Hyper-V 우분투 해상도 변경하기 Hyper-V를 통해 설치한 우분투의 해상도가 1024x768로 나와서 엄청 불편했습니다. 아래 방법으로 변경할 수 있습니다. sudo vi /etc/default/grub # 파일 안에서 아래 해상도 부분 변경 GRUB_CMDLINE_LINUX_DEFAULT="quiet splash video=hyperv_fb:1600x900" # grub 설정 저장 sudo update-grub sudo reboot 2024. 2. 25.
kafka_exporter로 카프카 모니터링하기 카프카는 기본적으로 cli를 통해 현재 토픽이나 컨슈머 그룹의 상태를 알 수 있습니다. 다만 이를 계속해서 모니터링하기 위해 cli를 통해서 이 상태를 지속적으로 알아오는 데는 한계가 있을 수 있습니다. 그래서 카프카의 브로커, 토픽 또는 컨슈머 그룹에 대해 모니터링하기 위해 kafka_exporter 를 사용해서 grafana 로 이 데이터를 표출할 수가 있습니다. 오늘은 이를 테스트한 과정에 대해 살펴보겠습니다. 테스트 환경 가장 먼저 테스트 환경은 다음과 같습니다. 대부분은 VM 환경에 설치하였으며, 그라파나만 Docker에 설치하였습니다. 원래는 모두 도커에 설치해서 하려고 했는데 카프카같은 경우에는 제 로컬 환경에서 파이썬으로 프로듀서 / 컨슈머를 작성하고 카프카에 보내려고 했으나 뭔가 네트워크.. 2024. 2. 25.
GoLang 에서 time.now().Format() 사용 방법 Go Language에서는 time.now()에다가 Format 함수를 써서 결과를 다양하게 출력할 수 있습니다. 이중에 특히 YYYY-MM-DD HH:MM:SS 형식으로 출력하기 위해서는 다음과 같이 입력해 주어야 합니다. time.now().Format("2006-01-02 15:04:05") 첨에 다른 숫자를 넣었다가 안되길래 찾아보니까 꼭! 반드시! 이 숫자 그대로 넣어주어야 한다는거... 좀 어이가 없긴 하지만 그렇다는데 어쩌겠어요. 저러한 Format 을 간편하게 입력할 수 있도록 별도 상수도 제공합니다. 아래와 같습니다. const ( ANSIC = "Mon Jan _2 15:04:05 2006" UnixDate = "Mon Jan _2 15:04:05 MST 2006" RubyDate = .. 2024. 2. 11.
도커 데스크탑 설치하고 사용하기 도커를 쓸 줄 몰랐는데, 한번 사용하기 시작하니까 배우기도 쉽고 이렇게 쉽고 빠르게 쓸 수가 있나 싶네요? 오늘은 도커 데스크탑을 설치하고 사용하는 방법을 PostgresQL DB를 설치하는 예제를 통해 알아보도록 하겠습니다. 도커 허브 제일 먼저 해야 할 일은, 도커 허브에 가입하고 도커 데스크탑을 다운받는 일입니다. 아래 링크와 같습니다. Docker Hub Container Image Library | App Containerization Deliver your business through Docker Hub Package and publish apps and plugins as containers in Docker Hub for easy download and deployment by milli.. 2024. 2. 10.
서버와 가상화 기술 (베어메탈, VM, 도커, 쿠버네티스) 가상화란 컴퓨터가 사용되는 방식이 어떤 식으로 변화했는지를 보여줍니다. 먼저 일반적인 컴퓨터 하드웨어의 구성에서 시작해서, 이를 어떻게 쪼개서 효율적으로 쓰게 되었는지를 순차적으로 살펴보겠습니다. 서버의 하드웨어 가상화에 들어가기 전에 서버의 하드웨어들은 어떻게 구성되어있나 살펴 보면, 사실 이는 일반적인 컴퓨터가 필요한 하드웨어와 크게 다를 건 없습니다. CPU, 메모리, 디스크, 네트워크 장치 등으로 이루어집니다. 단지 여기에 외부 저장 장치 (NAS) 나, 공유 디스크 (Shared Disk) 등으로 해당 서버에 어떤 식으로 논리적으로 하드웨어를 구성해 주느냐가 차이가 생깁니다. 베어메탈 서버 위의 하드웨어들을 가지고 가장 자원을 크게 구성해줄 수 있는 게 베어메탈 서버입니다. bare-metal .. 2024. 2. 10.
gitignore 자동으로 만들기 git을 사용한다면, 로컬에서 코드를 짠 후 편집이 끝나고 변경된 내용들을 모두 인식해서 커밋하게 됩니다. 이때 오만 잡다구리한 파일들이 다 올라가면 안되겠죠? (테스트 결과라든지 임시로 사용한 파일, IDE에서 필요한 파일 등) 그래서 이 때 이 파일들은 커밋하지 말아라, 하고 지정해 주는 역할을 하는 게 .gitignore 파일입니다. 보통 git clone 한 다음에 그 clone 한 프로젝트 루트 폴더에 놓습니다. 이걸 수동으로 일일이 지정하려면 귀찮고 힘드니까, 자동으로 지정할 수 있도록 해 주는 사이트가 있습니다. 한번 따라가 볼게요! 먼저 다음 사이트를 방문합니다 (원래는 gitignore.io 라는 주소였는데 바뀌었네요) : https://www.toptal.com/developers/gi.. 2024. 2. 9.

티스토리툴바