분류 전체보기38 Tez 실행 시 NoSuchMethodError 해결하기 도커로 apache/hive 이미지를 이용해서 hive 를 올리고 bde2020/hadoop 이미지를 이용해 3.3.6 버전의 hadoop을 깔고서 tez job 을 실행했는데 자꾸 아래 에러가 났습니다. ERROR : Failed java.lang.NoSuchMethodError: org.apache.hadoop.fs.FsTracer.get(Lorg/apache/hadoop/conf/Configuration;)Lorg/apache/htrace/core/Tracer; at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:323) ~[hadoop-hdfs-client-3.3.1.jar:?] at org.apache.hadoop.hdfs.DFSClient.(DFSCli.. 2024. 3. 16. 도커로 하둡 클러스터 구축 및 하이브 연동하기 정말로 많은 삽질이 있었습니다. 하.... 그래도 덕분에 하둡 클러스터의 구조와 하이브 간의 소통방식을 어느 정도 이해한 것 같아요. 하둡 클러스터를 구축하고, 하이브가 이것과 통신하게 하고, 여기에 웹 UI인 Hue 를 설치하는 과정까지 한번 진행해 보겠습니다. 하둡 클러스터와 하이브 구조 먼저 결과적으로 구축한 하둡 클러스터와 하이브의 구조를 살펴보면 아래와 같습니다. 서로 통신하는 아이들끼리 화살표로 표기했습니다. 각 통신하는 모듈별로 구분을 쉽게 하기 위해 화살표 색을 다르게 했습니다. 위 그림에서 보는 것처럼, 총 8개의 노드가 필요합니다. 노드 이름 역할 namenode HDFS 메타데이터 저장, data노드 관리 datanode 2개 HDFS 데이터 저장, resourcemanager 에서 .. 2024. 3. 16. Hyper-V 우분투 해상도 변경하기 Hyper-V를 통해 설치한 우분투의 해상도가 1024x768로 나와서 엄청 불편했습니다. 아래 방법으로 변경할 수 있습니다. sudo vi /etc/default/grub # 파일 안에서 아래 해상도 부분 변경 GRUB_CMDLINE_LINUX_DEFAULT="quiet splash video=hyperv_fb:1600x900" # grub 설정 저장 sudo update-grub sudo reboot 2024. 2. 25. kafka_exporter로 카프카 모니터링하기 카프카는 기본적으로 cli를 통해 현재 토픽이나 컨슈머 그룹의 상태를 알 수 있습니다. 다만 이를 계속해서 모니터링하기 위해 cli를 통해서 이 상태를 지속적으로 알아오는 데는 한계가 있을 수 있습니다. 그래서 카프카의 브로커, 토픽 또는 컨슈머 그룹에 대해 모니터링하기 위해 kafka_exporter 를 사용해서 grafana 로 이 데이터를 표출할 수가 있습니다. 오늘은 이를 테스트한 과정에 대해 살펴보겠습니다. 테스트 환경 가장 먼저 테스트 환경은 다음과 같습니다. 대부분은 VM 환경에 설치하였으며, 그라파나만 Docker에 설치하였습니다. 원래는 모두 도커에 설치해서 하려고 했는데 카프카같은 경우에는 제 로컬 환경에서 파이썬으로 프로듀서 / 컨슈머를 작성하고 카프카에 보내려고 했으나 뭔가 네트워크.. 2024. 2. 25. 이전 1 2 3 4 ··· 10 다음
