하둡 생태계 실전 가이드: HDFS·YARN·MapReduce 운영 기준

<!-- hdfs-site.xml -->
<property>
  <name>dfs.blocksize</name>
  <value>268435456</value> <!-- 256MB -->
  <description>대용량 ETL 파일 기준 256MB 권장. 소형 파일이 많으면 128MB 유지.</description>
</property>

# 클러스터 전체 복제 팩터 확인
hdfs dfsadmin -report | grep "Default Replication"

# 특정 디렉토리의 복제 팩터 변경 (콜드 데이터 아카이빙 시)
hdfs dfs -setrep -w 2 /data/archive/2024/

# 복제 부족 블록 확인
hdfs fsck / -files -blocks -replicaDetails | grep "Under-replicated"

<!-- hdfs-site.xml: NameNode HA 설정 -->
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>namenode1.example.com:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>namenode2.example.com:8020</value>
</property>
<property>
  <name>dfs.namenode.handler.count</name>
  <value>128</value>
  <description>클라이언트 RPC 요청 처리 스레드 수. 노드 100대 이상이면 128~256 권장.</description>
</property>

# NameNode 상태 확인
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2

# NameNode 힙 사용량 확인
jstat -gcutil $(jps | grep NameNode | awk '{print $1}') 5000

# EditLog 크기 확인 (트랜잭션 로그가 과도하게 쌓이면 문제)
hdfs dfsadmin -fetchImage /tmp/fsimage_check
ls -lh /tmp/fsimage_check

# 세이프모드 상태 확인
hdfs dfsadmin -safemode get

# 세이프모드 강제 해제 (주의: 블록 무결성 확인 후에만 실행)
hdfs dfsadmin -safemode leave

# 세이프모드 진입 조건 확인
hdfs dfsadmin -report | grep -E "Safe mode|Missing blocks"

<!-- hdfs-site.xml: 세이프모드 임계값 조정 -->
<property>
  <name>dfs.namenode.safemode.threshold-pct</name>
  <value>0.999</value>
  <description>전체 블록 중 99.9%가 리포트되면 세이프모드 해제</description>
</property>
<property>
  <name>dfs.namenode.safemode.extension</name>
  <value>30000</value>
  <description>세이프모드 해제 후 추가 대기 시간 (30초)</description>
</property>

# Balancer 실행 (기본 임계값 10%)
hdfs balancer -threshold 5

# 대역폭 제한 설정 (운영 시간에는 제한 필요)
hdfs dfsadmin -setBalancerBandwidth 52428800  # 50MB/s

# Balancer 백그라운드 실행 (cron 등록 권장)
nohup hdfs balancer -threshold 5 -idleiterations 5 > /var/log/hadoop/balancer.log 2>&1 &

# 네임 쿼터 설정 (파일/디렉토리 수 제한)
hdfs dfsadmin -setQuota 1000000 /data/team-a/

# 스페이스 쿼터 설정 (용량 제한, 복제 팩터 포함)
hdfs dfsadmin -setSpaceQuota 10T /data/team-a/

# 쿼터 현황 확인
hdfs dfs -count -q -h /data/team-a/
# 출력: QUOTA  REM_QUOTA  SPACE_QUOTA  REM_SPACE_QUOTA  DIR_COUNT  FILE_COUNT  CONTENT_SIZE  PATHNAME

# 쿼터 해제
hdfs dfsadmin -clrSpaceQuota /data/team-a/

<!-- core-site.xml: 압축 코덱 등록 -->
<property>
  <name>io.compression.codecs</name>
  <value>
    org.apache.hadoop.io.compress.GzipCodec,
    org.apache.hadoop.io.compress.SnappyCodec,
    org.apache.hadoop.io.compress.ZStandardCodec,
    org.apache.hadoop.io.compress.Lz4Codec
  </value>
</property>

<!-- mapred-site.xml: MapReduce 중간 출력 압축 -->
<property>
  <name>mapreduce.map.output.compress</name>
  <value>true</value>
</property>
<property>
  <name>mapreduce.map.output.compress.codec</name>
  <value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

# 사용 가능한 EC 정책 확인
hdfs ec -listPolicies

# RS-6-3 정책 활성화 (6 데이터 블록 + 3 패리티 블록)
hdfs ec -enablePolicy -policy RS-6-3-1024k

# 디렉토리에 EC 정책 적용
hdfs ec -setPolicy -path /data/archive -policy RS-6-3-1024k

# EC 정책 확인
hdfs ec -getPolicy -path /data/archive

# 스토리지 정책 확인
hdfs storagepolicies -listPolicies

# 핫 데이터 → SSD
hdfs storagepolicies -setStoragePolicy -path /data/hot -policy HOT

# 웜 데이터 → 1 SSD + N HDD
hdfs storagepolicies -setStoragePolicy -path /data/warm -policy WARM

# 콜드 데이터 → 아카이브
hdfs storagepolicies -setStoragePolicy -path /data/cold -policy COLD

# 정책에 따라 데이터 이동 실행
hdfs mover -p /data/

<!-- hdfs-site.xml: DataNode 스토리지 타입 지정 -->
<property>
  <name>dfs.datanode.data.dir</name>
  <value>[SSD]/ssd/hdfs/data,[DISK]/hdd1/hdfs/data,[DISK]/hdd2/hdfs/data,[ARCHIVE]/archive/hdfs/data</value>
</property>

#!/bin/bash
# data_lifecycle.sh - 데이터 수명주기 자동화 스크립트

DATE=$(date +%Y-%m-%d)
LOG="/var/log/hadoop/lifecycle_${DATE}.log"

echo "[${DATE}] 데이터 수명주기 관리 시작" >> ${LOG}

# 1. 90일 이상 된 임시 데이터 삭제
echo "=== 임시 데이터 정리 ===" >> ${LOG}
hdfs dfs -find /data/tmp -name "*" -atime +90 -print >> ${LOG}
hdfs dfs -rm -r -skipTrash $(hdfs dfs -find /data/tmp -name "*" -atime +90) 2>> ${LOG}

# 2. 30일 이상 된 처리 데이터 → 복제 팩터 2로 변경
echo "=== 복제 팩터 조정 ===" >> ${LOG}
for dir in $(hdfs dfs -ls /data/processed/ | awk '{print $8}' | tail -n +2); do
    mod_date=$(hdfs dfs -stat "%Y" ${dir})
    age_days=$(( ($(date +%s) - $(date -d "${mod_date}" +%s)) / 86400 ))
    if [ ${age_days} -gt 30 ]; then
        hdfs dfs -setrep 2 ${dir} >> ${LOG} 2>&1
    fi
done

# 3. 180일 이상 된 데이터 → Erasure Coding 디렉토리로 이동
echo "=== 아카이브 이동 ===" >> ${LOG}
hadoop distcp -skipcrccheck /data/processed/old/ /data/archive/ >> ${LOG} 2>&1

# 4. 용량 리포트
echo "=== 용량 현황 ===" >> ${LOG}
hdfs dfs -du -s -h /data/* >> ${LOG}

echo "[${DATE}] 데이터 수명주기 관리 완료" >> ${LOG}

<!-- capacity-scheduler.xml -->
<configuration>

  <!-- 루트 큐 하위 구조 -->
  <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>production,development,system</value>
  </property>

  <!-- production 큐: 전체 리소스의 60% -->
  <property>
    <name>yarn.scheduler.capacity.root.production.capacity</name>
    <value>60</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.production.maximum-capacity</name>
    <value>80</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.production.queues</name>
    <value>etl,realtime</value>
  </property>

  <!-- production > etl 큐 -->
  <property>
    <name>yarn.scheduler.capacity.root.production.etl.capacity</name>
    <value>70</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.production.etl.maximum-capacity</name>
    <value>90</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.production.etl.user-limit-factor</name>
    <value>2</value>
  </property>

  <!-- production > realtime 큐 -->
  <property>
    <name>yarn.scheduler.capacity.root.production.realtime.capacity</name>
    <value>30</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.production.realtime.maximum-capacity</name>
    <value>50</value>
  </property>

  <!-- development 큐: 전체 리소스의 30% -->
  <property>
    <name>yarn.scheduler.capacity.root.development.capacity</name>
    <value>30</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.development.maximum-capacity</name>
    <value>50</value>
  </property>

  <!-- system 큐: 전체 리소스의 10% (모니터링, 유지보수) -->
  <property>
    <name>yarn.scheduler.capacity.root.system.capacity</name>
    <value>10</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.system.maximum-capacity</name>
    <value>20</value>
  </property>

</configuration>

root (100%)
├── production (60%, max 80%)
│   ├── etl (70% of production, max 90%)
│   └── realtime (30% of production, max 50%)
├── development (30%, max 50%)
└── system (10%, max 20%)

<!-- yarn-site.xml -->
<property>
  <name>yarn.resourcemanager.scheduler.monitor.enable</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.monitor.policies</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.monitor.capacity.ProportionalCapacityPreemptionPolicy</value>
</property>

<!-- 프리엠션 대기 시간: 15초 후 시작 -->
<property>
  <name>yarn.resourcemanager.monitor.capacity.preemption.monitoring_interval</name>
  <value>3000</value>
</property>
<property>
  <name>yarn.resourcemanager.monitor.capacity.preemption.max_wait_before_kill</name>
  <value>15000</value>
</property>

<!-- 한 번에 프리엠션할 수 있는 최대 비율 -->
<property>
  <name>yarn.resourcemanager.monitor.capacity.preemption.total_preemption_per_round</name>
  <value>0.1</value>
</property>

<!-- yarn-site.xml: NodeManager 리소스 설정 -->
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>65536</value> <!-- 64GB (전체 메모리의 80% 정도) -->
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>24</value> <!-- 물리 코어 수의 1.5~2배 -->
</property>

<!-- 컨테이너 메모리 범위 -->
<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>1024</value>
</property>
<property>
  <name>yarn.scheduler.maximum-allocation-mb</name>
  <value>32768</value>
</property>

<!-- 컨테이너 vcore 범위 -->
<property>
  <name>yarn.scheduler.minimum-allocation-vcores</name>
  <value>1</value>
</property>
<property>
  <name>yarn.scheduler.maximum-allocation-vcores</name>
  <value>12</value>
</property>

# YARN 큐 상태 확인
yarn queue -status production

# 실행 중인 애플리케이션 확인
yarn application -list -appStates RUNNING

# 큐별 리소스 사용량 확인
yarn queue -status production.etl

# YARN 스케줄러 설정 리로드 (재시작 없이)
yarn rmadmin -refreshQueues

<!-- mapred-site.xml -->

<!-- 매퍼 메모리: 기본 1GB이지만, 대용량 데이터에서는 2~4GB 권장 -->
<property>
  <name>mapreduce.map.memory.mb</name>
  <value>2048</value>
</property>
<property>
  <name>mapreduce.map.java.opts</name>
  <value>-Xmx1638m</value> <!-- memory.mb의 80% -->
</property>

<!-- 리듀서 메모리: 매퍼보다 크게 설정 (집계 연산이 많으므로) -->
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>4096</value>
</property>
<property>
  <name>mapreduce.reduce.java.opts</name>
  <value>-Xmx3276m</value> <!-- memory.mb의 80% -->
</property>

<!-- 리듀서 수 명시 (데이터 크기에 따라 조정) -->
<property>
  <name>mapreduce.job.reduces</name>
  <value>100</value>
</property>

매퍼 수 ≈ 입력 데이터 크기 / 블록 크기
  예: 1TB 입력, 256MB 블록 → 약 4,000개 매퍼

리듀서 수 ≈ 0.95 × (클러스터 내 총 reduce 슬롯 수)
  또는 실측 기반으로 리듀서 하나당 처리량이 256MB~1GB가 되도록 조정

<!-- mapred-site.xml: 맵 측 정렬/스필 설정 -->
<property>
  <name>mapreduce.task.io.sort.mb</name>
  <value>512</value>
  <description>정렬 버퍼 크기. 기본 100MB → 512MB로 증가하면 스필 횟수 감소</description>
</property>
<property>
  <name>mapreduce.task.io.sort.factor</name>
  <value>100</value>
  <description>동시 머지 가능한 스트림 수. 기본 10 → 100으로 증가</description>
</property>
<property>
  <name>mapreduce.map.sort.spill.percent</name>
  <value>0.80</value>
  <description>정렬 버퍼가 80% 차면 스필 시작</description>
</property>

<!-- 리듀스 측 셔플 설정 -->
<property>
  <name>mapreduce.reduce.shuffle.parallelcopies</name>
  <value>20</value>
  <description>리듀서가 매퍼 출력을 가져오는 병렬 스레드 수</description>
</property>
<property>
  <name>mapreduce.reduce.shuffle.input.buffer.percent</name>
  <value>0.70</value>
  <description>셔플 입력에 할당할 힙 비율</description>
</property>
<property>
  <name>mapreduce.reduce.shuffle.merge.percent</name>
  <value>0.66</value>
  <description>인메모리 머지 시작 임계값</description>
</property>

# 잡의 카운터에서 리듀서별 입력 레코드 수 편차 확인
yarn logs -applicationId application_1234567890_0001 | grep "Reduce input records"

# 잡 히스토리 서버에서 태스크별 실행 시간 확인
mapred job -history /path/to/job_history_file

// 매퍼에서 키에 솔트 추가
int salt = random.nextInt(10);
outputKey.set(salt + "_" + originalKey);

// 첫 번째 MR: 솔트 키로 부분 집계
// 두 번째 MR: 솔트 제거 후 최종 집계

job.setCombinerClass(MyCombiner.class);

public class SkewAwarePartitioner extends Partitioner<Text, IntWritable> {
    @Override
    public int getPartition(Text key, IntWritable value, int numPartitions) {
        String k = key.toString();
        if (k.equals("HOT_KEY")) {
            // 핫 키는 여러 리듀서에 분산
            return (k.hashCode() + random.nextInt(10)) % numPartitions;
        }
        return (k.hashCode() & Integer.MAX_VALUE) % numPartitions;
    }
}

<!-- mapred-site.xml -->
<property>
  <name>mapreduce.map.speculative</name>
  <value>true</value>
</property>
<property>
  <name>mapreduce.reduce.speculative</name>
  <value>false</value>
  <description>리듀서는 데이터를 많이 소비하므로 투기적 실행 비활성화 권장</description>
</property>

<!-- mapred-site.xml -->
<property>
  <name>mapreduce.job.jvm.numtasks</name>
  <value>10</value>
  <description>하나의 JVM에서 최대 10개 태스크 실행. -1이면 무제한.</description>
</property>

# NameNode JMX 메트릭 조회
curl -s http://namenode:9870/jmx | python3 -m json.tool | grep -A5 "CapacityUsed"

# ResourceManager JMX 메트릭 조회
curl -s http://resourcemanager:8088/jmx | python3 -m json.tool | grep -A5 "AllocatedMB"

# DataNode JMX 메트릭 조회
curl -s http://datanode:9864/jmx?qry=Hadoop:service=DataNode,name=FSDatasetState

# prometheus.yml - 하둡 JMX Exporter 설정
scrape_configs:
  - job_name: 'hadoop-namenode'
    scrape_interval: 30s
    static_configs:
      - targets: ['namenode1:7001', 'namenode2:7001']
        labels:
          cluster: 'production'
          component: 'namenode'

  - job_name: 'hadoop-datanode'
    scrape_interval: 30s
    static_configs:
      - targets: ['datanode1:7002', 'datanode2:7002', 'datanode3:7002']
        labels:
          cluster: 'production'
          component: 'datanode'

  - job_name: 'hadoop-resourcemanager'
    scrape_interval: 30s
    static_configs:
      - targets: ['resourcemanager:7003']
        labels:
          cluster: 'production'
          component: 'resourcemanager'

  - job_name: 'hadoop-nodemanager'
    scrape_interval: 30s
    static_configs:
      - targets: ['datanode1:7004', 'datanode2:7004', 'datanode3:7004']
        labels:
          cluster: 'production'
          component: 'nodemanager'

# hadoop-env.sh
export HDFS_NAMENODE_OPTS="$HDFS_NAMENODE_OPTS -javaagent:/opt/jmx_exporter/jmx_prometheus_javaagent.jar=7001:/opt/jmx_exporter/namenode.yml"
export HDFS_DATANODE_OPTS="$HDFS_DATANODE_OPTS -javaagent:/opt/jmx_exporter/jmx_prometheus_javaagent.jar=7002:/opt/jmx_exporter/datanode.yml"
export YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS -javaagent:/opt/jmx_exporter/jmx_prometheus_javaagent.jar=7003:/opt/jmx_exporter/resourcemanager.yml"
export YARN_NODEMANAGER_OPTS="$YARN_NODEMANAGER_OPTS -javaagent:/opt/jmx_exporter/jmx_prometheus_javaagent.jar=7004:/opt/jmx_exporter/nodemanager.yml"

# Grafana Alert Rules (Alerting YAML)
groups:
  - name: hadoop_alerts
    rules:
      - alert: HDFSCapacityCritical
        expr: hadoop_namenode_capacity_used_gb / hadoop_namenode_capacity_total_gb > 0.9
        for: 10m
        labels:
          severity: critical
        annotations:
          summary: 'HDFS 용량 90% 초과'
          description: 'HDFS 사용률이 {{ $value | humanizePercentage }}입니다. 즉시 데이터 정리 또는 노드 추가 필요.'

      - alert: HDFSMissingBlocks
        expr: hadoop_namenode_missing_blocks > 0
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: 'HDFS 누락 블록 발생'
          description: '{{ $value }}개의 블록이 누락되었습니다.'

      - alert: YARNUnhealthyNodes
        expr: hadoop_resourcemanager_unhealthy_nodes > 0
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: 'YARN Unhealthy 노드 발생'
          description: '{{ $value }}개의 노드가 unhealthy 상태입니다.'

      - alert: YARNMemoryPressure
        expr: hadoop_resourcemanager_allocated_mb / hadoop_resourcemanager_available_mb > 0.95
        for: 15m
        labels:
          severity: warning
        annotations:
          summary: 'YARN 메모리 리소스 부족'
          description: '클러스터 메모리 사용률이 95%를 초과했습니다.'

# 1단계: Dead DataNode 확인
hdfs dfsadmin -report | grep -A3 "Dead datanodes"

# 2단계: 해당 DataNode 로그 확인
tail -500 /var/log/hadoop/hdfs/hadoop-hdfs-datanode-*.log | grep -E "ERROR|WARN|FATAL"

# 3단계: 디스크 상태 확인
df -h  # 디스크 용량
smartctl -a /dev/sda  # 디스크 건강 상태
dmesg | grep -i "error\|fail\|i/o"  # 커널 로그에서 디스크 오류 확인

# 4단계: DataNode 재시작 또는 제거
# 재시작 가능한 경우:
hdfs --daemon start datanode

# 제거해야 하는 경우 (Decommission):
# 1) dfs.hosts.exclude에 노드 추가
# 2) 설정 리프레시
hdfs dfsadmin -refreshNodes
# 3) 데이터 마이그레이션 진행 상황 모니터링
hdfs dfsadmin -report | grep "Decommission Status"

<!-- hdfs-site.xml -->
<property>
  <name>dfs.hosts.exclude</name>
  <value>/etc/hadoop/conf/dfs.exclude</value>
</property>

# /etc/hadoop/conf/dfs.exclude
datanode-bad-01.example.com
datanode-bad-02.example.com

# NameNode 상태 확인
hdfs haadmin -getAllServiceState
# 출력 예:
# nn1    active
# nn2    standby

# 수동 Failover (긴급 시)
hdfs haadmin -failover nn1 nn2

# ZKFC 프로세스 확인 (자동 Failover의 핵심)
jps | grep DFSZKFailoverController

# ZooKeeper 세션 상태 확인
echo "stat" | nc zookeeper1 2181

# Failover가 안 될 때: ZKFC 재시작
hdfs --daemon stop zkfc
hdfs --daemon start zkfc

<!-- hdfs-site.xml -->
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>

<!-- core-site.xml -->
<property>
  <name>ha.zookeeper.quorum</name>
  <value>zk1.example.com:2181,zk2.example.com:2181,zk3.example.com:2181</value>
</property>

<!-- hdfs-site.xml: 디스크 장애 허용 설정 -->
<property>
  <name>dfs.datanode.failed.volumes.tolerated</name>
  <value>2</value>
  <description>최대 2개 볼륨 장애까지 DataNode 유지. 전체 볼륨 수의 1/3 이하 권장.</description>
</property>

# 디스크 교체 절차
# 1. 장애 디스크 확인
hdfs dfsadmin -getDatanodeInfo datanode01:9866

# 2. 해당 볼륨을 dfs.datanode.data.dir에서 제거
# 3. DataNode 재시작 (Hadoop 3.x에서는 리컨피그 가능)
hdfs dfsadmin -reconfig datanode datanode01:9866 start

# 4. 리컨피그 상태 확인
hdfs dfsadmin -reconfig datanode datanode01:9866 status

# 5. 새 디스크 마운트 후 data.dir에 추가, 다시 리컨피그

# RM HA 상태 확인
yarn rmadmin -getAllServiceState

# RM 수동 전환
yarn rmadmin -transitionToActive rm2

# NodeManager가 RM에 연결 못하는 경우
# NM 로그 확인
tail -200 /var/log/hadoop/yarn/hadoop-yarn-nodemanager-*.log | grep "ERROR"

# NM 재시작
yarn --daemon stop nodemanager
yarn --daemon start nodemanager

#!/bin/bash
# daily_health_check.sh

echo "========== HDFS 일간 점검 =========="
# HDFS 상태 요약
hdfs dfsadmin -report | head -20

# 누락/복제부족 블록 확인
hdfs fsck / -list-corruptfileblocks

# NameNode 세이프모드 확인
hdfs dfsadmin -safemode get

echo "========== YARN 일간 점검 =========="
# YARN 노드 상태
yarn node -list -all | head -20

# 실패한 애플리케이션 확인 (최근 24시간)
yarn application -list -appStates FAILED

# 큐 사용 현황
yarn queue -status root

echo "========== 시스템 점검 =========="
# 디스크 사용량
df -h | grep -E "/data|/hdfs"

# 메모리/CPU
free -g
uptime

현재 클러스터 상태:
- 총 DataNode 수: N
- 노드당 디스크: 12 × 4TB HDD = 48TB
- 총 원시 용량: N × 48TB
- HDFS 사용 가능 용량 (복제 팩터 3 기준): N × 48TB / 3 = N × 16TB
- 현재 HDFS 사용량: X TB
- 사용률: X / (N × 16) × 100 = Y%

월별 증가량: Z TB/month

노드 추가 시점 계산:
- 안전 임계값: 80%
- 여유 용량: (N × 16 × 0.8) - X = W TB
- 현재 증가 속도로 W / Z = M개월 후 80% 도달
- 노드 주문 리드타임 고려 → M - 2개월 전에 주문 필요