- Published on
2026년 5월 기준 데이터 엔지니어링 스택을 끝까지 본다. "Hadoop은 죽었다"는 자극적 헤드라인의 진실(HDFS는 줄어들지만 YARN과 레이크하우스 패턴은 살아남았다), Iceberg vs Delta Lake vs Hudi 테이블 포맷 전쟁의 결말, Spark 4.0 + Photon + Spark Connect의 현재, Flink SQL과 CDC의 스트리밍 표준화, Trino 페더레이션 SQL, dbt + Iceberg 모던 ELT 스택, Airflow 3.0 / Dagster / Prefect / Mage / Kestra 오케스트레이션, ClickHouse · DuckDB · Pinot · Druid 분석 컨버전스, Snowflake · Databricks · BigQuery · Redshift 웨어하우스, 그리고 한국과 일본의 실제 운영 사례까지 한 글에서 정리한다.