Chaos and Order

💡 왼쪽 원문을 읽으면서 오른쪽에 따라 써보세요. Tab 키로 힌트를 받을 수 있습니다.

원문 렌더가 준비되기 전까지 텍스트 가이드로 표시합니다.

들어가며

지난 몇 년간 AI의 발전은 알고리즘만의 이야기가 아니었습니다. 그 알고리즘을 감당할 수 있는 하드웨어가 함께 진화했기에 가능했습니다. 그리고 2026년 현재, AI 하드웨어 연구는 단순히 트랜지스터를 더 작게 만드는 것을 넘어, 연산을 수행하는 방식 자체를 재설계하는 단계로 들어섰습니다.

이 글은 2026년의 AI 하드웨어 연구 흐름을 분야별로 정리한 리뷰입니다. 각 흐름의 핵심 아이디어, 대표적인 연구 방향, 그것이 가지는 의의를 짚고, 동시에 아직 남은 한계와 과제, 그리고 산업 적용 전망을 함께 다룹니다.

한 가지 미리 밝혀 둡니다. 이 글은 정확한 arXiv 식별자를 일일이 인용하기보다, 분야의 흐름과 방향을 정확하게 전달하는 데 초점을 둡니다. 특정 논문을 가리킬 때도, 확실하지 않은 식별자를 지어내기보다 연구 방향과 대표 기관을 언급하는 방식을 택했습니다. 참고 링크는 회사와 기관의 공식 자료 위주로 모았습니다.

큰 그림: 왜 새로운 하드웨어가 필요한가

모든 흐름의 배경에는 공통된 문제의식이 있습니다. 바로 메모리 월(memory wall)과 데이터 이동의 에너지입니다.

핵심 문제:

연산기 속도는 빠르게 늘었지만

데이터를 메모리에서 연산기로 옮기는 대역폭과 에너지는

그 속도를 따라가지 못한다.

결과: 연산기가 데이터를 기다리며 놀고, 에너지의 상당 부분이

계산이 아니라 데이터 이동에 쓰인다.

2026년의 연구 흐름 대부분은 이 문제를 다른 각도에서 공략합니다. 어떤 흐름은 메모리와 연산을 물리적으로 합치고, 어떤 흐름은 전자 대신 빛으로 데이터를 나르며, 어떤 흐름은 데이터의 정밀도를 낮추거나 희소성을 활용해 옮길 데이터 자체를 줄입니다. 아래에서 흐름별로 살펴보겠습니다.

1. 웨이퍼스케일과 포토닉스의 결합

전통적인 칩은 웨이퍼에서 작은 조각으로 잘라낸 다이(die)를 패키징한 것입니다. 웨이퍼스케일(wafer-scale) 접근은 발상을 뒤집어, 웨이퍼 전체를 자르지 않고 하나의 거대한 칩으로 씁니다.

대표적인 예가 Cerebras의 WSE-3입니다. 약 4조 개의 트랜지스터, 90만 개에 가까운 코어, 약 44GB에 이르는 온칩 SRAM, 그리고 약 21 PB/s 수준의 온칩 대역폭을 갖춘 단일 웨이퍼 규모의 칩입니다. 칩을 여러 개로 쪼개지 않으니, 칩 사이를 오가는 통신 병목이 사라집니다.

2026년의 새로운 흐름은 여기에 포토닉스(광기술)를 결합하는 것입니다. DARPA 등이 후원하는 연구 방향에서는, 웨이퍼스케일 칩 사이 또는 칩 내부의 통신을 빛으로 처리해 대역폭과 에너지 효율을 한 단계 끌어올리려 합니다.

아이디어:

거대한 단일 칩 (웨이퍼스케일)

+ 빛으로 데이터를 나르는 포토닉 인터커넥트

→ 전자 배선의 거리/에너지 한계를 우회

의의는 분명합니다. 거대한 모델을 한 덩어리의 칩 위에서 통신 병목 없이 돌릴 수 있다면, 분산 학습의 복잡성이 크게 줄어듭니다. 한계는 제조 수율과 발열, 그리고 비용입니다. 웨이퍼 한 장을 통째로 쓰는 만큼 결함 하나의 영향이 크고, 광 소자를 실리콘 공정에 통합하는 일도 여전히 도전적입니다.

2. 포토닉 인메모리 텐서코어

빛을 단순한 통신 수단이 아니라 연산 수단으로 쓰려는 흐름도 있습니다. 광학에서는 빛이 매질을 통과하며 자연스럽게 곱셈과 덧셈에 해당하는 변환을 겪습니다. 이를 이용하면 행렬곱을 빛의 간섭과 변조로 수행할 수 있습니다.

Lightmatter 같은 회사와 여러 학계 연구가 이 방향을 탐구합니다. 핵심 아이디어는 다음과 같습니다.

전자 방식: 숫자를 전압으로 표현 → 트랜지스터로 곱-누산

광학 방식: 숫자를 빛의 진폭/위상으로 표현 → 간섭으로 곱-누산

광학 연산의 매력은 속도와 에너지입니다. 빛은 매우 빠르게 전파되고, 일단 광학 경로가 구성되면 행렬곱 같은 선형 연산을 매우 낮은 에너지로 수행할 수 있습니다. 인메모리 발상과 결합하면, 데이터를 옮기지 않고 광학 소자 안에서 연산을 끝내는 텐서코어를 상상할 수 있습니다.

다만 한계도 분명합니다. 빛을 정밀하게 제어하기 어렵고, 비선형 연산(활성화 함수 등)은 여전히 전자 방식이 필요하며, 아날로그적 특성 때문에 정밀도와 잡음 문제가 따릅니다. 그래서 현재 연구는 전 광학 칩보다, 광학과 전자를 적절히 섞는 하이브리드 방향에 무게를 둡니다.

3. Compute-in-Memory (인메모리 컴퓨팅)

메모리 월 문제를 가장 직접적으로 공략하는 흐름이 compute-in-memory(인메모리 컴퓨팅, CIM)입니다. 데이터를 메모리에서 연산기로 옮기는 대신, 메모리 셀 자체에서 연산을 수행하자는 발상입니다.

전통 방식: 메모리 → (데이터 이동) → 연산기 → 결과

CIM 방식 : 메모리 배열 안에서 곱-누산을 직접 수행 → 이동 최소화

특히 메모리 셀 배열의 물리적 특성을 이용하면, 한 열을 따라 흐르는 전류의 합이 자연스럽게 누산에 해당하는 구조를 만들 수 있습니다. 이렇게 하면 행렬곱의 대부분을 데이터 이동 없이 처리할 수 있습니다.

의의는 에너지 효율입니다. 데이터 이동이 가장 큰 에너지 소비원이므로, 그것을 없애면 효율이 극적으로 좋아질 수 있습니다. 한계는 아날로그 연산의 정밀도, 셀 간 편차, 그리고 새로운 메모리 소자(예: 저항성 메모리)의 신뢰성과 양산성입니다. 현재는 추론처럼 정밀도 요구가 상대적으로 관대한 워크로드에서 먼저 실용화가 모색되고 있습니다.

4. FP4와 저정밀 학습

데이터를 옮길 양 자체를 줄이는 또 다른 방법은 숫자의 정밀도를 낮추는 것입니다. 한때 32비트가 표준이던 딥러닝은 16비트, 8비트(FP8)를 거쳐, 이제 4비트(FP4)급 저정밀 연산이 학습에까지 적용되는 흐름으로 가고 있습니다.

정밀도 추세:

FP32 → FP16/BF16 → FP8 → FP4

비트 수가 줄수록:

- 같은 메모리에 더 많은 값

- 같은 대역폭으로 더 많은 데이터

- 같은 연산기로 더 많은 MAC

2026년 현재 NVIDIA Blackwell 세대의 2세대 Transformer Engine은 저정밀 포맷을 적극 활용하도록 설계되어 있습니다. 핵심 연구 과제는, 정밀도를 낮추면서도 학습 안정성과 정확도를 어떻게 유지하느냐입니다.

저정밀 학습의 대표적 기법들은 다음과 같습니다.

- **스케일링(scaling)**: 값의 분포를 표현 가능한 범위에 맞추어 오버플로/언더플로를 막습니다.

- **혼합 정밀도(mixed precision)**: 민감한 부분은 높은 정밀도로, 나머지는 낮은 정밀도로 처리합니다.

- **블록 단위 양자화**: 작은 블록마다 별도 스케일을 두어 표현력을 높입니다.

한계는, 정밀도를 낮출수록 수치적으로 불안정해지고, 어떤 층과 연산이 저정밀에 민감한지 세심하게 다뤄야 한다는 점입니다. 그럼에도 이 흐름은 비용 절감 효과가 워낙 커서, 가장 빠르게 실용화되는 연구 방향 중 하나입니다.

5. 희소성과 MoE 하드웨어

거대 모델이 커질수록, 매 입력마다 모든 파라미터를 다 쓰는 것은 낭비라는 인식이 강해졌습니다. 희소성(sparsity)과 MoE(Mixture of Experts)는 이 낭비를 줄이는 알고리즘적 전략이고, 하드웨어가 이를 효율적으로 지원하도록 진화하는 흐름이 있습니다.

밀집(dense): 입력마다 모든 파라미터를 계산

MoE/희소: 입력마다 일부 전문가/가중치만 활성화

→ 같은 파라미터 수로 연산량을 줄이거나

같은 연산량으로 파라미터 수를 늘림

문제는, 희소한 연산이 하드웨어 입장에서 다루기 까다롭다는 것입니다. 어떤 가중치가 활성화될지 미리 알 수 없으면 데이터 접근이 불규칙해지고, 앞서 본 systolic array처럼 규칙적 흐름을 좋아하는 하드웨어의 활용률이 떨어집니다.

따라서 연구 방향은 두 갈래입니다. 하나는 구조화된 희소성(structured sparsity)처럼 하드웨어가 다루기 쉬운 규칙적 패턴을 설계하는 것이고, 다른 하나는 불규칙한 라우팅과 메모리 접근을 효율적으로 처리하는 전용 하드웨어 경로를 만드는 것입니다. MoE가 거대 모델의 표준 구조로 자리 잡으면서, 이 하드웨어 지원의 중요성도 커지고 있습니다.

6. 광 인터커넥트와 CPO

칩 하나의 성능을 아무리 높여도, 수천 개의 칩을 묶어 거대 모델을 학습할 때는 칩 사이의 통신이 병목이 됩니다. 이 통신을 빛으로 처리하려는 흐름이 광 인터커넥트, 특히 CPO(Co-Packaged Optics)입니다.

전통: 칩 → 전기 신호 → 보드/케이블 → 광 변환 → 광케이블

CPO : 칩 패키지 안에 광 엔진을 함께 넣어

전기-광 변환을 칩 가까이로 끌어옴

→ 거리/에너지 손실 감소, 대역폭 증가

전기 신호는 거리가 멀어질수록 손실과 에너지 소모가 커집니다. 빛은 이 점에서 유리해, 광 변환을 칩 가까이로 당기면 통신 효율이 크게 좋아집니다. NVLink나 UALink 같은 인터커넥트 표준 경쟁과 맞물려, CPO는 대규모 학습 클러스터의 핵심 기술로 주목받고 있습니다.

한계는 패키징 복잡성과 신뢰성, 그리고 비용입니다. 광 소자를 칩 패키지에 통합하는 일은 제조와 발열, 정렬 측면에서 까다롭습니다. 그럼에도 클러스터 규모가 계속 커지는 한, 광 인터커넥트의 필요성은 더 커질 전망입니다.

7. 차세대 메모리

HBM이 현재 AI 가속기 메모리의 주력이지만, 그 너머를 보는 연구도 활발합니다. 메모리 월의 근본 원인이 메모리 대역폭과 용량의 한계인 만큼, 메모리 기술 자체의 혁신이 곧 AI 성능의 천장을 올리는 길입니다.

차세대 메모리 연구의 방향들을 정리하면 다음과 같습니다.

- **HBM의 세대 진화**: 2026년 현재 HBM4로의 전환이 진행되며 대역폭과 용량을 키웁니다.

- **연산 근접 메모리**: 앞서 본 인메모리 컴퓨팅과 맞닿아, 메모리에 연산 능력을 부여하는 방향.

- **새로운 메모리 소자**: 저항성 메모리, 상변화 메모리 등 비휘발성·고밀도 소자를 AI 워크로드에 적용하려는 탐구.

- **메모리 계층 재설계**: 캐시-HBM-CXL 메모리 풀처럼 계층 구조를 재편해 용량과 대역폭의 균형을 맞추려는 시도.

의의는, 연산기가 아무리 빨라도 메모리가 받쳐주지 않으면 소용없다는 점에서, 메모리 혁신이 종종 시스템 전체 성능의 진짜 병목을 푼다는 것입니다. 한계는 새로운 소자들의 양산성과 신뢰성, 그리고 기존 소프트웨어 스택과의 호환입니다.

8. 뉴로모픽 컴퓨팅

지금까지의 흐름이 기존 딥러닝 연산을 더 효율적으로 하는 데 초점을 뒀다면, 뉴로모픽(neuromorphic) 컴퓨팅은 더 근본적으로 뇌의 동작 방식을 모방합니다.

기존 방식: 클럭에 맞춰 모든 뉴런을 매번 계산

뉴로모픽 : 스파이크(spike)가 발생할 때만 연산

→ 이벤트 기반(event-driven), 대부분의 시간에 거의 쉼

뉴로모픽 칩은 스파이크 신경망(spiking neural network)을 하드웨어로 구현해, 사건이 일어날 때만 에너지를 쓰는 이벤트 기반 연산을 지향합니다. 항상 전체를 계산하는 대신, 변화가 있을 때만 반응하므로 특정 워크로드에서 극도로 낮은 전력으로 동작할 수 있습니다.

의의는 초저전력과 실시간 센서 처리 같은 틈새에서의 잠재력입니다. 한계는, 현재의 주류 딥러닝(그리고 그것을 위해 최적화된 도구 생태계)과 패러다임이 달라 곧바로 대체하기 어렵다는 점입니다. 그래서 뉴로모픽은 거대 모델 학습보다, 엣지·센서·로보틱스 같은 특화 영역에서 먼저 빛날 가능성이 큽니다.

9. 하드웨어-소프트웨어 공동설계

마지막 흐름은 특정 기술이라기보다 방법론입니다. 하드웨어와 소프트웨어(모델, 컴파일러, 라이브러리)를 따로 설계한 뒤 끼워 맞추는 대신, 처음부터 함께 설계하는 공동설계(co-design)입니다.

전통: 모델 설계 → 하드웨어가 알아서 돌림 (또는 반대)

공동설계: 모델 구조와 하드웨어 제약을 동시에 고려

예) 하드웨어가 좋아하는 행렬 모양에 맞춰 모델 차원 설계

모델의 희소성 패턴에 맞춰 하드웨어 경로 설계

이 접근이 중요해진 이유는, 앞선 모든 흐름이 결국 소프트웨어의 협력 없이는 효과를 내지 못하기 때문입니다. 저정밀 포맷은 학습 알고리즘이 받쳐줘야 하고, 희소성 하드웨어는 모델 구조가 맞물려야 하며, 인메모리 연산은 컴파일러가 매핑을 잘 짜야 합니다.

대표적인 예가 FlashAttention 계열의 연구입니다. 어텐션 연산을 하드웨어의 메모리 계층에 맞춰 재구성함으로써, 같은 수학을 훨씬 적은 데이터 이동으로 수행했습니다. 이것은 알고리즘과 하드웨어를 함께 고려한 공동설계의 좋은 사례입니다. 2026년의 연구는 점점 더 이 방향, 즉 모델과 칩과 컴파일러를 하나의 시스템으로 보는 시각으로 수렴하고 있습니다.

10. 추론 워크로드의 부상과 하드웨어 재편

2026년 하드웨어 연구를 관통하는 또 하나의 큰 변화는, 무게중심이 학습에서 추론으로 옮겨가고 있다는 점입니다. 모델을 한 번 학습시키면 그 뒤로는 수없이 많은 추론이 일어나므로, 누적 비용에서 추론이 차지하는 비중이 빠르게 커지고 있습니다.

학습과 추론은 하드웨어에 요구하는 바가 다릅니다.

학습 워크로드:

- 거대한 배치, 높은 처리량 중시

- 역전파를 위해 중간 활성값을 보관

- 높은 정밀도가 더 중요한 구간 존재

추론 워크로드:

- 낮은 지연(latency)이 중요한 경우가 많음

- 메모리에 모델 가중치를 효율적으로 상주

- 저정밀/양자화에 더 관대

이 차이 때문에 추론에 특화된 하드웨어 설계가 활발해졌습니다. Groq나 SambaNova 같은 추론 특화 칩, 클라우드의 추론 ASIC, 그리고 Google의 Ironwood 같은 추론 지향 세대가 모두 이 흐름 위에 있습니다. 연구 관점에서 흥미로운 점은, 추론의 관대한 정밀도 요구가 앞서 본 인메모리 컴퓨팅이나 저정밀 연산 같은 신기술의 첫 실용화 무대가 되어 준다는 것입니다. 위험 부담이 큰 새 기술이 정밀도에 덜 민감한 추론에서 먼저 검증되고, 이후 학습으로 확장되는 경로가 자연스럽게 형성됩니다.

11. 전력과 냉각이라는 숨은 제약

연산 성능을 이야기할 때 자주 잊히는 변수가 전력과 냉각입니다. 가속기의 성능이 올라갈수록 소비 전력과 발열도 함께 치솟고, 어느 순간부터는 칩 자체가 아니라 데이터센터의 전력 공급과 냉각 능력이 진짜 병목이 됩니다.

시스템 관점의 병목 이동:

과거: 연산기 속도가 한계

현재: 전력 공급, 냉각, 전력당 성능(perf/watt)이 핵심 제약

이 때문에 하드웨어 연구의 핵심 지표가 단순한 최대 성능에서 전력당 성능(perf/watt)으로 옮겨가고 있습니다. 2026년의 차세대 가속기들이 전력당 성능을 큰 폭으로 끌어올리는 것을 목표로 내세우는 이유입니다. 앞서 살펴본 저정밀 연산, 인메모리 컴퓨팅, 광 인터커넥트가 모두 결국 같은 목표, 즉 같은 전력으로 더 많은 유용한 연산을 하는 것을 향합니다.

냉각 기술도 함께 진화합니다. 공랭의 한계를 넘어 액침 냉각이나 직접 액냉 같은 방식이 데이터센터에 도입되며, 칩 설계와 데이터센터 인프라가 더 긴밀하게 함께 고려되는 흐름이 강해지고 있습니다. 결국 AI 하드웨어의 미래는 칩 단독이 아니라, 전력과 냉각을 포함한 시스템 전체의 공동 설계로 확장되고 있습니다.

흐름들을 한눈에

지금까지의 흐름을 표로 정리하면 다음과 같습니다.

| --- | --- | --- | --- |

산업 적용 전망

이 연구들이 모두 같은 속도로 산업에 들어오지는 않습니다. 대략적인 적용 시점을 가늠해 보면 다음과 같습니다.

- **이미 적용 중이거나 임박**: FP4급 저정밀 학습, 광 인터커넥트, HBM 세대 진화, 공동설계 방법론. 이들은 기존 생태계와 잘 맞물려 빠르게 자리 잡고 있습니다.

- **중기적으로 확산**: 인메모리 컴퓨팅과 구조화된 희소성 하드웨어. 추론처럼 관대한 워크로드에서 먼저 실용화가 모색됩니다.

- **장기적·틈새**: 전 광학 텐서코어와 뉴로모픽. 잠재력은 크지만 기존 패러다임과의 거리, 양산성 문제로 시간이 더 필요합니다.

전체적으로 보면, 2026년의 AI 하드웨어는 "기존 방식을 더 효율적으로"라는 점진적 개선과 "연산 방식 자체를 재설계"라는 근본적 탐구가 동시에 진행되는 시기입니다. 단기 성과는 전자가, 장기 잠재력은 후자가 쥐고 있습니다.

마치며

AI 하드웨어 연구의 거의 모든 흐름은, 결국 하나의 적과 싸우고 있습니다. 데이터를 옮기는 비용입니다. 빛으로 나르든, 메모리에서 바로 계산하든, 정밀도를 낮춰 옮길 양을 줄이든, 희소성으로 계산할 양을 줄이든, 모두 이 근본 문제에 대한 서로 다른 답입니다.

논문으로 보는 미래는 어느 한 기술의 압승이 아니라, 여러 접근이 워크로드와 단계에 따라 공존하고 결합하는 다층적 풍경입니다. 그리고 그 모든 흐름을 관통하는 메타 교훈은, 하드웨어와 소프트웨어를 함께 설계할 때 가장 큰 도약이 나온다는 것입니다.

새로운 칩 소식이 쏟아질 때마다 "이 기술은 데이터 이동 문제를 어느 각도에서 푸는가"를 물어보면, 화려한 수식어 뒤에 숨은 본질을 가늠할 수 있습니다. 그것이 이 빠르게 변하는 분야를 차분히 읽어 내는 가장 단단한 렌즈입니다.

참고 자료

- [Cerebras (웨이퍼스케일 엔진)](https://www.cerebras.ai/)

- [Lightmatter (포토닉 컴퓨팅)](https://lightmatter.co/)

- [NVIDIA Blackwell Architecture](https://www.nvidia.com/en-us/data-center/technologies/blackwell-architecture/)

- [Google Cloud TPU 소개](https://cloud.google.com/tpu/docs/intro-to-tpu)

- [DARPA Microsystems Technology Office](https://www.darpa.mil/about/offices/mto)

- [FlashAttention (arXiv:2205.14135)](https://arxiv.org/abs/2205.14135)

- [arXiv 검색: in-memory computing accelerators](https://arxiv.org/list/cs.AR/recent)

- [arXiv 검색: photonic neural network (cs.ET)](https://arxiv.org/list/cs.ET/recent)