Gemini Robotics 2와 로봇 파운데이션 모델 — 전신 제어가 실제로 바꾸는 것

• 들어가며 — 7월 30일, 전구를 푸는 데 92퍼센트, 끼우는 데 36퍼센트
• 비전-언어-행동 모델이란 무엇인가
• 전신 제어가 실제로 어려운 이유
• 발표된 숫자를 그대로 읽기
• 임바디먼트 일반화 — 진짜 어려운 부분
• 로보틱스에서 평가란 무엇인가
• 무엇이 체리피킹이고 무엇이 측정치인가
• 마치며 — 남은 문제는 데이터가 아니라 실패의 관측 가능성

들어가며 — 7월 30일, 전구를 푸는 데 92퍼센트, 끼우는 데 36퍼센트

2026년 7월 30일, Google DeepMind가 Gemini Robotics 2를 공개했습니다. 이전 세대가 주로 상체와 테이블 위 작업에 머물렀다면, 이번에는 휴머노이드 전체 — 걷고, 굽히고, 손을 뻗고, 물건을 다루는 동작 — 를 하나의 정책이 제어한다는 것이 핵심 주장입니다.

발표 자료에서 가장 눈여겨볼 만한 것은 데모 영상이 아니라 표입니다. Apptronik Apollo 2에 SharpaWave 다지 핸드를 붙인 구성에서 전구를 푸는 성공률은 92%인데 끼우는 성공률은 36%입니다. 같은 손, 같은 전구, 같은 소켓, 방향만 반대입니다. 쓰레기봉투 묶기 44%, 지퍼백 밀봉 40%, 쓰레받기 사용 32%.

이 비대칭이 이 분야의 현재 상태를 요약합니다. 푸는 동작은 대체로 힘을 한 방향으로 주면 되고 오차가 누적되지 않습니다. 끼우는 동작은 나사산을 맞추고, 저항을 감지하고, 헛돌면 되돌리고 다시 맞춰야 합니다. 접촉이 개입하는 순간 난도가 계단식으로 올라갑니다.

이 글은 발표된 숫자를 그대로 읽되, 무엇이 측정치이고 무엇이 영상이며 어디까지가 검증된 것인지를 분리해서 봅니다.

비전-언어-행동 모델이란 무엇인가

전통적인 로봇 소프트웨어 스택은 층으로 나뉘어 있었습니다. 인식(카메라 이미지에서 물체와 자세를 추정), 계획(목표 자세까지의 경로 생성), 제어(경로를 관절 토크로 변환). 각 층은 별도로 개발되고 별도로 튜닝되며, 층 사이 인터페이스는 사람이 설계한 표현 — 물체 6자유도 자세, 경유점 목록, 관절 궤적 — 입니다.

VLA는 이 층을 하나의 네트워크로 접습니다. 입력은 카메라 이미지들과 자연어 지시와 고유 감각(관절 각도, 힘 센서), 출력은 다음 시점의 행동 청크입니다. 중간의 명시적 표현이 사라집니다. "물뿌리개"라는 개념이 어딘가에 6자유도 자세로 존재하는 대신, 가중치 안에 분산돼 있습니다.

이 구조의 장점은 인터페이스 손실이 없다는 것입니다. 인식이 물체를 원기둥으로 근사하면서 버린 정보를 제어가 다시 필요로 하는 일이 사라집니다. 그리고 언어가 입력이므로 새 태스크를 코드가 아니라 문장으로 지정할 수 있습니다.

단점도 같은 자리에서 나옵니다. 실패했을 때 어느 층이 틀렸는지 알 수 없습니다. 물체를 못 봤는지, 잡는 자세를 잘못 골랐는지, 힘을 잘못 줬는지가 하나의 숫자(성공/실패)로만 관측됩니다. 이 관측 가능성 문제는 뒤에서 다시 다룹니다.

이번 발표는 모델을 세 개로 나눴습니다.

• Gemini Robotics 2 — VLA 본체. 비전과 언어를 모터 제어로 변환하고, 휴머노이드 전신과 양팔 로봇을 제어합니다.
• Gemini Robotics ER 2 — 임바디드 추론 모델. 상위 계획을 담당하는 "뇌" 역할로, 다단계 태스크를 계획하고 사람과 대화하며 여러 로봇의 협업을 조율합니다. MarkTechPost의 기술 정리에 따르면 Gemini 3.5 Flash 기반이고 128k 컨텍스트에 최대 64K 토큰을 출력합니다.
• Gemini Robotics On-Device 2 — 로봇 하드웨어에서 로컬로 도는 경량 VLA. Gemini Robotics 1.5와 Gemma 계열 위에 올렸습니다.

이 분할이 실무적으로 의미가 있습니다. 계획은 클라우드에서 초 단위로 돌아도 되지만 제어는 로봇 위에서 밀리초 단위로 돌아야 합니다. 네트워크가 끊겼을 때 계획은 멈춰도 되지만 제어는 멈추면 안 됩니다.

전신 제어가 실제로 어려운 이유

"이제 다리도 제어한다"는 문장이 과소평가되기 쉽습니다. 상체 조작에서 전신 제어로 넘어갈 때 문제의 성격이 바뀝니다.

베이스가 더 이상 고정되지 않습니다. 테이블 위 양팔 로봇에서 그리퍼의 위치 오차는 팔 관절 오차의 합입니다. 휴머노이드에서는 여기에 발과 바닥의 접촉, 몸통 자세, 무게 중심 이동이 더해집니다. 물뿌리개를 집으려고 팔을 뻗는 동작 자체가 무게 중심을 옮기고, 그 반작용을 다리가 흡수해야 합니다. 즉 팔의 명령이 다리의 제어 문제가 됩니다.

자유도가 늘면 데이터 요구량이 비선형으로 늘어납니다. 양팔 14자유도에서 휴머노이드 30~40자유도로 가면 탐색 공간이 폭발합니다. DeepMind가 공개한 On-Device 2 모델 카드도 이 지점을 한계로 명시합니다 — 이 모델은 "분포 밖 태스크로의 일반화와 높은 자유도의 로봇 제어에 한계가 있다"고 적혀 있고, 평가는 주로 서 있는 양팔 조작 태스크에서 이뤄졌으며 이동 플랫폼이나 전신 제어의 위험은 현 평가 범위 밖이라고 밝힙니다(모델 카드).

실패의 비용이 다릅니다. 테이블 위에서 실패하면 물건이 떨어집니다. 사람 크기의 로봇이 걷다가 실패하면 넘어집니다. 안전 여유를 크게 잡으면 성공률이 떨어지고, 줄이면 위험해집니다. 발표된 성공률을 볼 때 이 트레이드오프가 어디에 설정돼 있었는지는 공개되지 않았습니다.

발표된 숫자를 그대로 읽기

DeepMind 발표와 MarkTechPost 정리에서 확인되는 수치를 옮기면 이렇습니다.

읽는 방법을 몇 가지 붙이겠습니다.

첫째, 바닥에서 집기가 45.7%인 것이 전신 제어의 실제 상태입니다. 선반(76.3%)과 테이블(68.4%)은 몸통을 크게 굽히지 않아도 되지만, 바닥은 자세 전환과 균형 유지가 함께 요구됩니다. 세 숫자의 순서가 이 가설과 정확히 일치합니다.

둘째, 그리퍼 정밀 삽입이 89.6%인데 다지 손 전구 끼우기가 36%인 것이 손재주의 현실입니다. 평행 그리퍼는 자유도가 낮아 제어가 쉽고, 삽입은 지그 역할을 하는 구멍이 오차를 흡수해 줍니다. 다지 손은 접촉점이 많고 각 손가락의 힘 배분이 결과를 좌우합니다. 발표 자료도 다지 조작이 여전히 어렵다고 명시합니다.

셋째, 시행 횟수가 공개되지 않았습니다. 92%가 25회 중 23회인지 200회 중 184회인지에 따라 신뢰 구간이 완전히 다릅니다. 성공 판정 기준도 공개되지 않았습니다 — 전구가 켜져야 성공인지, 나사산에 물리기만 하면 성공인지. 제가 접근한 자료 범위에서는 두 정보 모두 찾지 못했습니다.

ER 2 쪽 숫자도 함께 공개됐습니다. 다섯 단계의 진행도 분류 정확도 57.4%, 특정 순간 찾기 정확도 91.3%에 평균 절대 오차 0.96초, 도구 오케스트레이션은 세 가지 제어 모드(실제 VLA, 시뮬레이션 VLA, 사람 원격 조작) 전부에서 ER 1.6을 상회. 진행도 분류가 57.4%라는 것은 "지금 태스크가 어디까지 왔는지"를 판단하는 능력이 아직 절반 남짓이라는 뜻이고, 이건 자율 복구와 직결되는 능력입니다.

임바디먼트 일반화 — 진짜 어려운 부분

로봇 파운데이션 모델이 언어 모델과 결정적으로 다른 지점이 여기입니다. 텍스트는 토큰 하나의 의미가 어디서나 같지만, 로봇의 행동 공간은 몸마다 다릅니다. 관절 개수, 링크 길이, 토크 한계, 카메라 위치, 그리퍼 종류가 전부 다르므로, 한 로봇에서 학습한 "행동"을 다른 로봇으로 그대로 옮길 수 없습니다.

On-Device 2가 주장하는 것이 정확히 이 부분입니다 — 새로운 양팔 임바디먼트에 몇 시간, 보통 200개 미만의 예시로 적응한다는 것입니다. 사후 학습 단계에서만 도입한 신규 플랫폼에서의 수치가 함께 공개됐습니다.

• SO101: 적응 전 6.7%에서 적응 후 53.3%. 이전 세대(On-Device 1)는 0.0%에서 6.7%.
• Dexmate: 적응 전 24.4%에서 적응 후 75.6%. 이전 세대는 13.3%에서 33.3%.

이 숫자를 어떻게 볼 것인가. 절대 성능(53.3%, 75.6%)은 프로덕션에 쓸 수준이 아닙니다. 하지만 비교 대상이 이전 세대이고, 같은 조건에서 6.7%가 53.3%로 올라간 것은 표본 효율의 개선으로 읽는 게 타당합니다. 즉 이건 "잘한다"는 주장이 아니라 "적은 데이터로 빨리 올라간다"는 주장입니다.

주의할 점이 하나 있습니다. 두 플랫폼 모두 양팔 로봇입니다. 모델 카드가 명시하듯 이 모델은 높은 자유도 로봇 제어에 한계가 있고 서 있는 양팔 조작 위주로 평가됐습니다. 따라서 이 적응 속도가 휴머노이드 전신으로도 이어진다는 근거는 공개된 자료에 없습니다.

멀티 로봇 협업도 같은 관점에서 봐야 합니다. Apollo 2와 Franka F3 Duo가 서로 다른 종류의 로봇인데도 공유된 의미 이해를 통해 하위 작업을 주고받는다는 시연이 있었습니다. 개념적으로 중요한 결과입니다 — 협업의 인터페이스가 하드웨어 프로토콜이 아니라 언어라면, 로봇을 섞어 쓰는 비용이 크게 떨어집니다. 다만 이건 시연이고, 성공률 수치가 따로 붙어 있지 않습니다.

로보틱스에서 평가란 무엇인가

언어 모델 쪽에서 온 사람이 로보틱스 결과를 볼 때 가장 헷갈리는 것이 평가입니다. 세 가지를 알아 두면 읽기가 쉬워집니다.

성공률은 정의가 논문마다 다릅니다. 몇 회 시행했는지, 초기 물체 배치를 매번 바꿨는지, 실패 후 재시도를 허용했는지, 사람이 중간에 개입했는지, 성공 판정을 사람이 했는지 자동으로 했는지가 전부 다릅니다. 같은 태스크 이름 아래 전혀 다른 실험이 들어 있을 수 있습니다.

미학습 태스크의 정의도 다릅니다. 학습 데이터에 없던 물체인지, 없던 배치인지, 없던 지시 문장인지, 없던 동작인지에 따라 난도가 다릅니다. 일반적으로 장면 일반화(새 물체·배경), 지시 일반화(새 문장), 행동 일반화(새 동작) 순서로 어려워지는데, 논문이 어느 축을 봤는지 밝히지 않으면 비교가 불가능합니다. On-Device 모델 카드는 이 세 축을 평가했다고 밝히지만, 축별 수치는 공개하지 않았습니다.

시뮬레이션-실물 격차가 남아 있습니다. 시뮬레이터는 강체 접촉을 근사하고, 마찰과 미끄러짐과 변형은 여전히 잘 맞지 않습니다. 그래서 접촉이 많은 태스크 — 옷 다루기, 케이블 정리, 점성 액체 붓기 — 에서 시뮬레이션 성능과 실물 성능의 차이가 가장 큽니다. 이번 발표 자료에서 sim-to-real에 대한 명시적 서술은 제가 확인한 범위에서 발견하지 못했습니다. 다만 On-Device 평가가 "시뮬레이션과 실제 로봇 벤치마크 모두"에서 이뤄졌다고만 적혀 있습니다.

발표된 성공률 하나를 신뢰 구간과 함께 읽으려면 최소한 이 정도가 함께 공개돼야 합니다. 지금 이 분야에서 이걸 전부 공개하는 발표는 드뭅니다.

task            "전구 끼우기"
embodiment      Apollo 2 + SharpaWave 핸드 + 소켓 지그 버전
n_trials        시행 횟수. 이게 없으면 92%와 36%의 차이도 해석 불가.
success_def     성공 판정 기준. "나사산 물림"인가 "점등"인가.
judged_by       사람인가 자동 판정인가. 사람이면 몇 명이고 합의는 어떻게.
init_conditions 매 시행마다 초기 배치를 무작위화했는가.
retries         실패 후 재시도를 허용했는가. 허용했다면 성공률의 정의가 달라진다.
human_in_loop   사람의 개입(리셋 제외)이 있었는가.
seen_in_train   이 태스크와 물체가 학습 데이터에 있었는가.
safety_margin   속도와 힘 제한을 어디에 뒀는가. 여유를 줄이면 성공률은 오른다.

그리고 근본적으로, 로보틱스에는 공용 벤치마크가 없습니다. 언어 모델의 여러 표준 평가처럼 모두가 같은 조건에서 돌리는 기준선이 존재하지 않고, 논문마다 태스크 세트도 카메라 배치도 로봇도 조금씩 다릅니다. 통합 벤치마크를 만들려는 시도들 — 시뮬레이션과 실물을 함께 다루는 RoboDojo, 실물에서 시뮬레이션으로 변환해 확장하려는 RobotArena 계열 — 이 2026년에 여럿 나왔지만, 저는 제목과 요약 수준에서만 확인했고 어느 것도 아직 사실상의 표준이 아닙니다. 이 파편화가 체리피킹을 만들어 내는 구조적 조건입니다.

무엇이 체리피킹이고 무엇이 측정치인가

정직하게 구분해 보겠습니다.

측정치로 볼 수 있는 것: 위 표의 성공률들, On-Device 2의 적응 전후 수치, ER 2의 진행도 분류·순간 찾기 수치. 이것들은 숫자로 제시됐고 태스크가 명시돼 있습니다. 다만 시행 횟수와 판정 기준이 없으므로 신뢰 구간을 계산할 수 없습니다.

시연으로 보아야 하는 것: 쓰레기 치우기, 물뿌리개 옮기기, 붐박스에 테이프 넣기, 전구 갈기, 쓰레기봉투 묶기 영상. Google은 이것을 "실시간 영상"의 "완전 자율" 동작이라고 밝혔습니다. Engadget은 보도에서 이 로봇들이 영상 속 모든 태스크를 사람 원격 조작, 영상 예시, 시뮬레이션으로 구체적으로 학습받았다는 점을 지적하며, 범용 기기가 아니라고 못박습니다. 같은 기사는 필자가 "이런 것들에 상당히 회의적"이라고 밝히고, AI가 틀릴 수 있으며 사람 크기의 무거운 로봇에서는 그것이 치명적일 수 있다는 점을 짚습니다.

제3자 검증을 거친 것: 없습니다. 제가 확인한 범위에서 Gemini Robotics 2의 어떤 수치도 독립적인 기관이 재현하거나 검증하지 않았습니다. 하드웨어(Apollo 2, Franka Duo)와 모델 모두 외부에서 자유롭게 접근할 수 없기 때문에 구조적으로 재현이 어렵습니다. ER 2는 Google AI Studio와 Gemini Enterprise Agent Platform 비공개 프리뷰로 제공되고, VLA와 온디바이스 모델은 초기 접근 파트너에게만 열려 있습니다.

안전 쪽에는 검증 가능한 조각이 하나 있습니다. ASIMOV-Agentic이라는 안전 벤치마크가 Hugging Face에 CC-BY-4.0으로 공개됐고, 별도의 안전 기술 보고서가 있습니다. DeepMind는 ER 2가 안전 제약 준수와 사람 근접 벤치마크에서 자사 역대 가장 안전한 로보틱스 모델이라고 밝혔습니다. 벤치마크가 공개됐다는 것은 최소한 외부에서 같은 척도로 다른 모델을 재 볼 수 있다는 뜻이고, 이건 의미 있는 차이입니다.

솔직히 말하면, 발표 자료가 36%나 32% 같은 낮은 숫자를 표에 그대로 넣은 것 자체가 이 분야에서는 드문 태도입니다. 성공률을 골라 보여 주는 것이 워낙 쉬운 영역이라서요. 그렇다고 검증이 된 것은 아니지만, 읽는 사람이 무엇이 안 되는지 알 수 있게는 해 놓았습니다.

마치며 — 남은 문제는 데이터가 아니라 실패의 관측 가능성

이 발표가 실제로 바꾸는 것은 세 가지라고 봅니다. 이동과 조작이 하나의 정책 안으로 들어왔고, 새 몸체에 적응하는 비용이 몇 시간 단위로 내려왔으며, 서로 다른 종류의 로봇이 언어를 인터페이스 삼아 협업할 수 있다는 것이 시연됐습니다. 세 가지 모두 방향이 옳습니다.

바뀌지 않은 것은 이렇습니다.

• 접촉이 개입하는 순간 성공률이 무너집니다. 전구를 푸는 것과 끼우는 것 사이의 56퍼센트포인트 차이가 그 요약입니다. 이건 데이터를 더 넣어서 풀리는 문제인지 아니면 촉각 센싱과 임피던스 제어 쪽의 문제인지가 아직 정해지지 않았습니다.
• 실패를 디버깅할 방법이 없습니다. VLA는 인식·계획·제어를 하나로 접었고, 그 대가로 실패의 원인을 층으로 분해할 수 없게 됐습니다. ER 2의 진행도 분류 정확도가 57.4%라는 것은 로봇이 스스로 "지금 잘못되고 있다"를 판단하는 능력이 아직 절반 수준이라는 뜻이고, 자율 복구는 그 위에 얹혀야 합니다.
• 평가가 파편화돼 있습니다. 공용 벤치마크가 없는 한, 발표된 성공률은 벤더 간 비교에 쓸 수 없습니다. 시행 횟수와 판정 기준을 함께 공개하는 관행이 자리 잡기 전까지는, 표의 숫자는 같은 팀의 이전 버전과 비교할 때만 의미가 있습니다.

로봇 파운데이션 모델은 지금 언어 모델이 2020년쯤 있던 자리에 가까워 보입니다. 능력의 곡선은 분명히 위를 향하는데, 그 곡선을 누구나 같은 자로 잴 방법이 아직 없습니다.