Physical AI & 자율주행

Alpamayo-R1 해부: 인과 추론에서 8.75ms 궤적까지

들어가며

지난 글(왜 자율주행 AI는 ’추론’을 시작했나)에서 자율주행이 “추론 중심 VLA”라는 3세대 패러다임으로 넘어가고 있다는 이야기를 했다. 이번 글에서는 그 패러다임을 실제로 구현한 Alpamayo-R1(AR1) — NVIDIA가 CES 2026에서 발표한 자율주행 특화 Vision-Language-Action 모델 — 을 부품 단위로 뜯어본다.

핵심 아이디어는 단순하다. 기존 엔드투엔드 모델들이 안전이 걸린 희귀 상황에서 취약했던 문제를, 구조화된 인과 사슬 추론과 실시간 연속 궤적 생성을 유기적으로 결합해서 풀겠다는 것이다.

전체 파이프라인 한눈에 보기

Alpamayo-R1이 입력을 받아 궤적을 뱉기까지의 흐름은 이렇다.

  1. 다중 카메라 영상 + 관성/동역학 센서(Egomotion) + 내비게이션 정보를 입력받는다.
  2. 비전·텍스트 인코더가 이를 토큰으로 변환한다.
  3. Cosmos-Reason 백본(VLM)이 인과 추론(CoT/CoC) 토큰을 생성한다.
  4. 이 추론 결과의 KV-Cache를 조건으로 받아, Flow-Matching 액션 디코더가 6.4초짜리 연속 제어 궤적을 10Hz로 뽑아낸다.

이제 이 파이프라인을 구성하는 다섯 조각 — 백본, 데이터셋, 디코더, 정렬 방법, 검증 도구 — 을 하나씩 살펴보자.

1. 백본: Cosmos-Reason

Cosmos-Reason은 NVIDIA가 Physical AI 애플리케이션을 위해 사전학습한 대형 비전-언어 모델(VLM)이다. 단순히 이미지와 텍스트를 정렬하는 수준을 넘어, 물리적 상식과 체화된 추론 능력을 내재화하고 있다.

  • 370만 개의 시각 질의응답(VQA) 샘플로 물리적 인과관계를 사전학습 (로보틱스, 헬스케어, 스마트시티, 제조, 물류, 자율주행 등 다양한 도메인 포함)
  • 자율주행 특화 파인튜닝으로 24.7만 개의 주행 비디오 VQA 데이터셋 추가 학습
  • 주행 장면 이해 벤치마크(LingoQA, zero-shot)에서 66.2% 정확도 — GPT-4V(59.6%), Qwen2.5-VL-7B(62.2%) 등 동급·상위 파라미터의 범용 VLM을 웃도는 수치

Alpamayo-R1 안에서는 멀티카메라 비전 토큰과 텍스트 입력을 받아 인과 사슬 추론과 이산 행동 토큰을 만들어내는 두뇌 역할을 한다.

2. 인과 추론 데이터셋: Chain of Causation

모델이 아무리 좋아도 “왜 그런 판단을 했는지” 제대로 학습할 데이터가 없으면 소용없다. 기존 자유 서술형 CoT(Chain of Thought) 주행 데이터에는 세 가지 고질적인 문제가 있었다.

  • 모호한 서술: “조심해야 한다” 같은, 실제 제어와 무관한 뜬구름 잡는 표현
  • 피상적 추론: “날씨가 맑다”, “도로가 넓다” 같은 의미 없는 배경 언급
  • 인과 혼동: 아직 일어나지 않은 미래 장면 정보를 몰래 참조해서 생기는 논리적 오류

**Chain of Causation(CoC)**은 이 세 가지를 구조적으로 막는다. 원칙은 세 가지다: 실제 주행 결정과 직접 연결되는 요소만 원인으로 인정하고(결정 기반 앵커링), 판단 시점 이전 0~2초 관측 창 안의 정보만 쓰며(인과적 국소성), 결정에 직접 영향을 준 핵심 요소만 압축해서 기록한다(주석 경제성).

데이터는 2단계로 라벨링된다. 1단계에서는 의사결정 시점 이전 영상만 보고 원인 요소를 뽑고(미래 정보 누수 원천 차단), 2단계에서 실제 발생한 주행 결정을 선택해 1단계에서 뽑은 요소만으로 인과 문장을 완성한다. 예를 들면 이런 식이다.

“좌측 인접 차선에서 접근하는 차량과의 충돌을 피하기 위해 넛지(nudge)를 취소하고, 우측에 주차된 전방 차량을 위해 정지함.”

효과는 뚜렷했다. GPT-5 기반 평가에서 인간 평가와 92% 일치했고, 자유 서술형 CoT 대비 인과 관계 타당성 점수가 132.8% 향상됐다. 이 데이터셋이 Alpamayo-R1의 지도학습과 다음에 나올 강화학습의 핵심 감독 신호가 된다.

3. 실시간 궤적 생성: Flow-Matching Trajectory Decoder

추론까지는 좋다. 문제는 그 추론을 실제 핸들·가속페달 움직임으로 바꾸는 속도다. 텍스트 토큰을 하나씩 순서대로 생성해서 좌표를 뽑는 기존 방식(자기회귀 디코딩)은 222ms가 걸렸다 — 실시간 주행에는 너무 느리다.

Flow-Matching Trajectory Decoder는 다르게 접근한다. 좌표를 직접 예측하는 대신 가속도와 곡률로 구성된 제어값을 예측하고(유니사이클 동역학), 노이즈에서 목표 제어값으로 이동하는 벡터 필드를 학습해서(조건부 플로우 매칭) 단 5단계의 적분만으로 궤적을 뽑아낸다.

결과는 극적이다.

비교 항목 자기회귀 이산 토큰 디코딩 플로우 매칭 디코더
추론 지연시간 222ms (127 토큰 순차 생성) 8.75ms (5 스텝)
주행 편의성(가속 승차감) 44.05% 97.38%
AlpaSim 폐루프 점수 0.59 ± 0.17 1.27 ± 0.34
minADE6 @ 6.4s (오차) 0.6811m 0.6440m

25배 빨라지면서 정확도와 승차감까지 함께 좋아졌다 — 속도와 품질이 트레이드오프가 아니었다는 뜻이다.

4. 추론과 행동을 일치시키기: Reasoning-Action Consistency RL

지도학습(SFT)만으로는 한 가지 위험한 현상이 남는다. 모델이 텍스트로는 그럴듯하게 “정지 후 출발”이라 추론해놓고, 실제 궤적은 멈추지 않고 지나가버리는 추론-행동 불일치다. 화려한 설명과 실제 행동이 따로 노는 셈이다.

이를 잡기 위해 GRPO(Group Relative Policy Optimization) 기반의 사후 강화학습을 도입했다. 보상은 세 갈래로 설계됐다.

  • 추론 품질 보상: 대형 추론 모델을 채점관으로 써서 생성된 CoC 추론을 0~5점으로 평가
  • 추론-행동 일관성 보상: 궤적을 메타 액션(가속/감속/조향)으로 변환해, 텍스트로 말한 의도와 실제 궤적이 일치하는지 규칙 기반으로 채점
  • 저수준 물리 안전 보상: 전문가 경로와의 오차, 충돌 여부, 급격한 가속도 변화(저크)를 함께 반영

여기서 흥미로운 실험 결과가 하나 나온다. 추론 품질 보상만 단독으로 최적화하면 오히려 위험해진다. 추론 점수는 4.5점까지 올라가지만, 실제 궤적과의 일치도는 0.62에서 0.53으로 떨어지고 오차도 늘어난다 — 화려하지만 행동과 동떨어진 환각 추론이 생기는 것이다. 세 가지 보상을 모두 결합했을 때만 근접 접촉 사고율이 6.9%에서 **3.7%**로 최고 수준으로 떨어졌다. 추론 능력을 키우려면 반드시 일관성·안전 보상과 함께 묶어야 한다는 실증적 교훈이다.

5. 검증: AlpaSim

이렇게 만든 모델을 어떻게 안전하게 검증할까. AlpaSim은 NVIDIA가 만든 경량 오픈소스 자율주행 시뮬레이터로, 실제 주행 로그를 3D 가우시안 스플래팅(3DGS)으로 재구성해 차량이 원래 궤적을 벗어나도 새로운 시점에서 사실적인 카메라 영상을 실시간 합성한다. 덕분에 오픈루프 평가로는 잡을 수 없는 누적 오차·반응성 문제까지 폐루프(Closed-Loop)로 검증할 수 있다.

주요 평가 지표는 근접/접촉 위험률(Close Encounter Rate), 주행 가능 구역 이탈률(Off-road Rate), 그리고 사고 없이 달린 평균 거리(AlpaSim Score)다.

종합 성능

이 다섯 조각을 다 합친 Alpamayo-R1의 최종 벤치마크는 이렇다.

평가 지표 베이스라인 Alpamayo-R1 (0.5B / 10B)
Open-Loop minADE6 @ 6.4s 0.994m 0.868m (12% 향상)
AlpaSim 접촉사고율 17.0% 11.0% / 4.0% (최대 76%↓)
AlpaSim 주행 점수 0.38 0.50 / 0.72
온보드 추론 지연시간 29ms (추론 없음) 99ms (전체 CoC + 궤적, 실시간)

마치며

Alpamayo-R1은 하나의 큰 발명이라기보다, 잘 짜인 다섯 조각의 조합이다. 물리 상식을 아는 백본(Cosmos-Reason), 인과관계만 정확히 담은 데이터셋(CoC), 25배 빠른 궤적 생성기(Flow-Matching), 말과 행동을 일치시키는 강화학습(GRPO), 그리고 이 모든 걸 안전하게 검증하는 시뮬레이터(AlpaSim). 어느 한 조각만 있었다면 지금 수준의 결과는 안 나왔을 것이다 — 특히 “추론 보상만 단독으로 쓰면 오히려 위험해진다”는 실험 결과는, 추론 능력과 실제 안전성이 자동으로 같이 가는 게 아니라는 걸 잘 보여준다.

이 글은 개인 위키에 정리해둔 Alpamayo-R1 관련 노트들을 종합해 블로그용으로 재구성한 것입니다.

댓글