Physical AI & 자율주행

왜 자율주행 AI는 '추론'을 시작했나

들어가며

몇 년 전만 해도 자율주행 AI는 “카메라로 보고, 신경망이 바로 핸들을 꺾는” 블랙박스였다. 잘 작동할 때는 놀랍지만, 왜 그렇게 판단했는지는 아무도 설명할 수 없었다. 최근 이 흐름이 바뀌고 있다. 모델이 운전대를 꺾기 전에 “왜 이렇게 하는지”를 먼저 언어로 추론하게 만드는 쪽으로 연구가 몰리고 있는 것이다. 이걸 **추론 중심 자율주행(Reasoning-Centric Autonomous Driving)**이라 부른다.

이 글에서는 자율주행이 이 지점까지 오게 된 3세대에 걸친 진화를 정리하고, 왜 지금 NVIDIA가 이 흐름의 중심에 서 있는지를 살펴본다.

자율주행 3세대: 모듈러 → 엔드투엔드 → 추론 중심

1세대: 모듈러 시스템(Modular Architecture)

인지(Perception) → 예측(Prediction) → 계획(Planning) → 제어(Control)를 사람이 각각 설계하고 손으로 이어붙인 방식이다. 모듈별로 디버깅하기는 쉽지만, 인터페이스를 사람이 일일이 설계해야 하고 앞 단계 오차가 뒤로 누적되는(Cascading error) 구조적 한계가 있었다.

2세대: 단순 엔드투엔드 모방학습(E2E Driving)

센서 입력을 신경망에 넣으면 곧바로 주행 궤적이 나온다. 데이터만 많으면 알아서 일반화된다는 장점이 있지만, 완전한 블랙박스라 왜 그렇게 판단했는지 설명할 수 없고 자주 못 보는 희귀 상황(Long-tail)에서 취약했다.

3세대: 추론 중심 자율주행 VLA(Reasoning VLA)

인과적 언어 추론을 제어의 부가 기능이 아니라 **기능적 핵심(functional core)**으로 끌어올린 방식이다. “왜”를 먼저 추론하기 때문에 처음 보는 상황에서도 인과관계로 대응할 수 있고, 반사실적 추론(“만약 저 차가 없었다면?”)도 가능하며, 인간이 이해할 수 있는 설명이 함께 나온다. 이 세대를 대표하는 모델이 바로 NVIDIA의 Alpamayo-R1이다 (자세한 내부 구조는 다음 글에서 딥다이브한다).

VLA란 무엇인가

3세대의 핵심 아키텍처가 바로 **VLA(Vision-Language-Action)**다. 다중 카메라 영상, 관성/동역학 센서, 내비게이션과 사용자의 자연어 지시까지 통합 입력받아, 고수준의 언어적 추론과 저수준의 물리적 제어 궤적을 엔드투엔드로 함께 생성하는 체화 AI(Embodied AI) 아키텍처다.

자율주행에 VLA를 실제로 붙이려면 세 가지 난제를 풀어야 한다.

  • ① 카메라 영상이 너무 많다: 360도 시야를 보려면 6~10개의 고해상도 카메라가 필요한데, 프레임마다 토큰이 수천 개씩 쏟아지면 100ms 안에 끝나야 하는 실시간 추론이 불가능해진다. → 3D 구조를 활용한 압축 토크나이저로 최대 20배까지 토큰 수를 줄여 해결한다.
  • ② 언어 모델은 물리 제어에 서투르다: 텍스트 토큰으로 좌표를 하나씩 순서대로 뽑아내는 방식은 느리고(수백 ms), 가속도·저크 같은 물리 제약을 만족시키기 어렵다. → 학습 때는 이산 토큰으로 언어와 함께 학습하고, 실제 주행 때는 별도의 연속 궤적 생성기로 10ms 이내에 부드러운 궤적을 뽑아내는 이중 방식으로 푼다.
  • ③ 말과 행동이 따로 논다: 그럴듯하게 “정지 후 출발”이라고 추론해놓고 실제 궤적은 멈추지 않는 환각이 생긴다. → 인과관계를 촘촘하게 기록한 전용 데이터셋과, 추론과 행동의 일치도를 직접 보상으로 주는 강화학습으로 정렬한다.

이 세 가지 해법이 바로 다음 글에서 다룰 Alpamayo-R1의 핵심 구성요소들이다.

이 흐름을 주도하는 기업: NVIDIA

NVIDIA는 AI 가속기 하드웨어와 소프트웨어 플랫폼을 넘어, Physical AI·자율주행 생태계 전반을 오픈소스와 상용 솔루션으로 채워가고 있는 기업이다. 이 회사가 지금 자율주행 판에 갖고 있는 카드는 이렇다.

  • Alpamayo-R1 — CES 2026에서 공개한 자율주행 특화 VLA 파운데이션 모델 (3세대 패러다임의 대표 구현체)
  • Cosmos-Reason — 물리적 상식과 체화된 추론 능력을 갖춘 대형 비전-언어 모델(VLM)
  • AlpaSim — 3D 가우시안 스플래팅 기반의 폐루프(Closed-Loop) 자율주행 시뮬레이터
  • Cosmos-RL — 자율주행·로보틱스용 대규모 분산 강화학습 프레임워크
  • PhysicalAI-AV & NuRec — 대규모 공용 자율주행 데이터셋과 재구성 벤치마크

칩만 파는 회사가 아니라, 데이터·모델·시뮬레이터·학습 프레임워크까지 자율주행 풀스택을 갖춘 셈이다. Tesla가 차량 플릿 데이터로 자체 폐쇄 생태계를 만들었다면, NVIDIA는 이 스택을 업계 전반에 공급하는 인프라 레이어를 노리고 있다고 볼 수 있다.

앞으로의 과제

추론 중심 자율주행이 아직 다 풀린 문제는 아니다. 특히 세 가지 방향이 다음 연구 과제로 남아있다.

  1. 상황에 따라 추론 강도를 조절하기: 매 프레임마다 추론을 다 돌리면 느리다. 평상시엔 빠른 직관 제어, 위험하거나 낯선 상황에서만 깊은 인과 추론을 하는 “적응형 추론”이 필요하다.
  2. 월드 모델과의 결합: 지금 판단한 궤적이 미래에 어떤 결과를 낳을지 시뮬레이션해보는 능력(반사실적 계획)을 추가하는 것.
  3. 신경 렌더링 기반 검증의 표준화: AlpaSim 같은 3D 가우시안 스플래팅 기반 시뮬레이션으로 실제 주행 전에 폐루프 검증을 표준적으로 거치는 것.

마치며

자율주행이 “본다 → 움직인다”에서 “본다 → 생각한다 → 움직인다”로 넘어가고 있다. 이 전환이 왜 중요한지는, 처음 보는 상황에서도 사람처럼 이유를 대며 대응할 수 있느냐의 문제이기 때문이다. 다음 글에서는 이 패러다임을 실제로 구현한 NVIDIA Alpamayo-R1을 인과 추론 데이터셋부터 8.75ms 만에 궤적을 뽑아내는 구조까지 하나씩 뜯어본다.

이 글은 개인 위키에 정리해둔 자율주행 VLA 관련 노트들을 종합해 블로그용으로 재구성한 것입니다.

댓글