구글의 자율주행차 부문인 웨이모(Waymo)는 자율주행 기술의 안전성을 높이기 위한 새로운 시뮬레이션 시스템 ‘웨이모 월드모델’을 공개했다.
웨이모의 자율주행 시스템 ‘웨이모 드라이버’는 지금까지 완전 자율주행 방식으로 약 2억 마일(약 3억2,000만km)을 주행했다. 그 이면에서는 가상 환경에서 수십억 마일에 이르는 주행을 반복하며, 실제 도로에 나서기 전에 복잡한 상황을 선행 학습해왔다.
이번에 공개된 월드모델은 대규모이면서도 초현실적인 자율주행 시뮬레이션에서 새로운 기준을 제시하는 플랫폼이다. 구글 딥마인드가 개발한 최첨단 범용 월드 모델 ‘지니 3’를 기반으로 하되, 자율주행 도메인에 특화되도록 재설계한 것이다.
월드모델의 가장 큰 특징은 지니 3가 방대한 양의 다양한 동영상 데이터에서 얻은 폭넓은 세계 지식을 활용한다는 점이다. 덕분에 토네이도, 코끼리와의 조우처럼 실제 주행으로는 사실상 데이터를 모으기 어려운 극도로 희귀한 상황까지도 시뮬레이션할 수 있게 됐다.
그동안 자율주행 업계의 시뮬레이션 모델은 수집한 주행 데이터만으로 학습해 경험의 폭이 제한적일 수밖에 없었다. 반면 월드모델은 2D 영상에서 얻은 지식을 웨이모 독자 하드웨어에 맞는 3D 라이다 출력으로 변환하는 전문적인 후처리 과정을 거친다.
카메라는 시각적 디테일을 풍부하게 담고, 라이다 센서는 정확한 깊이 정보를 제공해 서로를 보완한다. 월드모델은 일상적인 주행부터 매우 드문 롱테일(long-tail) 시나리오에 이르기까지 거의 모든 장면을 복수의 센서 모달리티로 생성해 낸다.
월드모델은 눈으로 뒤덮인 골든게이트브리지를 달리는 장면, 토네이도와의 조우, 가구가 떠다니는 홍수로 잠긴 주택가, 열대 도시가 눈에 뒤덮인 풍경, 거센 화재 현장에서 탈출하는 장면 등 극단적인 기상 조건과 자연재해 상황을 폭넓게 재현한다.
무모한 운전자가 도로 밖으로 질주하는 상황, 앞차가 나뭇가지를 그대로 들이받는 장면, 가구를 불안정하게 적재한 차량 뒤를 따라가는 경우, 잘못된 방향으로 멈춰 서 도로를 가로막은 고장 트럭 등 안전과 직결되는 희귀 이벤트도 현실감 있게 재구성한다.
또한 온순한 코끼리, 텍사스 롱혼 소, 사자, 티라노사우루스 복장을 한 보행자, 자동차만 한 크기의 거대한 텀블위드(tumbleweed)와 마주치는 등 현실에서는 거의 보기 힘든 물체와의 조우 시나리오도 만들어 낼 수 있다.
월드모델은 운전 조작 제어, 장면 구성 제어, 언어 제어라는 세 가지 핵심 메커니즘을 통해 강력한 시뮬레이션 제어 능력을 제공한다.
운전 조작 제어 기능을 활용하면 특정 운전 입력에 민감하게 반응하는 시뮬레이터를 구현할 수 있다. 이를 통해 웨이모 드라이버가 어떤 상황에서 양보 대신 보다 적극적이면서도 안전한 선택을 했더라면 어땠을지, 이런 ‘만약의’ 반사실적 상황을 정밀하게 시뮬레이션할 수 있다.
장면 구성 제어 기능은 도로 구조, 신호 상태, 다른 도로 이용자의 행동을 자유롭게 설정할 수 있도록 해준다. 이를 통해 다른 도로 이용자를 선택적으로 배치하거나 도로 구조를 맞춤 변경해, 특정 목적에 맞는 독자적인 시나리오를 설계할 수 있다.
언어 제어 기능은 가장 유연한 도구다. 시간대와 기상 조건을 바꾸는 것은 물론, 앞서 언급한 롱테일 시나리오처럼 완전히 합성된 장면도 생성할 수 있다. 새벽, 아침, 정오, 오후, 저녁, 밤과 같은 시간대를 바꾸거나 흐림·안개·비·눈·맑음 등 날씨를 텍스트 프롬프트만으로 지정해 반영할 수 있다.
월드모델은 스마트폰이나 차량 블랙박스로 촬영한 일반 카메라 영상을 멀티모달 시뮬레이션으로 변환한다. 예를 들어 노르웨이, 미국 유타주의 아치스(Arches) 국립공원, 캘리포니아주의 데스밸리(Death Valley)에서 촬영된 영상을, 웨이모 드라이버가 그 장면을 어떻게 인식하고 대응할지에 대한 시뮬레이션으로 바꿀 수 있다. 실제 영상에서 출발하는 만큼 현실감과 사실성을 최대 수준까지 끌어올릴 수 있다.
시뮬레이션이 길어질수록 연산 부담이 커지고, 일정한 품질을 유지하기도 점점 어려워진다. 웨이모는 월드모델의 보다 효율적인 변형 버전을 도입해 계산량을 크게 줄이면서도 높은 수준의 현실감을 유지해, 대규모 시뮬레이션을 가능하게 했다.
차로 안에 멈춰 선 차량을 피해 고속도로의 빠른 흐름에 자연스럽게 합류하는 장면, 붐비는 주택가를 통과하는 주행, 가파른 언덕을 올라가면서 오토바이 운전자를 안전하게 피해 가는 상황, 유턴 차량이 얽힌 복잡한 교통 흐름 등 시간 축이 긴 시나리오도 무리 없이 시뮬레이션한다.
이처럼 ‘불가능한 상황’까지 가상으로 재현함으로써, 웨이모 드라이버는 가장 희귀하고 복잡한 시나리오에도 한발 앞서 대비할 수 있다. 결국 실제 도로에서 그런 장면을 마주치기 훨씬 이전부터 롱테일 과제를 다룰 수 있는, 한층 엄격하고 보수적인 안전 기준을 쌓아 올리게 되는 셈이다.
