[캘리포니아 DMV 2020 Disengagement Report] (4) 웨이모
캘리포니아 DMV의 2020 Disengagement Report 시리즈의 네 번째, 웨이모입니다.
앞서 소개한 GM 크루즈의 경우 미국에서 샌프란시스코, 피닉스(애리조나) 그리고 밀포드(미시간)에서 자율주행 자동차 평가를 진행하고 있는데 대부분의 평가는 샌프란시스코에 집중되어 있습니다. 2020년에는 샌프란시스코에서만 137대의 자율주행 자동차를 평가했고 피닉스에서는 12대, 노비에서는 40대 정도의 소규모 플릿을 평가하고 있는 것으로 확인됩니다.
반면 웨이모는 커크랜드(워싱턴), 마운틴뷰, 앳워터, 배드워터(이상 캘리포니아), 챈들러(애리조나), 오스틴(텍사스) 그리고 노비(미시간)에서 평가를 진행하고 있고 평가 목적 역시 로보택시 뿐 아니라 물류 배송까지 포함하고 있습니다.
캘리포니아에서는 마운틴뷰, 앳워터 그리고 배드워터 지역에서 평가하고 있지만 앳워터에서는 트랙 테스트, 배드워터에서는 히트(Heat) 테스트를 진행하고 있어 캘리포니아 DMV 자율주행 모드 해제 보고서에 해당되는 평가는 마운티뷰 지역에서 실시한 것이 되겠습니다.
언론에서는 작년에 이어 올해에도 웨이모와 크루즈가 가장 좋은 평가 결과를 보여줬다고 보도하고 있고, 크루즈가 웨이모에 앞섰다는 이야기를 했는데 웨이모의 데이터를 자세히 분석해 보겠습니다.
1. 웨이모는 캘리포니아에서 몇 대의 자율주행 자동차를 평가하였나?
웨이모는 2019년도에 총 148개의 VIN을 신고했습니다. 하지만 주행거리가 '0'인 차량이 38대가 있어 실제 평가를 진행한 차량의 대수는 총 110대입니다.
2020년도에는 총 239개의 VIN을 신고했고 주행거리가 '0'인 차량을 제외하면 총 145대를 실제 평가에 사용했습니다. 이는 크루즈가 평가한 137개를 약간 상회하는 수치입니다.
코로나로 인한 락다운과 Shelter-in-place 행정명령에도 불구하고 매월 평가를 진행했던 크루즈와 달리, 웨이모는 2020년 4월과 5월에는 전혀 실도로 평가를 진행하지 않은 것으로 나타난 것이 특징입니다. 2019년 12월부터 2020년 2월까지 3달간은 매달 꾸준히 10만 마일 이상을 주행했는데 3월들어 6만 마일로 줄어들었고 4,5월에 평가를 중단한 후 6월부터 12월까지는 2만~5.3만 마일 수준의 주행거리를 기록했습니다.
2. 웨이모 자율주행 자동차의 자율주행 시스템 해제 빈도는 어떠한가?
우선 2019년도 데이터부터 살펴보겠습니다.
- 신고된 VIN : 148개
- 실제 평가한 차량 대수 : 110대
- 실제 주행한 총 거리(110대) : 1,454,137 마일
- 실제 주행 중 발생한 해제 횟수 : 110회
- 자율주행 시스템 해제당 평균 주행 거리 : 13,219 마일/해제
그리고 2020년 데이터 입니다.
- 신고된 VIN : 239
- 실제 평가한 차량 대수 : 145대
- 실제 주행한 총 거리(145대) : 628,838 마일
- 실제 주행 중 발생한 해제 횟수 : 21회
- 자율주행 시스템 해제당 평균 주행거리 : 29,945 마일/해제
Cruise beats out Waymo in California AV testing miles in 2020
Experts warn the data are unreliable in measuring successes in self-driving vehicle development.
www.detroitnews.com
앞서 소개했던 기사에서 크루즈가 웨이모를 'beat out'했다라는 이야기는 '주행거리' 관점이었습니다. 웨이모가 2020년도에 총 628,838마일을 주행한 반면 크루즈가 770,049마일을 기록해서 크루즈가 자율주행 평가를 더 '많이'했다는 관점의 비교였네요.
웨이모와 크루즈만 2019년과 2020년도 각각 평가대수, 마일리지, 그리고 차량 한대당 마일리지를 비교해봤습니다. 2019년도에는 비록 웨이모가 평가차량 대수는 크루즈의 절반 수준이었지만 오히려 주행거리는 2배 남짓 더 기록하며 대당 마일리지 역시 4배 수준을 기록했습니다. 하지만 2020년도에는 평가차량은 웨이모가 다소 많았던 반면 주행거리는 크루즈가 더 많이 기록해서 평가차량 한대당 주행거리 역시 크루즈가 근소하게 많았습니다.
이 비교는 단순 참고용으로 밖에 활용할 수 없습니다. 총 주행거리가 많은 것이 좋은지, 평가차량 한대당 마일리지가 많은 것이 좋은지, 아니면 단순히 평가차량 대수가 많은 것이 좋은지에 대한 기준이 없으며 무엇보다 주행거리를 통해 얻은 수많은 데이터들 중 얼마나 많은 유효 데이터들이 축적되었는지 알 수 없기 때문입니다. 위 숫자들은 단순히 2019년도와 2020년도의 평가 재원의 변화를 확인하기 위한 비교 목적입니다.
결과론적인 이야기지만 웨이모가 지난해 4,5월에 평가를 중단하지 않았다면 크루즈의 총 주행거리를 훨씬 앞지를 수 있는 수치이기도 합니다. 비록 동네는 달랐지만 같은 캘리포니아 지역에서 실도로 평가를 했는데, 웨이모는 4,5월에 평가를 중단했고 크루즈는 계속 진행했는지 이유를 아직은 모르겠습니다. 댄 암만 크루즈 CEO가 팬데믹 기간 동안 자율주행 평가 차량을 배송하는데 활용했다는 인터뷰를 한 적이 있는데, 그 영향일까 생각을 해보다가도 그렇다고 137대 크루즈 플릿 모두가 갑자기 배송 서비스에 투입되었을 것 같지는 않다는 생각이 드는데 말이죠.
웨이모의 2020년도 마일리지 데이터에는 다음과 같은 특징들이 보입니다.
- 한달에 가장 많은 주행거리를 기록한 차량은 VIN '2C4RC1K78HR797405'이며 2020년 2월달에만 3863.9마일을 주행했습니다. 워킹데이 기준으로 하루에 무려 193마일을 주행한 수준입니다. 웨이모의 자율주행 시스템 해제 원인 섹션을 살펴보면 크루즈와 달리 고속도로에서 발생한 해제가 꽤 있습니다. 마운틴뷰에서는 고속도로 평가도 진행한 것으로 보입니다. 시내에서만 하루에 193마일을 주행했다면 엄청난 수치인데 말이죠.
- 웨이모의 평가 차량 145대 중에서 자율주행 모드 해제를 경험한 차량은 16대에 불과했습니다. 가장 많은 해제 횟수를 기록한 차량은 1년간 5,064 마일을 주행하며 3번의 해제를 기록했고 2번의 해제를 기록한 차량이 3대, 나머지 12대는 1번씩의 해제만 기록해서 역시 플릿 전반적으로 굉장히 안정적인 주행을 했다고 볼 수 있습니다.
3. 웨이모의 자율주행 시스템은 어떤 경우에 주로 해제되었나?
웨이모 플릿이 경험한 21번의 자율주행 시스템 해제중 5번은 시스템 스스로 해제, 그리고 나머지 16번은 백업 드라이버가 직접 해제시킨 경우입니다. 그리고 고속도로에서 해제된 것인 4번, 나머지 17번은 도심 주행 중 해제되었습니다.
<시스템이 스스로 해제를 한 경우>
- Disengage for adverse weather conditions experienced during testing / 평가 도중 기상 악화
- Disengage for unwanted maneuver of the vehicle that was undesirable under the circumstances / 상황에 맞지 않는 차량 거동 발생
<백업 드라이버가 시스템을 해제시킨 경우>
- Disengage for unwanted maneuver of the vehicle that was undesirable under the circumstances / 상황에 맞지 않는 차량 거동 발생
- Disengage for a recklessly behaving road user / 과격하게 행동하는 도로 사용자때문에 해제
- Disengage for incorrect behavior prediction of other traffic participants / 다른 도로 사용자의 행동 예측 실패
- Disengage for a perception discrepancy for which a component of the vehicle's perception system failed to detect an object correctly / 인지 시스템 오류 발생
날씨가 나빠지거나, 차량 거동의 오류 그리고 인지의 오류 등이 주요 원인으로 확인되었습니다.
4. 웨이모의 2020 해제 보고서는 어떻게 바라봐야 할까?
앞서도 잠깐 이야기했지만 웨이모, 크루즈정도 되는 자율주행 리딩 기업들이 기록한 이 수치들은 단순 비교하는 것은 큰 의미가 없다고 생각합니다. 단지 이 기업들이 어느 지역에서 몇 대의 차량으로 평가하고 있고 어느 정도 주행을 했으며 그렇다면 이들이 얼마나 많은 데이터를 얻었을까 추정해 보는 의미가 있다고 생각합니다. 또 유튜브 등을 통해 실제 주행 영상을 보며 어느 정도 수준으로 주행을 하는지 확인해 보면 좋겠죠.
마운틴뷰라는 동네에 가본적이 없어 잘 모르지만 인구수로만 따지면 마운티뷰 81,656명 그리고 샌프란시스코는 874,961명으로 거의 10배 차이가 납니다. 대부분의 자율주행 자동차 평가가 로보택시를 위한 도심에서 이뤄지고 있는 것을 감안한다면 이 두 환경에서 자율주행 자동차를 평가하는 것은 완전히 다른 이야기라는 생각이 듭니다.
어쨌든, 웨이모의 2020 해제 보고서를 분석한 결론입니다.
- 코로나 팬데믹으로 4,5월 평가를 전면 중단했다. 그렇지 않았다면 수만 마일을 더 주행했을 것이고 이는 크루즈의 수치를 뛰어 넘는 수준이다.
- 평가차량 대수가 전년도 대비 35대가 증가했다. 5세대 자율주행 시스템을 탐재한 재규어 I-PACE 차량이 추가된 영향이 있을 것이라고 판단한다.
- 크루즈와 마찬가지로 플릿이 안정된 수치(해제 빈도, 마일당 해제 횟수 등이 일정함)를 기록했다. 특정 타겟이 있는 평가보다는 플릿 확대를 위한 평가 단계에 이른 것으로 예상한다.
- 크루즈와 같이 복잡한 도심에서 자율주행 성능이 어느 정도 발휘될지 궁금하다. 지금까지는 애리조나, 마운틴뷰와 같이 혼잡하지 않은 지역에서 안전하게 주행하는 성능을 보여주었다면 복잡한 환경에서도 검증을 해나가야 하지 않을까. 물론, 꼭 자율주행 자동차가 복잡한 환경에서 잘 다니는 것만이 정석은 아니다. 복잡한 환경이란 발달된 도심을 의미하고 보통 그런 환경은 다양한 교통수단(대중교통 등)이 잘 갖춰져 있다. 모빌리티 수단으로의 접근성 관점에서 본다면 로보택시가 우선 필요한 장소는 샌프란시스코가 아닌 챈들러가 더 맞다는 생각도 든다.