[캘리포니아 DMV 2020 Disengagement Report] (3) 크루즈
캘리포니아 DMV 2020 해제 보고서 분석 세 번째편은 크루즈입니다.
크루즈는 2013년 10월 설립된 자율주행 스타트업으로 지난 16년 GM이 10억 달러에 인수하여 자회사로 운영하고 있습니다. 설립자인 카일 봇은 현재 CTO로 활동하고 있고 GM 출신의 댄 암만이 CEO입니다.
DMV 보고서를 분석하다보니 한 가지 특이한 점을 발견했는데, GM에 인수하기 전에는 'Cruise Automation', 인수 후 2017년에는 'GM Cruise', 2018년에도 'GM Cruise'라고 표현되어 있고, 2019년에는 'GM Cruise'와 'Cruise'가 모두 표시돼 있었습니다. 그리고 2020년에는 'Cruise'만 표시돼 있네요.
DMV로부터 자율주행 자동차 평가 승인을 받을 때는 Cruise LLC라는 명칭만 사용했고 GM은 별도 승인을 받은 이력이 없는데, Collision Report 제출 시에만 저렇게 회사 이름이 몇 번씩 변경되었던 이유가 무엇인지 알 수가 없네요.
Cruise beats out Waymo in California AV testing miles in 2020
Experts warn the data are unreliable in measuring successes in self-driving vehicle development.
www.detroitnews.com
이번에 공개된 해제 보고서에 의하면, 크루즈가 가장 좋은 결과를 냈다고 보도되고 있고 일부 언론은 크루즈가 웨이모를 'beat out'했다고까지 표현하고 있네요.
다시한번, 좋지 않은 메트릭이라는 것을 강조하면서 작년도 데이터를 기반으로한 '자율주행 모드 해제당 주행거리'를 보면 웨이모가 크루즈에 근소하게 앞선 것을 볼 수 있는데 아마 이번에는 크루즈가 더 좋은 수치를 기록했기 때문에 위와 같은 타이틀의 기사가 나오고 있나 봅니다. 실제 데이터는 어떤지, 애플 보고서를 분석했던 것과 같은 관점에서 크루즈의 데이터를 분석해 보겠습니다.
1. 크루즈는 캘리포니아에서 몇 대의 자율주행 자동차를 평가하였나?
크루즈는 2019년도 해제 보고서에서 총 228개의 VIN을 신고했습니다. 즉, 228대의 차량이 있었다는 의미입니다. 그리고 그 중에서는 단 3대의 차량만이 주행 마일리지가 '0'인 것으로 확인되어 실제로는 225대의 차량이 자율주행 실도로 평가에 사용되었다고 볼 수 있습니다.
2020년도 보고서에는 137개의 VIN이 신고되었고 주행 마일리지 없는 차량은 없어 신고된 137대의 차량이 모두 평가에 사용된 것으로 보입니다. 2020년도에는 전년도에 비해 평가 차량 대수가 무려 88대나 줄었습니다. 로보택시를 출시하겠다고 선언한 기업들이 제시한 타임라인이 점점 다가오고 있는 가운데 평가 대수가 줄었다는 것은 다소 의아한 것이지만 역시 '코로나의 해' 답게 길거리 락다운 및 코로나 관련 이슈들로 실도로 평가에 큰 제약이 있었을 것으로 추측해볼 수 있습니다. 그리고 캘리포니아 대형 산불로 인한 대피 명령도 영향을 주었을 것 같구요. 그런데 락다운이라고 해서 아예 평가를 하지 못했던 것은 아닌 것 같습니다. 해제 보고서는 월별 주행거리를 기록하게 되어있는데 크루즈의 보고서를 보면 보고서 제출 대상인 2019년 12월부터 2020년 11월까지 매월 대부분의 차량이 일정 수준 이상의 주행거리를 기록한 것으로 나타났습니다. 일정 기간 동안 평가를 중단한 것이 아니라 전체 평가량을 줄였지만 꾸준히 평가는 진행해 왔던 것으로 보입니다.
2. 크루즈 자율주행 자동차의 자율주행 시스템 해제 빈도는 어떠한가?
우선 2019년도 데이터부터 살펴보겠습니다.
- 신고된 VIN : 228개
- 실제 평가한 차량 대수 : 225대
- 실제 주행한 총 거리(225대) : 831,040 마일
- 실제 주행 중 발생한 해제 횟수 : 68회
- 자율주행 시스템 해제당 평균 주행 거리 : 12,221 마일/해제
그리고 2020년 데이터 입니다.
- 신고된 VIN : 137개
- 실제 평가한 차량 대수 : 137대
- 실제 주행한 총 거리(137대) : 770,049 마일
- 실제 주행 중 발생한 해제 횟수 : 27회
- 자율주행 시스템 해제당 평균 주행 거리 : 28,520 마일/해제
바람직하지 않은 메트릭이긴 하지만 자율주행 시스템 해제당 평균 주행 거리를 놓고 비교하면 2019년 12,221마일에서 2020년 28,520 마일로 증가해서 거의 두배 가량 수치가 좋아졌습니다. 역시나 같은 기업 내에서 비교이긴 하지만 평가 환경이나 조건이 동일하다고 보기 어렵기 때문에 역시 단순 비교는 의미가 크지 않습니다. 특히 다시 한번 언급하지만 2020년도는 코로나와 캘리포니아 대형 산불이라는 큰 변수가 있었기 때문입니다.
2020년도 데이터만 기준으로 했을 때 특이한 지점을 몇 가지만 찾아봤습니다.
- 평가 차량 대수가 전년도 대비 40%가 줄었는데(225대 → 137대) 총 주행거리는 7%(831,040마일 → 770,049마일) 밖에 줄지 않았습니다. 차량 한대당 더 많은 주행거리를 기록했다는 의미입니다. 코로나로 인한 락다운으로 평가에 제약이 있었던 영향 보다 도심에 차량이 많이 다니지 않아 더 많은 마일리지를 쌓는데는 유리했던 것으로 보입니다. 물론, 평상시 보다 차량이 적은 특수한 상황에서 데이터를 쌓았기 때문에 그 데이터들이 크루즈가 기대했던것 대비 얼마나 유효했는지는 다른 이야기겠습니다.
- 월 단위 기준으로 가장 많은 주행거리를 기록한 차량은 VIN '5G21A6P05L4100180'으로 2020년 1월 한달에만 2150.9 마일을 주행했습니다. 워킹 데이를 기준으로하면 하루에 108마일을 주행했다는 것인데 고속도로 주행이 아닌 샌프란시스코 시내 주행으로 매일 108마일을 주행한 것은 놀라운 기록인 것 같습니다. 심지어 작년 1월은 아직 미국이 코로나 영향권에 들어서기 전이었기 때문에 더욱 놀랍습니다.
- 월별 주행거리는 2019년 12월부터 2020년 2월까지 꾸준히 증가하다 3월들어 급감하기 시작했습니다. 2월에 총 105,588마일을 주행한 크루즈 플릿은 3월들어 48,998마일로 절반 이상 감소했고 4월에는 5,317마일까지 떨어졌습니다. 캘리포니아 주지사 가빈 뉴섬은 지난 3월 19일부로 어쩔 수 없이 사무실에 출근해야 하거나 응급 상황이 아니라면 길거리에 나오지 말라는 행정명령을 발표했습니다. 4월달 평가 대수가 급감했던 결정적인 원인으로 보입니다. 하지만 5월부터는 다시 총 주행거리가 35,199마일로 증가했고 남은 기간에는 월별 주행 거리가 4만대에서 7.5만대 수준으로 유지되었습니다. 평가 차량 대수도 행정명령이 내려진 4월에만 절반 가량으로 줄고 나머지 기간에는 비슷한 대수의 차량이 평가에 사용되었습니다.
- 평가에 사용된 137대의 차량 중 자율주행 시스템 해제를 경험한 차량은 고작 21대에 불과했습니다. 그 중 한 대의 차량은 총 9,220마일을 주행하며 3번의 해제를 경험했고 나머지 20대의 차량도 대부분 5천~1만 마일의 연간 주행거리 동안 1~2회의 자율주행 시스템 해제를 경험했습니다. 엄청난 총 주행거리 대비 자율주행 시스템 해제 수가 극히 적어 평가 차량 별 특징을 찾아내는 것은 어려워 보입니다. 더군다나 샌프란시스코라는 복잡한 환경에서 평가한 결과라고 하기에는 믿기 어려운 수치로, 크루즈의 높은 자율주행 수준을 가늠해볼 수 있는 데이터 같습니다.
이러한 데이터를 종합해보면 다음과 같이 요약할 수 있겠습니다.
- 크루즈가 평가한 대부분의 차량은 자율주행 시스템 해제를 기록하지 않았다.
- 주요 평가 지역이 샌프란시스코 시내인 것을 감안하면, 아무리 코로나의 영향을 받았다고 하더라도 대단한 수치로 보여진다.
3. 크루즈의 자율주행 시스템은 어떤 경우에 주로 해제되었나?
<시스템이 스스로 해제를 한 경우>
크루즈는 27번의 자율주행 시스템 해제동안 시스템이 스스로 해제한 적은 없다고 밝혔습니다. 모두 백업 드라이버의 판단으로 시스템을 해제한 것에 해당합니다.
<백업 드라이버가 시스템을 해제시킨 경우>
백업 드라이버가 시스템을 해제시킨 경우는 모두 도심 지역에서 발생했습니다. 다음과 같은 항목이 있습니다.
- Precautionary takeover to address palnning, AV attemped unsuccessful left turn / 시스템이 좌회전을 제대로 수행하지 못할 것 같아서 예방 차원에서 제어권을 백업 드라이버가 가져옴
- Precautionary takeover to address planning, third party lane encroachment / 갑작스런 끼어들기로 인해 제어권을 백업 드라이버가 가져옴
- Precautionary takeover to address controls, other road user behaving poorly / 다른 도로 사용자의 돌발 행동으로 제어권을 백업 드라이버가 가져옴
보고서에서는 총 10개의 원인이 기술되었으나 대부분 위 3가지로 공통적으로 설명이 가능한 것들이라 나머지는 생략하였습니다. 결국 크게보면 시스템이 의도한대로 움직이지 않았거나, 다른 도로 사용자들(운전자, 사이클리스트, 보행자 등)의 잘못된 행동(갑자기 끼어들기, 무단횡단 등)으로 인한 사고를 방지하기 위해 예방 차원에서 백업 드라이버가 자율주행 시스템을 해제시켰다는 것을 알 수 있습니다. 대부분 도심 지역에서 발생하기 쉬운 변수로 역시 크르주가 도심에서 평가를 집중적으로 실시하고 있다는 것을 보여주는 사례이기도 합니다.
4. 크루즈의 2020 해제 보고서는 어떻게 바라봐야 할까?
자율주행의 리딩 기업답게 겉으로 드러나는 수치만 보아도, 또 더 자세하게 들여다 보아도 대단한 실적을 보여주고 있는 것 같습니다. 다음 번에는 웨이모의 데이터를 분석해 보겠지만 평가 지역을 감안하면(웨이모-마운틴뷰 vs 크루즈-샌프란시스코) 비슷한 수준의 수치가 나왔을 경우 크루즈의 성능에 손을 들어줄 수 밖에 없을 것 같네요.
- 크루즈는 복잡한 샌프란시스코 도심에서 자율주행 평가를 하고 있다는 사실이 주는 의미가 크다. 더 많은 유효 데이터를 얻을 수 있을 것이다.
- 코로나 팬데믹으로 인해 평가 제약이 많았을 것으로 예상하지만, 크루즈는 2019년 대비 평가 차량 대수를 40%가량 줄였을 뿐, 실제 플릿이 주행한 총 마일리지는 7%밖에 줄어들지 않았다. 'Shelter in place' 행정 명령이 내려진 영향으로 4월에 평가 주행 마일리지가 5,317마일을 기록한 것이 가장 적은 수치이며 대부분 수만 마일 수준의 주행거리를 월별로 기록하였다.
- 샌프란시스코 도심에서 평가하며 77만 마일을 주행하는 동안 시스템 해제가 27회 밖에 없었다는 것은 놀라운 수치이며 특히, 27회 모두 시스템 스스로 판단한 것이 아닌 백업 드라이버의 precautionary take over인 점도 놀라운 점이다.
- 137대의 플릿 모두 균일한 데이터를 만들어 냈다. 대부분의 차량이 많은 마일리지를 주행하며 0~3회의 시스템 해제를 기록했는데, 이는 애플의 사례로 예상한 결론과 달리, 차량 고유의 평가 목적을 갖고 다양한 평가를 진행했다기 보다는 기술 수준의 완성도가 일정 수준 올라와서 성능/품질 편차를 줄이고 대량 전개를 위한 목적의 평가 단계에 이르렀다고 예상할 수 있다.