[캘리포니아 DMV 2020 Disengagement Report] (6) 마무리
캘리포니아 DMV 2020 해제 보고서에 대해 애플, 크루즈, 웨이모 그리고 ZOOX 순으로 자세한 데이터를 살펴봤습니다. 나머지 주요 기업 몇군데만 간단하게 리뷰하고 이번 시리즈를 마무리하도록 하겠습니다.
1. Nuro
- 무인 배송 자동차를 만드는 기업입니다. 사실 자동차로 해야할지, 로봇이라고 해야할지, 정의내리기 조금 어려운 솔루션인데요, 저는 Wheeled Robot이라고 부르기도 합니다. 규제 관점에서는 FMVSS의 적용 대상에 해당하기 때문에 자동차로 보는 것이 맞고 Nuro도 스스로 Self Driving Vehicle이라고 표현하고 있긴 합니다. 모델명은 R2입니다.
2020년에 Nuro는 캘리포니아에서 총 20대의 차량을 평가했습니다. 총 55,370마일을 주행했고 그 중에 자율주행 시스템 해제가 발생한 횟수는 11번입니다. Nuro의 자율주행 자동차는 미국 법규상 LSV(Low Speed Vehicle)로 분류됩니다. LSV로 분류되기 위해서는 세 가지 조건이 충족돼야 하는데 최고 속도가 25mph 이하, 차량 총 적재중량이 1,351kg 이하, 그리고 4개의 바퀴로 주행해야합니다. 최대 속도가 25mph까지 밖에 안되기 때문에 돌발 상황에 대응하기도 유리하고 또한 차량 사이즈도 일반 자동차 보다 많이 작은 점도 역시 유리한 점입니다. LSV로 분류가 되면 각종 연방안전법규의 면제가 가능하기 때문에 유사한 자율주행 배송 자동차를 만드는 스타트업이 LSV 성립 조건에 맞춰 차량을 개발했으나 실제 사업성을 가지기 위해서는 최대 속도가 더 나와야 하기 때문에 여러가지 규제 개혁을 요구하고 있는 상황입니다.
Nuro는 캘리포니아에서 총 3곳에서 평가를 진행하고 있습니다. 새크라멘토에서는 전용 평가 시설에서 진행하고 있는 반면, 마운틴뷰에서는 실도로 평가를 하고 있고 산 마테오에서는 실도로 평가를 진행하며 의약품 무인 배송을 실시했습니다. 코로나 팬데믹 동안 수요가 폭발했었지요.
캘리포니아뿐 아니라 애리조나주 스카츠데일과 텍사스 휴스턴에서도 평가를 하고 있는데 특히 휴스턴에서는 현지 마트와 제휴하여 물류 배송 실증 사업을 진행하고 있고 또 토요타 프리우스 차량을 이용한 개발도 진행하고 있습니다. Nuro는 처음부터 사람이 탑승하지 않는 R2를 개발해서 평가한 것은 아닙니다. 먼저 토요타 프리우스와 닛산 리프 차량을 이용해서 자율주행 시스템을 개발했고, 그 이유는 사람의 눈으로 보는 도로의 모습을 이해해야 자율주행 시스템을 만들 수 있다고 생각했기 때문이라고 하네요.
2. BMW North America, 메르세데스 벤츠 RnD North America
-BMW는 1대의 차량을 이용하여 122마일을 주행했고 벤츠는 10대의 차량으로 29,983마일을 주행했습니다. 사실상 BMW는 유의미한 평가를 하지 않았다고 볼 수 있고 벤츠는 주행거리는 3만마일에 육박하는 총 해제 횟수가 무려 1,1167번에 이르러 해제당 주행거리는 25마일 밖에 되지 않아 아직 연구 단계의 평가를 진행한 것으로 추측할 수 있습니다.
주의해야할 것은 이 수치가 절대로 이 기업들의 자율주행 자동차 개발 현황을 말해주는 것은 아니라는 것입니다. 이 보고서는 캘리포니아주에 한해서 데이터를 수집한 것입니다.
3. Pony.ai
- 중국의 자율주행 스타트업인 Pony.ai는 25대의 플릿을 운영하여 리딩 기업들을 제외하면 꽤 많은 숫자의 차량을 운행한 셈입니다. 총 225,496마일을 주행했고 그 중 21번의 자율주행 시스템 해제를 기록했습니다.
4. Toyota Research Institute
- 토요타 TRI는 총 7대의 렉서스를 이용하여 자율주행 평가를 진행했습니다. 주행거리는 2,875마일이며 자율주행 시스템 해제 횟수는 총 1,215회로 거의 2마일 당 한 번씩 해제가 된 셈입니다. 아직은 개발 초기 단계의 평가인 것으로 보입니다. 토요타는 참고로 자율주행 기술을 크게 두 가지로 나누어 개발하고 있는데 운전자 보조 기능에 해당하는 토요타 가디언, 그리고 실질적인 레벨4 이상의 자율주행인 토요타 쇼퍼(Chauffeur)입니다. 특히 토요타 가디언은 운전자가 인풋을 넣었을 때 시스템이 그 인풋이 잘못되었거나 위험을 초래할 수 있다고 판단하면 직접 개입해서 그 인풋을 막아버리는 Envelop Protection 개념을 적용한다고 합니다. 보통 항공기에서 많이 쓰였던 컨셉입니다.
지금까지 주요 기업들의 캘리포니아 DMV 2020 해제 보고서 데이터를 분석해 봤습니다. EE Times에서 모든 기업의 대표 수치들을 하나의 테이블로 잘 정리한 것이 있어 소개합니다.
많은 매체에서 테이블로 정리를 했지만 가장 잘 정리된 자료인 것 같습니다. 무엇보다 총 보유 플릿과 실제 평가에 사용된 플릿 규모를 따로 구분했다는 점에서 제가 생각하는 데이터 분석 기준과 결을 같이한다는 생각이 들었습니다. 표를 보시면 실제로 캘리포니아에서 자율주행 자동차 평가는 크루즈와 웨이모가 리딩한다는 것을 숫자로도 알 수 있습니다. 이 두 기업이 평가한 주행거리의 합은 모든 기업의 주행거리를 합한 것의 70%에 해당합니다. 평가에 사용한 차량 대수도 전체의 55%를 기록하고 있습니다. 캘리포니아 DMV 2020 해제 보고서를 통해 확인할 수 있는 팩트는 여기까지 입니다. 이 이상의 분석은 주관적 판단이 개입된다는 것을 밝히며, 제가 바라보는 시선을 통한 보고서를 다음과 같이 정리하며 마무리 짓겠습니다.
1) 몇 개의 VIN을 신고했고, 실제 몇 대의 차량을 평가에 사용했는지는 구분할 필요가 있습니다. 그리고 지난해와 그 수치들을 비교하는 작업은 의미를 가집니다. 예를들어, 애플은 2019년에 총 66개, 2020년에는 총 69개의 VIN을 신고했습니다. 여기까지만 보면 자율주행 평가 플릿 규모가 3대 만큼 커진 것으로 보입니다. 그런데 실제 평가 차량이 몇대인지를 확인하면 2019년 19대에서 2020년 29대로 무려 10대가 늘었습니다. 실도로 평가를 통해 실제 데이터를 얻어가는 플릿 관점에서 본다면 고작 3대가 늘어난 것이 아니라 플릿 규모가 52% 성장한 것입니다. 훨씬 큰 의미를 지닙니다. 실제 총 주행거리도 2019년 7,544마일에서 18,805마일로 두 배 이상이 증가했는데 플릿 규모가 3대 늘었다고 분석한다면 결과가 지나치게 왜곡이 됩니다.
2) 산술 평균의 함정에 빠지지 말아야 합니다. 해제 횟수, 해제율 등의 수치들을 그대로 비교하는 것은 올바른 접근 방법이 아니라는 것을 구체적인 데이터를 근거로하여 설명해 보겠습니다.
애플과 크루즈의 플릿 비교입니다. 최소한 1회의 시스템 해제를 기록한 플릿의 데이터만 정리했습니다. 각 차량이 총 몇마일을 주행했고, 시스템 해제 당 평균 몇마일을 주행했는지를 계산했습니다. 여기까지는 매체에서도 많이 보도된 숫자이고 지금까지 캘리포니아 해제 보고서는 여기에만 주목했습니다. 전체 플릿이 자율주행 시스템이 해제될 때마다 몇 마일을 주행했는지 산술 평균을 내봤고, 각 차량의 시스템 해제당 주행거리가 그 평균치와 어느 정도 편차를 보이는지 비교해 봤습니다.
여기서 한 가지 가정을 하겠습니다. '자율주행 시스템 성능이 플릿마다 어느정도 일정하고 평가 목적 또한 비슷하다면, 주행거리가 많을수록 시스템 해제 횟수 또한 비례해서 늘어나는 것이 합리적이다.' 애플과 크루즈가 실제 평가를 실시한 플릿의 데이터가 이러한 경향성을 지니는지 확인해 보기 위해 정리한 데이터입니다.
우선 애플입니다. 일단 애플의 데이터는 평균대비 각 차량 데이터의 편차가 다양합니다. 해제당 주행거리 편차를 가장 많이 보인 Top5를 붉은색으로 표현해 봤습니다. -120%에서 98.4%까지 218.4% 사이즈의 범주가 형성됩니다. 이렇게 구간 사이즈가 크다는 것은 평가 목적이 플릿마다 전부 다르거나 혹은 아직 시스템 성능이 균일하지 않다는 의미입니다. 그 중에 가장 특이한 플릿은 9번입니다. 총 주행거리는 26.4마일 밖에 되지 않는데 시스템 해제는 12번을 기록했습니다. 전체 만약 애플이 9번 플릿을 아예 평가하지 않았다면 플릿의 시스템 해제당 주행거리는 140.8마일에서 152.4마일로 뛰어버립니다. 9번 플릿은 시스템에 문제가 있는 아웃라이어에 해당하거나 특수 평가 목적을 지닌 차량으로 예상할 수 있는데, 애플이 9번 플릿을 2020년 1월에 26.1마일을 평가하고 2월들어 0.3마일만 평가한 이후 남은 기간 평가 이력이 없는 것으로 보아 전자에 해당할 가능성이 높다고 판단합니다.
결과적으로 애플은 주행거리가 많은 상위 5개 플릿이 총 주행거리의 61%에 해당했고 시스템 해제 횟수 역시 순서대로 23, 10, 11, 9, 12번을 기록해 총 해제 횟수의 50%를 기록했습니다. 상위 4개 플릿(아래 표에서 붉은색 박스)은 2020년 6월부터 평가를 시작하여 집중적으로 마일리지를 쌓고 있어 현재 애플의 주력 평가 차량으로 예상됩니다. 특히, 상위 5개 플릿을 제외하면 2020년 2월 이후 평가 이력이 없다는 기록 역시 이러한 예상을 뒷받침해줍니다. 나머지 플릿은 매월 꾸준히 평가를 진행한 것이 아니고 특정달에만 주행거리를 기록하고 나머지 달에는 평가 이력이 없는 경우가 대부분이라 이러한 플릿은 특정한 평가 목적을 지니고 사용한 것으로 예상합니다.
반면 크루즈는 평균대비 각 차량 데이터의 편차가 애플보다는 작은 구간을 형성했습니다. -43.9%에서 71.7%까지 115.6%의 구간입니다. 크루즈의 플릿은 각 차량이 경험한 시스템 해제 횟수가 1~2회에 불과하기 때문에(한 대의 차량이 3회를 기록) 시스템 해제당 마일리지를 비교하는 작업은 큰 의미가 없습니다. 그리고 137대의 차량의 개별 주행거리 역시 균일하게 분포되어 있고(1만마일 이상 주행 15대, 9만~10만마일 주행 12대, 8~9만마일 주행 23대 등) 해당 차량들은 코로나로 인한 영향을 감안하면 매월 일정 수준 이상의 주행거리를 지속적으로 기록하고 있어 굉장히 안정화된 플릿으로 볼 수 있습니다.
요컨대, 캘리포니아 DMV의 해제보고서는 플릿을 대표하는 숫자들로 평균치를 계산해서 비교하는 것 보다 각 플릿의 월별 평가 이력을 바탕으로 대표 평가 차량은 몇 대가 있고 그들이 얼마나 많은 주행거리를 기록했는지 등 보다 유효한 데이터를 찾아내는 작업이 필요합니다.
3) 'A vs B' 형태의 비교는 제조사별 비교보다 같은 제조사의 Y to Y 비교에 더 적합합니다. 캘리포니아주에서 평가를 해더라도 어느 지역에서 하느냐에따라 평가 환경이 완전히 달라지게 됩니다. 더군다나 평가 플릿이 안정화된 기업(크루즈, 웨이모 등)과 아직 초기 개발 단계의 기업이 취하는 시스템 해제의 Threshold 값 또한 다를 수 밖에 없기 때문에 산술 평균된 데이터를 바탕으로 줄세우기식 비교는 아무런 의미가 없습니다.
오히려, 같은 기업이 작년 대비 플릿을 어떻게 운영하고 있는지를 파악하고 수치로 비교해보는 것은 그 기업의 전략 및 수준의 변화 또는 외부 환경의 변화를 가늠해볼 수 있는 좋은 잣대를 마련해줍니다. 앞서 '1)'에서 언급한 애플 플릿의 52% 증가, 크루즈가 플릿 규모를 40%나 줄였지만 전체 총 주행거리는 7% 밖에 줄지 않은 것, 웨이모가 플릿 규모를 30대 늘렸지만 전체 총 주행거리는 절반 이상 줄어든 것 등 각 기업의 Y to Y 비교를 통해 평가 규모, 성능 그리고 전체적인 플릿의 안정화 정도를 비교하는 것은 2021년도 평가 환경과 전략을 예측해볼 수 있는 자료가 될 수 있을 것입니다.
4) 앞서 소개한 1)~3)의 특징을 무시한 단순한 수치 비교 때문에, 캘리포니아 DMV의 해제 보고서는 마켓팅 자료에 불과하다는 비난도 받고 있습니다. 게다가 기업들이 좋은 수치를 만들어내기 위해 불필요한 경쟁을 할 것이라는 지적도 있습니다. 자료를 자세히 들여다 보면 그러한 걱정은 기우 같기도 합니다. 1년에 수십만에서 백만마일 이상을 주행하는 대규모 플릿을 운영하는 크루즈와 웨이모에게 그러한 숫자 경쟁은 큰 의미가 없을뿐더라 나머지 기업들은 유의미한 데이터를 만들어 내기에는 플릿이 너무 작습니다. 좋은 수치를 만들어내기 위한 '불필요한' 경쟁은 그들에게 말그대로 '불필요'한 상황입니다. 선두권 추격을 위한 개발과 평가를 진행하기에도 바쁜 시간인데요. 전문가들이 더 체계적이고 자세한 프로토콜을 사용해서 이 방대한 자료를 유의미하게 분석하는 노력이 중요해 보입니다.