[캘리포니아 DMV 2020 Disengagement Report] (2) Apple Inc.(애플)

기타 자료

[캘리포니아 DMV 2020 Disengagement Report] (2) Apple Inc.(애플)

21c형Pilot 2021. 2. 11. 16:36

캘리포니아 DMV의 2020 Disengagement Report 시리즈의 두 번째, 애플입니다. 전편에서 이야기했듯이 용어는 DMV, 해제 등으로 대체하겠습니다.

구글에서 'Apple California Disengagement' 로 검색했더니 위와 같은 결과가 나옵니다. 자세한 내용은 모르겠지만 일단 자율주행 자동차로 평가한 주행거리가 작년보다 두 배는 늘었다는 것은 팩트인 것 같은데, 어떤 기사에서는 해제빈도도 줄었들었다고 하고 또 어떤 기사에서는 크루즈와 웨이모는 나아진 것에 비해 애플은 제자리(Stall)였다고 헤드라인을 잡기도 해서 이 부분은 자세한 분석이 필요한 것 같습니다.

블룸버그 역시 애플의 데이터가 작년 대비 개선되긴 했지만 경쟁자들에 비해 많이 뒤쳐지고 있다고 보도하며 자율주행 자동차를 출시하기에는 아직 멀었다고 보도하기도 했습니다.

전편에서도 이야기했지만 DMV가 공개한 해제 보고서의 숫자만 가지고 판단하는 것은 다소 위험한 부분이 있습니다. 언론에 보도된대로 그대로 숫자를 받아들여도 되는지, 혹은 뭔가 알려지지 않은 숨겨진 팩트가 있을지 확인해 보겠습니다.

1. 애플은 캘리포니아에서 몇 대의 자율주행 자동차를 평가하였나?

대부분의 외신들은 애플이 2019년 66대의 자율주행 자동차를 평가했고 2020년에는 69대를 평가했다고 보도했는데 이는 조금 잘못된 사실입니다. 2019년과 2020년 애플이 각각 66대, 69대의 차량을 신고한 것은 맞습니다. 해제 보고서 중 'Autonomous Mileage Reports'를 보면 평가 차량의 VIN 정보가 입력돼 있습니다. VIN은 Vehicle Identification Number의 약자로 차량의 고유 식별 번호를 의미합니다. 우리가 자동차를 구매할 때도 각 차량에는 고유의 VIN이 할당돼 있어 생산 년도를 포함한 각종 차량 정보를 알 수 있습니다.

2019년 애플의 Autonomous Mileage Reports를 보면 총 66개의 VIN이 있는 것을 확인했습니다. 즉, 66대의 평가 차량을 신고한 것입니다. 그리고 각 차량이 주행한 월별 마일리지도 기록되어 있는데 확인한 결과 66개 중 47개의 VIN은 해당 기간(12월~이듬해 11월) 동안 주행거리가 '0'으로 나타나 있었습니다. 즉, 애플은 2019년도에 66개의 평가 차량을 신고하였지만 실제로 평가를 실시한 차량 대수는 19대였던 것입니다.

2020년도 상황은 비슷합니다. 애플은 69개의 VIN을 신고하였는데 그 중 29대만 실제 실도로 평가에 사용된 것을 확인했습니다. 따라서 애플은 2019년도보다 평가 차량을 3대 증가한 것이 아니라 10대를 늘렸다고 보는 것이 맞습니다.

그럼 신고만 하고 주행거리가 없는 차량이 왜 그렇게 많을까요? 추측하건데 우선 애플은 최대한 많은 VIN을 신고해 놓고 그 중에서 당시 평가 계획에 따라 차량을 점차적으로 늘린 것으로 보입니다. 실제 평가 차량이 10대가 늘어난 것도 모두 신규 차량이 아니라 기존에 신고된 VIN 중에서 평가에 사용하지 않던 것을 2020년도 평가에는 투입한 것으로 보는 것이 타당할 것 같습니다.

실제로, 2019년에 주행거리 0을 기록한 VIN '2T2BGMCA1GC008135' 차량은 2020년도 해제 보고서에는 총 492.3 마일을 주행한 것으로 나타났고, 역시 2019년에는 주행거리가 없었던 VIN '2T2BGMCA6GC007983' 차량은 2020년도 309.8 마일을 주행한 것으로 나타나 있었습니다. 올해에는 여전히 사용하지 않았던 차량들 중에서 더 많은 차량을 실도로 평가할 것으로 예상하지만, 그럼에도 불구하고 수십대의 차량을 몇 년간 실도로 평가를 하지 않았다는 것은 쉽게 이해하기 어려운 부분이긴 합니다.

2. 애플 자율주행 자동차의 자율주행 시스템 해제 빈도는 어떠한가?

우선 2019년도 데이터부터 살펴보겠습니다.

신고된 VIN : 66개
실제 평가한 차량 대수 : 19대
실제 주행한 총 거리(19대) : 7,544 마일
실제 주행 중 발생한 해제 횟수 : 64회
자율주행 시스템 해제당 평균 주행 거리 : 117.8 마일/해제

그리고 2020년 데이터 입니다.

신고된 VIN : 69개
실제 평가한 차량 대수 : 29대
실제 주행한 총 거리(29대) : 18, 805 마일
실제 주행 중 발생한 해제 횟수 : 130회
자율주행 시스템 해제당 평균 주행 거리 : 144.7 마일/해제

바람직하지 않은 메트릭이긴 하지만 자율주행 시스템 해제당 평균 주행 거리를 놓고 비교하면 2019년 117.8마일에서 2020년 144.7 마일로 증가해서 언론에서 보도된것 처럼 약간 개선된 수준으로 볼 수는 있습니다. 같은 기업 내에서 비교이긴 하지만 평가 환경이나 조건이 동일하다고 보기 어렵기 때문에 역시 단순 비교는 의미가 크지 않습니다.

2020년도 데이터만 기준으로 했을 때 특이한 지점을 몇 가지만 찾아봤습니다.

평가 기간 중 발생한 130번의 자율주행 시스템 해제 가운데 VIN '2T2BGMCA3GC007861' 차량 한대에서 거의 전체의 9%가 넘는 12번의 해제가 발생했습니다. 그런데 이 차량이 주행한 거리는 26.4마일 밖에 되지 않습니다. 총 주행거리의 1.4% 밖에 차지하지 않았던 평가 차량에서 전체 해제 횟수의 9%가 발생한 것입니다. 자율주행 시스템 해제당 평균 주행거리를 계산하면 0.45 마일로 평균 144.7 마일에 한참 떨어지는 수치입니다.
VIN 기준으로 가장 많은 해제 횟수를 기록한 차량은 '2T2BGMCA5HC014389'로 총 23번의 해제를 기록했습니다. 그리고 이 차량이 주행한 거리는 3,806.5 마일로 애플의 평가 차량 중에 가장 큰 수치를 기록했습니다. 자율주행 시스템 해제당 평균 주행거리를 계산하면 165.5 마일로 평균 144.7 마일을 능가하는 수치입니다. 시스템 해제가 제일 많이 되었는데도 해제 당 주행거리가 평균을 능가했습니다.

29대의 평가 차량 중 최소 1회의 자율주행 시스템 해제를 기록한 19대의 데이터를 주행거리가 높은 순으로 정리한 결과입니다. 특히하게도 주행거리가 많았던 차량들이 자율주행 시스템 해제 빈도도 낮은 경향을 보였습니다. 주행거리가 가장 긴 3806.5마일을 기록한 차량은 시스템 해제당 주행거리는 165.5를 기록했고, 두 번째로 긴 주행거리인 2961.7 마일을 주행한 차량은 시스템 해제당 주행거리가 무려 296.2마일을 기록했습니다. 주행거리 기준 상위 4개의 차량은 애플 평가 차량 전체 주행거리 중 54%를 차지함과 동시에 시스템 해제당 주행거리 역시 평균치인 144.7 마일을 모두 넘겼습니다. 반면에 자율주행 시스템 해제당 주행거리가 가장 짧은, 즉 자주 시스템이 해제되었던 차량들을 보면 주행거리도 그만큼 적었던 경향을 보입니다.

자율주행 시스템 해제가 아예 없었던 평가 차량 중에서 눈에 띄는 결과도 있었습니다.

VIN '2T2BGMCA4HC019826'과 '2T2BGMCA8HC019540' 차량은 자율주행 시스템 해제가 한 번도 없이 각각 무려 266.2마일과 489.9 마일을 기록했습니다.

이러한 데이터를 종합해보면 다음과 같은 결론으로 귀결될 수 있습니다.

각 평가 차량은 고유의 평가 목적이 있다. 즉, 같은 목적을 가지고 평가에 투입된 것이 아니다.
각 평가 차량이 투입된 환경은 서로 다르며, 평가 목적에 따라 그에 맞는 환경에 투입되었을 것이다.
따라서, 단순 주행거리 및 자율주행 시스템 해제 횟수, 빈도로 그 시스템의 성능을 진단하는 것은 잘못된 메트릭이다.

3. 애플의 자율주행 시스템은 어떤 경우에 주로 해제되었나?

전편에서 이야기했듯이 DMV는 제조사가 자율주행 시스템이 해제되었을 때의 상황은 ''전문용어를 사용하지 않고 일반인들도 이해할 수 있는 수준으로' 문장 형태로 작성'하도록 요구하고 있습니다. 애플의 보고서를 통해 애플의 자율주행 시스템이 어떤 경우에 주로 해제되었는지 확인해 보겠습니다.

<시스템이 스스로 해제를 한 경우>

자율주행 시스템이 스스로 해제를 한 경우는 총 81회로 고속도로에서 4회, 도심에서 77회를 기록했습니다. 해제 원인에는 크게 다음과 같은 경우가 있었습니다.

Motion control health check caused software kickout / 모션 제어 시스템 체크를 위해 S/W를 중지
Sensor data mismatch caused software kickout / 센서 데이터 매칭 실패로 S/W를 중지
Incorrect prediction lead to undesirable motion plan / 잘못된 예측으로 올바른 모션 제어 실패
Hardware diagnostic detected hardware health issue / H/W 진단 결과 문제 발견
Motion planning unable to produce valid trajectory / 모션 플래닝이 유효한 경로 생성을 실패
Hardware diagnostic caused software kickout / H/W 진단 결과 S/W를 중지
Incorrect prediction lead to undesirable motion plan? / 잘못된 인지로 인한 잘못된 모션 플랜?

마지막 항목의 물음표는 제가 표기한 것이 아니라 실제로 저렇게 물음표를 붙인 상태로 보고서가 작성되었습니다. 무슨 의미일까요? 원인을 정확하게 모르고 추측했다는 것일까요?

<백업 드라이버가 시스템을 해제시킨 경우>

백업 드라이버가 시스템을 해제시킨 경우는 총 49회로 한 번을 제외하고 모두 도심에서 해제를 시켰습니다. 해제 원인에는 다음과 같은 항목이 있습니다.

Hardware diagnostic caused software kicout / H/W 진단 결과 S/W를 중지
Hardware diagnostic detected hardware health issue / H/W 진단 결과 문제 발견
Incorrect map encoding lead to undesirable motion plan / 잘못된 지도 인토딩으로 인한 잘못된 모션 플랜
Incorrect perception lead to undesirable motion plan? / 잘못된 인지로 인한 잘못된 모션 플랜?
Incorrect perception of traffic signal lead to undesirable motion plan / 신호등 인지 실패로 인한 잘못된 모션 플랜
Incorrect prediction lead to undesirable motion plan / 잘못된 예측으로 인한 잘못된 모션 플랜
Incorrect prediction lead to undesirable motion plan? / 잘못된 예측으로 인한 잘못된 모션 플랜?
Incorrect prediction lead to undesirable motion plan violating keep clear zone / 잘못된 예측으로 인한 잘못된 모션 플랜으로 주정차 금지구역 위반
Incorrect prediction of parked vehicle cause undesirable motion plan / 주차된 차량 예측 실패로 인한 잘못된 모션 플랜
Incorrect prediction of vehicle caused undesirable motion plan / 다른 차량 예측 실패로 인한 잘못된 모션 플랜
Motion plan exceeded speed limit? / 모션 플랜이 제한 속도를 위반?
Reduced visibility of a vehicle due to occlusions resulted in an undesirable motion plan / Occlusion으로 인한 시야 방해로 인한 잘못된 모션 플랜
Safety driver discomfort due to selected motion plan / 백업 드라이버가 차량 모션 플랜이 잘못되었다고 판단
Safety driver performed improper robotic mode engagment / 백업 드라이버가 잘못 개입
Sensor/Perception discrepancy resulted in incorrect predictions for motion planning / 센서 및 인지 결과가 상이해서 모션 플래닝을 위한 예측을 잘못함
System issue interrupted driving algorithm / 시스템 이슈가 주행 알고리즘을 방해
Undesireable motion plan violating keep clear zone / 잘못된 모션 플랜이 주정차 금지 구역 위반
Undesireable motion plan violating traffic signal? / 잘못된 모션 플랜이 신호를 위반?

자율주행 시스템 스스로 해제한 이유와 백업 드라이버가 자율주행 시스템을 해제시킨 상황을 숫자로 정리하면 다음과 같습니다.

시스템 해제 횟수 : 시스템 스스로 해제 81회 vs 백업 드라이버가 해제 49회
시스템 해제 원인 : 시스템 스스로 해제 7개 vs 백업 드라이버가 해제 18개

시스템 해제 횟수는 시스템 스스로 해제하는 경우가 훨씬 많지만, 해제 원인은 백업 드라이버가 해제했을 때 더 다양하게 나왔다는 것을 알 수 있습니다. 저는 시스템 스스로 해제시킨 상황을 분석하는 것이 더 어렵다는 것을 말해주는 것이 아닐까 생각합니다. 그렇기 때문에 백업 드라이버가 해제했을 때 설명히 훨씬 직관적이고 구체적인 반면 시스템 스스로 해제되었을 때 원인 설명은 일반인들은 직관적으로 어렵고 좀 더 포괄적인 의미로 작성이 된 것으로 보입니다.

4. 애플의 2020 해제 보고서는 어떻게 바라봐야 할까?

제 나름의 결론입니다.

실제 평가 차량이 2019년 19대에서 2020년에는 10대가 증가한 29대를 기록했다. 신고한 차량 중에서 아직도 40대 가량의 차량이 평가에 투입되고 있지 않아 앞으로 평가 차량 대수는 더 늘어날 가능성이 크다.
해제 빈도 및 해제당 주행거리 숫자를 볼 때 평균의 함정에 빠질 수 있다. 데이터 상세 분석 결과 모든 차량은 각각의 고유의 평가 목적이 있고 그 목적에 맞는 환경에서 주행했을 것이다. 이 플릿의 수치를 산술 평균내는 것은 의미 없는 계산이고 타 제조사와 경쟁력을 비교하는 잣대로 이용되어서는 안된다.
백업 드라이버가 해제를 시킨 것 대비해서 시스템 스스로 해제했을 경우 그 원인을 밝히는 작업이 매우 까다로울 것으로 예상한다. 인공지능을 포함한 자율주행 자동차가 널리 상용화 되려면, "해석 가능성"이란 능력은 매우 중요해질 것으로 예상한다.