[NHTSA의 충돌사고 보고 의무화 정책] 테슬라에게는 또 다른 기회인 이유

https://www.nhtsa.gov/press-releases/nhtsa-orders-crash-reporting-vehicles-equipped-advanced-driver-assistance-systems

NHTSA Orders Crash Reporting for Vehicles Equipped with Advanced Driver Assistance Systems and Automated Driving Systems | NHTSA

 

미국 시간으로 지난 6월 29일, NHTSA가 앞으로 SAE 레벨 2 수준의 주행보조 단계와 그 이상의 자율주행 시스템이 연루된 충돌사고에 대해 제조사가 의무적으로 NHTSA에 보고해야하는 내용이 담긴 General order를 발표했다. NHTSA는 테슬라 오토파일럿의 각종 사고와 관련되어 테슬라 못지 않게 비난의 타겟이 되었으나 주행보조 시스템인 오토파일럿의 misuse와 abuse를 방지 및 제지할 수 있는 규정이 없어 별다른 수를 쓰지 못하고 있었다. 

모든 규정과 법규를 개발할 때에는 데이터가 필요하다. 이번 명령의 배경은 NHTSA가 데이터 수집을 통한 향후 규제 및 각종 프로토콜을 개발하기 위함이다. 그리고 이를 촉발시킨 것은 그동안 지속되었던 테슬라 사고 이슈에 따른 압박, 그리고 최근 진행되고 있는 약 30건의 공개 조사였다고 보는 것 역시 합리적인 추론이다.

그렇기 때문에 NHTSA의 공개적인 데이터 요구가 테슬라에게는 '큰일'이 될 것이라는 주장도 제기되고 있다.

https://www.barrons.com/articles/nhtsa-self-driving-cars-accidents-tesla-51625083151

NHTSA Focuses on Crashes of Self-Driving Cars. It's Big News for Tesla.

<Regulators Increase Focus on Crashes of Self-Driving Cars. That’s Big for Tesla.>

정말 그럴까? 이번 NHTSA의 명령은 테슬라뿐만 아니라 모든 제조사에게 해당하는 것이기 때문에 특별히 테슬라에게만 부담이 될만한 이유는 없다. 하지만 굳이 뽑아보자면 테슬라에게 있어 리스크 요인과 기회 요인 하나씩을 예상해볼 수 있다.

어떤 리스크가 있는가?

테슬라는 자사 웹사이트를 통해 '18년 3/4분기부터 분기별 Safety Report를 공개해왔다. 

https://www.tesla.com/VehicleSafetyReport?redirect=no 

Tesla Vehicle Safety Report

Report라고 부르기까지는 부족한 내용이긴 하지만 테슬라는 항상 같은 유형의 데이터를 제공하고 같은 결론을 내려왔다. 1) 오토파일럿이 작동 중일 때, 2) 오토파일럿은 작동 안하지만 기타 Active Safety Feature(FCA 등)가 작동하고 있을 때, 3) 어떤 ADAS도 작동하고 있지 않을 때에 대하여 몇 마일마다 사고가 발생하였는지를 숫자로 보여준다. 그리고 NHTSA가 제공하는 산업 평균치를 보여주면 테슬라 차량의 안전 성능이 상대적으로 얼마나 뛰어난지를 강조한다.

아래는 '21년 1/4분기에 공개된 테슬라 Safety Report의 전문이다.

In the 1st quarter, we registered one accident for every 4.19 million miles driven in which drivers had Autopilot engaged. For those driving without Autopilot but with our active safety features, we registered one accident for every 2.05 million miles driven. For those driving without Autopilot and without our active safety features, we registered one accident for every 978 thousand miles driven. By comparison, NHTSA’s most recent data shows that in the United States there is an automobile crash every 484,000 miles.

즉, 오토파일럿이 켜져있을 때 테슬라 차량은 419만 마일마다 사고가 발생하고, NHTSA가 제공하는 미국 전체 평균은 48.4만 마일마다 사고가 발생해서 테슬라의 안전 성능이 훨씬 뛰어나다는 것을 강조하는 메시지다. 다만, 한 가지 의문스러운 점이 있다.

NHTSA는 제조사가 차량을 안전하게 개발할 수 있도록 차량 제조법규를 만들고 관할하고 있으며 그 안전 성능 중 가장 중요한 것이 충돌이다. 차량 안전 법규 역시 큰 틀에서 보자면 Crash-Avoidance(충돌 회피)와 Crashworthiness(충돌 강건성)으로 나뉘어 대부분의 안전 규정이 이 둘 중에 하나에 포함될 수 있을 정도이다. 즉, NHTSA의 관심은 교통사고 이전에, 'Crash'에 관한 것이다. 따라서 NHTSA의 통계도 Crash를 기준으로 제공되고 있다.

https://www.nhtsa.gov/data/crash-data-systems

Crash Data Systems | NHTSA

NHTSA는 Crash의 정의를 다음과 같이 제공하고 있다.

“Crash” means any physical impact between a vehicle and another road user (vehicle, pedestrian, cyclist, etc.) or property that results or allegedly results in any property damage, injury, or fatality. For clarity, a subject vehicle is involved in a crash if it physically impacts another road user or if it contributes or is alleged to contribute (by steering, braking, acceleration, or other operational performance) to another vehicle’s physical impact with another road user or property involved in that crash.

즉, Crash란 "차량과 다른 도로 사용자(차량, 보행자, 자전거 등) 및 기타 소유물끼리의 물리적인 충격이 발생하여 파손, 부상, 또는 사망이 발생하는 것" 이다. 테슬라의 Safety Report에 의하면, NHTSA 통계 데이터는 이러한 Crash가 48.4만 마일에 한 번씩 발생한다는 것을 보여준다.

그런데 테슬라가 제공한 자신들의 통계의 기준은 Crash가 아니다. 테슬라는 계속 Accident라는 표현을 쓰고 있다. 이 Accident에 대한 구체적인 정의를 찾을 수가 없다. Accident를 어떻게 정의하는지는 중요한 부분이다. Accident가 Crash보다 넓은 범위를 포함하는지, 혹은 좁은 범위를 포함하는지에 따라 테슬라의 데이터가 과소해석 되었는지 혹은 과대해석되었는지 여부가 달라지게 된다. 즉, 만약에 Accident의 정의를 '사망 사고'라고 가정한다면 즉, Crash보다 굉장히 좁은 범위로 한정한 것이라면 거의 대부분의 충돌 시나리오를 정의에 포함시킨 Crash와 Accident의 비교는 무의미해진다.

이번에 NHTSA의 사고 보고 의무화 명령에 의해 테슬라의 Crash 데이터가 축적되고 분석되면, 그를 기반으로 계산된 'crash per miles driven' 값이 나올 수 있고 이 값이 기존에 발표해온 Safety Report의 값과 비교가 될 수도 있다. 테슬라가 지금까지 Safety Report에서 NHTSA의 Crash 통계를 비교 대상으로 삼지 않았다면 상관 없었겠지만, 업계 평균과 비교해서 자신들의 시스템의 상대적 안전성을 보여주려고 했다는 의도가 보이는 상황에서 수치가 많이 조정될 경우에는 이 역시 과대 마케팅으로 간주될 여지도 있을 것이다.

 

그럼 어떤 기회가 있는가?

그럼에도 불구하고 테슬라의 오토파일럿은 현존하는 주행보조 기능 중에서 단연 뛰어난 성능을 갖춘 것으로 알려져 있다. 현재 주행보조 기능의 성능을 정량화할 수 있는 어떤 표준도 존재하고 있지 않기 때문에, (이러한 표준의 필요성 여부를 떠나) NHTSA가 모든 제조사에게 공통된 기준으로 수집하는 Crash Data는 테슬라에게는 자신들의 뛰어난 성능을 경쟁자들의 것과 직접 비교해서 보여줄 수 있는 기회이기도 하다. Safety Report를 통해 공개되어온 수치들이 만약 실제로 과장된 것일지라고 해도 NHTSA의 데이터수집 결과 여전히 경쟁사들 대비 우세한 Crash data를 보여주는 것이 드러날 경우 '오토파일럿이 다른 경쟁사 또는 업계 평균의 주행보조 시스템 보다 뛰어나다.'라는 그들의 주장을 뒷받침해줄 수 있는 좀 더 객관적인 정보가 생기는 셈이다.

 

NHTSA의 Crash 데이터 수집에 대한 우려

NHTSA의 이번 조치는 정확한 데이터를 수집하여 올바른 규정을 만들고 소비자가 더 안전하게 주행보조 및 자율주행 자동차를 이용할 수 있게 하겠다는 좋은 취지의 배경을 가지고 있다. 게다가, NHTSA는 이 데이터들을 관련 법령에 의거해서 대중에게도 공개할 것이며 제조사가 대외비 처리 요청을 할 수는 있지만 그것이 받아들여질지는 장담하지 않겠다는 입장을 밝혔다.

NHTSA has determined that the information required by the Incident Report form set forth in Appendix C, with three exceptions, does not include any potential CBI exempt from public disclosure under either the Safety Act (49 U.S.C. § 30167(a)) or the Freedom of Information Act (5 U.S.C. § 552(b)(4)). But for these three exceptions described below, the 11 nature of the crash-related information required by the Incident Report form is widely available to the public from law enforcement agencies and through motor vehicle crash databases maintained by NHTSA.9 NHTSA, therefore, will not keep this information confidential, intends to make it publicly available, and is providing no assurance to you to the contrary. See Food Marketing Inst. v. Argus Leader Media, 139 S. Ct. 2356, 2363 (2019).

(중략) The instructions provided in Appendix B explain how you can make such a claim of confidentiality. Making a request for confidential treatment does not ensure that the information claimed to be confidential will be determined to be confidential. See 49 C.F.R. Part 512, Subparts D-E.

데이터의 올바른 관리와 분석은 아무리 강조해도 지나치지 않다. 그리고 데이터의 부족은 올바른 분석을 어렵게 만들지만 많은 데이터는 사실을 왜곡시킬 수 있는데 후자의 대표적인 사례가 캘리포니아 DMV의 자율주행 시스템 Disengagement Report이다.

https://21cpilot.tistory.com/64

[캘리포니아 DMV 2020 Disengagement Report] (1) 들어가기(feat. Collision Report)

캘리포니아 DMV는 캘리포니아주에서 자율주행 시스템을 평가하는 제조사들로부터 매년 Disengagement Report의 제출을 요구한다. 어떤 상황에서, 얼마나 자주 시스템이 Disengagement되는지에 대한 정보를 수집하겠다는 것이다. 제조사가 제출한 이 데이터들은 DMV의 웹사이트를 통해서 그대로 공개되어 일반인이든, 언론이든 누구든 접근하여 확인할 수 있다. 이 모든 데이터들의 투명한 공개는 필요한 이들에게 중요한 자료로서 활용되겠지만 하나 큰 부작용을 낳았다. 캘리포니아 DMV가 Disengagement 정보를 요구한 것은, 그 데이터를 바탕으로 제조사들의 순위를 줄세우겠다는 의도가 아님에도 불구하고 많은 언론 매체에서 이 데이터를 바탕으로 적절치 않은 평가 잣대를 들이대고 순위를 매겼고, 이것이 마치 그 제조사들의 실력인것 마냥 비춰지는 결과를 낳았다.

분명히 해야할 것은 캘리포니아 DMV는 각 제조사로부터 데이터를 받을지언정 평균 값을 계산으로 그를 기준으로 제조사별 비교를 하지 않는다. 데이터가 충분히 공개되어 있다보니 Miles per disengagement를 제조사별로 계산해서 비교하고 줄세우는 관습이 언론 매체를 통해서 생긴 것이지 이는 DMV의 의도와 전혀 다르다. 하지만 매년 동일한 문제가 계속되다보니 데이터를 요구하는 주체인 DMV에게도 비난의 화살이 돌아가고 있다.

예를들어, 한 매체에서 정리하여 공개한 위 2019년도 결과를 보면 Miles per disengagement 수치가 가장 좋은 제조사는 바이두였다. 그런데 실상을 들여다보면 바이두는 4 대의 차량만 평가했고 약 11만 마일을 주행하는 동안 시스템 해제는 6번 밖에 일어나지 않았다고 보고했는데, 이는 자율주행 모드가 단 한번도 해제되지 않고 서울과 부산을 70번 왕복할 수 있는 거리를 주행했다는 의미다. 그래프 상에서 3위에 해당하는 크루즈의 경우 2019년도에 복잡한 샌프란시스코 시내에서 225대의 차량을 가지고 평가를 했는데 고작 4 대의 차량을, 어떠한 시스템 해제 임계치를 설정했는지도 모르는 바이두가 크루즈보다 뛰어나다는 이미지를 줄 수 있는 이러한 데이터 해석이 과연 올바른가?

이번 NHTSA의 Crash 데이터 수집 및 공개로 인해 이와 비슷한 문제가 발생한 것이라는 예측이 무리도 아니다. 아직 어떤 데이터가 얼마나 제공되어야하는지 구체적인 가이드라인은 나오지 않았지만, NHTSA는 캘리포니아 DMV의 사례를 기억해서 데이터 정의 및 관리에 유의해야 하고 향후 언론 역시 공개된 데이터를 이슈화 시키는데만 사용하지 말고 올바르고 합리적인 방식으로 가공하고 분석하려는 노력이 필요하다.