California Is Collecting the 2019 Robocar Disengagement Reports. It Should Stop
California Is Collecting the 2019 Robocar Disengagement Reports. It Should Stop
Upcoming California Disengagement reports are measuring the wrong thing and they are measuring it wrong, and they are pushing companies to do things that may be unsafe in order to meet their wrong and useless metric.
www.forbes.com
캘리포니아 차량관리국(이하 DMV)은 제조사들에게 매년 disengagement report(자율주행 시스템이 인간 운전자에게 개입을 요청한 상황)를 제출하도록 요구한다. 여기에 포함되는 내용들은 사실 제조사들이 자발적으로는 보여주지 않을 것들이다. 이 보고서는 얼마나 자주 백업 드라이버가 제어권을 가지고 갔는지(그럴 필요가 있다고 판단했거나 S/W가 요청했기 때문에)를 보여준다. 그리고 disengagement 사이에 얼마나 많은 주행을 했는지도 포함하게 된다.
이 보고서가 굉장히 궁금하긴 하지만, 과연 이것을 요청할 권한이 있는지는 모르겠다. 이 보고서를 통해 얻는 결과들은 각 회사마다 다르게 계산이 되었고 그런 것들이 대중에게 정확하게 공개되진 않는다. 이 보고서가 잘 쓰여지도록, 즉, disengagement 사이에 가능한 많은 주행거리가 기록되도록 누군가는 압박을 받을 수 있다.
이론적으로, disengagement사이의 주행거리는 그 S/W가 얼마나 좋고 그래서 차가 얼마나 안전한지를 보여주는 척도가 될 수 있고, 양산 수준에 어느정도까지 도달했는지를 가늠해볼 수 있는 척도도 된다. 그리고 시간이 지나면서 그 회사가 얼마나 발전했는지를 확인할 수도 있다. 이론적으로는 이러한데, 실제로도 그럴까?
위험해 보이는 모든 상황에서 백업 드라이버는 개입을 해야 한다. 회사는 그들에게 위험이 '확실'할 때까지 기다리라고 교육 시키지 않는다. 만약 시스템이 보행자를 앞에 두고 제동을 하지 않는다면, 백업 드라이버는 차량이 보행자를 칠 때까지 기다리지 않는다. 나중에, 엔지니어들은 당시 상황이 기록된 자료를 검토하며 백업 드라이버가 개입하지 않았다면 어떤 결과를 낳았을지를 확인해볼 것이다.
만약 이렇게 한다면, '필요한 개입', '사고를 막은 개입'이라는 이름으로 더 재미난 숫자를 보게 될 것이다. 아마 후자에 대해 더 많은 관심을 갖게 될 것이다. 전자는 사고를 일으키진 않지만 차선을 침범하는 것 같은 상황일 수 있는데 왜 이런 일이 일어났는지를 분석하고 고치고 싶을 것이다.
서로 다른 회사들은 어떤 종류의 개입이 보고서에 포함되고, 혹은 포함되지 않아야 하는지에 대한 다른 접근 방식을 갖고 있다. 그래서 단순한 숫자 비교가 무의미한 것이다.
Having good numbers
어려움 중 하나는 모두가 좋은 숫자를 기록하고 싶어한다는 것이다. 보고되지 않는 개입과 개입할 필요성이 없을 것 같은 상황 모두에 대해 압박이 있다. 정말 필요할 때만 개입을 하는 것이 가장 좋은 상황이지만, 실제로는 그것을 판단할 충분한 시간이 없는 경우가 많고, 우리는 백업 드라이버들이 더 안전한 판단을 하기를 바란다. 회사의 수준을 개입의 숫자로 판단하게 된다면, 그들은 그 숫자를 최소한으로 줄이려고 할 것이다. 진짜 이런 일이 생겨서는 안된다.
이처럼, 숫자로 단순히 차량의 안전성을 측정할 수 없고 safety culture를 훼손 시킬 우려가 있다.
대부분, 이러한 숫자는 Waymo에 대한 경의로움으로 이어지게 되고, 다른 어떤 회사들이 아직도 갈길이 멀었다는 인식을 갖게 만들어 준다. 각 회사들이 얼마나 주행거리를 기록했는지를 보게 되고, 그것으로 말미암아 얼마나 많은 평가를 하고 있는지, 그들의 재정상태가 어떤지까지 추측하게 한다.
이러한 궁금증을 가질 수 있지만, 좋은 보고서를 만드는 것이 대중의 관심을 끌고, 법규의 기반이 될 수 있을지에 대한 것은 무엇도 확실하지 않다. 주당국의 의무는 회사들이 숫자를 보고하도록 하는 것이 아니라, 실제로 안전하게 평가를 하고 있는지 감시하는 것이다. 현재, 누구도 캘리포니아에서 양산 서비스를 하고 있지 않다. 몇몇 회사는 백업 드라이버를 태우지 않아도 되는 권한을 받았지만, 나머지 회사들은 반드시 백업 드라이버와 함께 주행해야 한다.주당국은 S/W가 얼마나 안전한지를 볼 것이 아니라, 실제로 그들이 안전하게 평가하고 있는지를 봐야 한다. 시간이 지나 양산을 고려할 시점이 되었을 때, S/W가 안전한지는 그 때 검증을 해야하는 것이다.
.
Uber’s fatality is connected to not demanding the right numbers
NTSB가 UBER사고를 조사했을 때, 그들은 S/W를 사고의 원인으로 지목하지 않았다. 백업 드라이버의 치명적인 실수와 나쁜 Safety culture를 원인으로 지목했다. UBER는 제대로 된 백업 드라이버를 고용하지도, 교육하지도, 모니터링하지도 않았다.
애리조나는 (disengagement 보고)규정이 없지만 UBER는 캘리포니아에서도 평가를 하고 있기 때문에 보고서를 제출했었다. 이 보고서는 '안전한 운전자 시스템'이 얼마나 좋은지를 놓치고 있다면 disengagement 같은 것은 아무 의미 없는 것이다.
백업 드라이버가 얼마나 잘 훈련받고 능숙한지 알려야 한다. 그들이 얼마나 '필요한 개입'을 잘 수행하는지를 알아야 하고 얼마나 신속한지도 알아야 한다. 심지어 아무도 없는 텅빈 도로에서도 최대한 안전한 조작을 할 수 있어야 한다.
NTSB가 보고한 대로, UBER는 운전자가 주의를 집중하고 있는지 모니터링을 했어야 했다. 그런데 그렇게 하지 않았다. 지금은 드라이버의 행동을 비디오를 통해 보고 있고, 시야가 도로를 주시하고 있는지 감시하는 S/W를 설치했다. 이러한 모든 조치들이 좀 더 안전한 주행을 가능하게 할 것이다.
Unmanned robocars
머지 않아, 많은 회사들이 무인 자율주행차를 도로 위에 내놓을 것이다. 그렇게 되면, 그들이 안전하게 주행하는지를 확신할 수 있는 메트릭이 필요할 것이다. 차량관리국과 다른 당국들은 그것을 만들기 위해 노력해야 한다. 회사들은 자체적으로 그들의 시스템의 안전 성능이 일정 수준 이상이라고 생각하고 있지만, 정부는 이 성능을 다각도로 평가할 수 있는 방식을 회사들과 함께 개발해 내야 한다. 양산을 할 시점이 되기 전에 평가 기준도 마련이 되어야 한다.