[코디악 로보틱스] MPI(Miles per intervention) 보다 LPM(Learnings Per Mile)

 

<캘리포니아 DMV의 Disengagement report>

캘리포니아주 차량 관리국(DMV, Department of Motor Vehicles)은 캘리포니아주에서 자율주행 자동차를 평가를 희망하는 기업/기관에게 승인을 내주는 권한을 갖고 있다. 2021년 1월 21일 기준으로 캘리포니아 DMV로부터 승인을 받은 곳은 모두 56곳으로 확인된다. 작년에만해도 약 70개가 넘는 곳이 승인을 받았는데 아마 승인 유효 기간(2년)이 종료된 기업이 재신청을 하지 않은 것으로 보인다. (특히, 작년에는 국내 삼성전자도 승인 기업 리스트에 있었지만 지금은 보이지 않음)

캘리포니아 DMV의 승인을 받아 자율주행 자동차를 평가하게 되면 두 유형의 데이터 제출 의무를 가진다.

1) Collision report

2) Disengagement report

Collision report는 도로 위에서 평가를 하다가 충돌 사고가 발생했을 경우 관련 사실과 정보를 사고 발생 10일 이내에 제출해야 한다. Disengagement report는 자율주행 평가 차량이 얼만큼 자주 시스템 해제(disengagement)를 기록했는지를 제공하는 것이며, 이는 많은 논란과 함께 마치 자율주행 시스템의 성능을 평가하는 잣대로 인식되어 오기도 했다. (관련 자세한 내용은 아래 두 기사를 참고)

http://www.digitaltoday.co.kr/news/articleView.html?idxno=248621

[모빌리티NOW] 美 캘리포니아주서 자율주행 자동차 평가받으려면?

https://www.theverge.com/2020/2/26/21142685/california-dmv-self-driving-car-disengagement-report-data

Everyone hates California’s self-driving car reports

 

Disengagement report라는 일종의 자율주행 시스템 평가 메트릭이 논란을 일으킨 이유를 한마디로 이야기하자면 기업마다 평가를 실시한 환경과 자율주행 시스템 해제에 대한 threshold 값이 다른 상황에서 단순히 시스템 해제 발생 숫자로 성능을 평가하는 것을 바람지 못하기 때문이다.

 

위 그래프는 한 매체가 캘리포니아 DMV가 공개한 2019 Disengagement report의 데이터를 정리한 것인데 시스템 해제가 발생할 때마다 주행한 평균 거리를 나타낸다. 즉, 숫자가 클 수록 시스템 해제 없이 더 많은 거리를 주행했다는 것인데 단순히 숫자만 놓고 보면 바이두, 웨이모, 크루즈, AutoX 순으로 뛰어난 성능을 보인 것처럼 보일 수 있다. 하지만 앞서 언급했듯이 평가 주체마다 주행 환경이 다르고 시스템 임계치가 다르기 때문에 단순 비교는 무의미하다. 더군다나 1위를 기록한 바이두는 고작 4대의 차량만 평가한 반면 웨이모와 크루즈는 각각 148대, 228대를 가지고 평가했다.

뿐만 아니라, Collision report를 제출한 기업도 웨이모와 크루즈가 대부분이다. 그렇다고해서 웨이모와 크루즈가 충돌이 잦아 시스템 성능이 뒤떨어진다고 말할 수 없는 것도 마찬가지다. 이들은 실제로 실증 사업에 가까운 수준의 평가를 하고 있는 기업이기 때문에 기타 평가 주체들보다 압도적으로 많은 대수의 차량을 더 복잡한 환경과 안전에 대한 보수적인 시스템 임계치를 가지고 평가하고 있다. 

 

<코디악 로보틱스의 LPM 메트릭>

자율주행 트럭을 개발하고 있는 코디악 로보틱스는 지난 해 NHTSA에 제출한 자발전 안전 자기 검증서(Voluntary Safety Self Assessmnet)를 통해 캘리포니아 DMV의 Disengagement report를 우회적으로 비판한적 있다. 코디악 로보틱스는 MPI(Miles Per Intervention)라는 1회 운전자 개입 당 평균 주행거리 평가 메트릭은 다음과 같은 이유로 절절하지 않다고 설명했다.

     첫째, 설명이 되는 부분보다 애매한 부분이 많다. 높은 MPI를 기록하는 방법 중 하나는 Wasting miles를 만들어내는              것이다. 즉, 단순한 환경에서 오래 주행하면 된다. 대신 시스템은 배울 것이 없다.

     둘째, 개입을 하면서 백업 운전자가 배우는 것도 있다. MPI 수치는 작아지더라도 백업 운전자가 배워 개발에 활용할              수 있는 사례들이 있다.

     셋째, MPI에 집중하는 것은 안전 문제도 있다. 백업 운전자는 시스템이 특정 이슈를 해결할 수 있는지 확인하기 위                해 개입을 꺼리게 될 수 있다.

 

두번 째 이유와 관련 코디악 로보틱스는 LPM(Learnings per mile)란 개념을 사용한다고 했다. Disengagment나 intervention 없이 너무 오래 주행하면, 배울 것이 없다고 판단했기 때문이다. 그래서 실제 그런 상황이 발생하면 일부러 시스템을 더 자세히 들여다 본다고 한다.

세번 째 이유와 관련 'letting ride 정책(시스템이 어떻게 하는지 보려고 위험하게 놔두는 것)'에 좋지 않은 시각을 가지고 있기 때문에, 시뮬레이션과 Structured testing을 강조한다고 한다. SOTIF(ISO/PAS 21448)에 걸맞는 그들의 시뮬레이션 방식이 두 가지 타입이 있다고 소개한다.

     첫째, 수동으로 만든 Synthetic 시뮬레이션이다. Edge case를 직접 구현하여, 특정 평가 시나리오를 타겟삼아 시뮬레               이션한다.

     둘째, Log-based 시뮬레이션 입니다. 실도로에서 얻은 데이터를 사용하는 것으로, 실도로에서 경험한 흥미로운 시나         리오를 가져와 평가하는 것입니다.

첫번 째 방식은 특정 S/W를 평가하기 용이하고 버그를 제거하기도 좋은 방식이다. 두번 째 방식은 실도로 기반 자료로 진행하기 때문에, flexibility는 떨어지는 편이고, synthetic 방식과 달리 특정 상황이나 기능을 평가하긴 어려운 방식이다.