It's Not Just Tesla: All Other Driver-Assist Systems Work without Drivers, Too
Our testing found that none of today's driver-assistance systems can sniff out drivers aggressively misusing them.
www.caranddriver.com
Car and Driver라는 매체에서 현재 판매되고 있는 17개의 모델을 가지고 주행보조 시스템을 자체적으로 평가한 결과를 공개했다. 총 16개 제조사의 차량이 평가 대상이었으며 테슬라의 경우만 모델 S와 모델 3 두 모델을 평가하여 실제 평가 차량은 총 17대였다.
내용을 소개하기에 앞서 Car and Driver는 구체적으로 어떤 주행보조 시스템을 평가했는지 상세히 언급하지는 않았다. 일부 구체적으로 언급한 시스템도 있지만, 그렇지 않은 모델이 대부분이라 이 평가 결과는 상대적인 비교 자료로서 적합하지 않을 수도 있다. 예를들어, 같은 GM 브랜드인 캐딜락 에스칼레이드와 쉐보레 서버반 모델이 이번 평가 대상에 포함되었는데 에스칼레이드는 SAE 레벨2 주행보조에 해당하는 Super Cruise가 탑재되어 있고 서버반에는 한 단계 낮은 레벨1 주행보조 기능만 장착되어 있다. 따라서 이 둘의 설계 의도와 위험 대응은 다른 전략을 쓰게 만들어져 있을 수도 있어 직접적인 상대 평가는 다소 적절치 못해 보이기도 한다.
미국의 경우 주행보조 시스템에 대한 구체적인 법규가 마련되어 있지 않고 최근 NCAP 평가에 ADAS 성능을 반영하겠다는 동향 정도가 존재한다. 따라서, 규제 당국이 아닌 다른 외부 연구기관이나 매체에서 평가를 한 사례를 볼 수 있다. 이번 Car and Driver 평가가 있기 전에는 작년에 두 차례 대규모 평가가 있었는데 미국 소비자 평가지인 컨슈머레포트에서도 총 17개의 주행보조 시스템을 평가하여 결과를 발표했고 얼마 뒤 영국 탯참 리서치와 유로 NCAP이 공동으로 평가 결과를 공개하기도 했다. 이 둘은 전문기관 답게 앞서 지적한 평가 대상을 정확히 레벨 2 주행보조 시스템으로만 선정했다.
물론, 그렇다고 Car and Driver의 차량 선정이 잘못되었다는 것은 아니다. 현재 도로 위에는 레벨 2 주행보조 시스템만 사용되고 있는 것이 아니기 때문에 레벨 1 역시 어떤 식으로 설계되었는지 확인해보는 것도 의미가 있다. 단, 이 결과가 상대 비교로 이어지는 것은 옳지 못하다는 것을 언급하고 싶다.
Car and Driver의 기사는 제목만 봐도 어떤 내용일지 짐작이 된다. 테슬라 오토파일럿과 FSD에 사용에 있어서, 운전석을 벗어난다든지 잠을 잔다든지 등의 Misuse가 계속 이슈가 되고 있는데 이것이 비단 테슬라에서만 일어날 수 있는 일이 아님을 지적하고 싶었던 것 같다.
아래 표는 이번 평가 결과를 정리한 것이다.
이번 평가는 총 4 가지 방식으로 진행했고(편의상 A, B, C, D로 구분) 모두 운전자 유효성 즉, 운전자가 제 역할을 하고 있는지를 시스템이 얼마나 정확히 판단하여 그에따른 조치를 하는지 평가하는 의도였다. 운전자 유효성 감지 요소는 안전벨트 착용 여부, Hands-on 여부, 운전석 착석 여부 이 세 가지로 구분한 것으로 보인다.
A : 시속 60 mph 스마트크루즈 상태에서, 운전석 벨트를 풀기
B : 시속 60 mph 스마트크루즈 상태에서, Hands-off 하기
C : 시속 60 mph 스마트크루즈 상태에서 Hands-off를 하고, 1.1kg 짜리 보호대를 스티어링휠에 달기
D : 운전석에서 조수석으로 이동하기
단, 캐딜락 에스칼레이드의 경우 B, C 평가에서 운전자 유효성 감지 요소로 Hands-off를 보지 않고 운전자모니터링시스템(DMS)를 평가하기 위해 전방 시야를 주시하지 않는 방식으로 진행했다.
[A] 시속 60 mph 스마트크루즈 상태에서, 운전석 벨트를 풀기
: 스마트크루징을 하다가 운전석 벨트를 풀었을 경우에는 시스템 해제 후 차로 내 정지하는 시스템(테슬라, 캐딜락), 주행 보조 시스템만 즉시 해제시키는 시스템(스바루, 닛산, BMW) 그리고 아무런 변화가 없는 시스템(나머지 전부)으로 구분됐다.
개인적인 생각에는 운전자 유효성이 감지되지 않았을 때, 갓길 정차도 아니고 '주행 차로 내 정차'가 과연 안전한 방법인지는 의문이 든다. 그리고 시스템을 해제시키는 것 역시 마찬가지다. 운전자 유효성이 감지 안되는 경우는 운전자 부주의 또는 정말 긴급 상황(몸상태 악화 등)로, 어느 쪽을 타겟으로 하느냐에 따라 대응 방식이 달라질 수 있을 것 같기도 하다. 제조사마다 이 방식이 3 가지로 나뉘는 것 보면 각 제조사의 설계 및 안전 철학이 담겨있지 않나 싶다. 앞서 언급했지만 관련 규제가 없는 상황이라 이 3가지 시나리오는 현재 일단 모두 용인되는 상황이다.
[B] 시속 60 mph 스마트크루즈 상태에서, Hands-off 하기
: Hands-off가 감지될 경우, 대부분의 차량이 20초 이내에 1차 경고를 하는데 테슬라 모델 S(40초), 제네시스 G80(40초), 현대 엘란트라(51초), 벤츠 E450(45초)는 눈에 띄게 긴 수치를 보였다. 참고로 테슬라는 2019 MY 모델을 평가했는데, 그러니까 벌써 3년 전 모델인데, 당시와 달리 요즘 나오는 모델들은 경고 주기가 짧아지기도 했다.
제네시스 G80과 현대 엘란트라는 1차 경고까지 걸리는 시간이 오래 걸릴뿐만 아니라 1차 경고 후 운전자 대응이 없을 경우 조치시간도 타 제조사 비해 압도적으로 높다. BMW X7은 1차 경고까지 5초, 이후 조치까지 추가로 25초 밖에 시간을 주지 않아요. 총 30초가 걸리는데 이에 비해 엘란트라는 142초를 주는 셈이다.
하지만 이 시간이 길다고 해서 덜 안전하거나, 문제가 있다고 평가하긴 어렵다. Hands-off를 감지하는 것은 운전자 유효성을 확인하기 위한 하나의 수단인데, 요즘에는 infrared camera를 활용한 운전자모니터링 시스템(DMS)으로 운전자의 눈을 촬영하여 유효성 감지를 직접 할 수도 있다. 그렇기 때문에, 비록 Hands-off되고 있다고 할지라도 DMS를 통해 운전자 유효성을 확인하고 있다면, Hands-off 경고는 굳이 주지 않거나 좀 늦게 줘도 상관 없는 셈이다. 또한, 시스템 즉시 해제가 반드시 안전하지 않다라는 전제가 맞다면, 운전자 유효성이 감지되지 않더라도 가급적 일정 시간 동안은 주행보조 시스템을 유지시켜주는 것이 안전 운행에 도움이 된다고 판단할 수도 있다. 끝으로, 소비자 사용성 측면에서 봤을 때 잦은 경고는 사용의 편리성을 떨어트릴 수 있기 때문에 경고 주기는 상품성 측면에서도 고민해봐야할 요소가 된다.
향후 출시될 GM 브랜드의 새로운 Super Cruise에는 Hands-off 허용 상황이 기존대비 훨씬 늘어나는데 이게 가능한 이유는 시스템 성능의 향상도 있지만 DMS 기능을 강화했기 때문이기도 하다. 상호 보완을 하는 셈이다. 곧 출시될 포드의 Blue Cruise 역시도 아마 이런 방향으로 갈 것으로 예상한다.
평가 결과 중에 벤츠의 경우(*1)는 트랙 길이가 짧아 60 mph 크루즈 상태에서 hands-off 후 1차 경고 이후 조치까지의 시간 측정이 불가능했다고 한다. 그만큼 경고 송출 및 조치까지 오래 걸린다는 이야기가 되겠다. 표에 있는 90초라는 수치는 50 mph에서 같은 평가를 했을 때의 결과라고 한다.
Hands-off 1차 경고를 무시했을 때 조치 방법에 대해서도 [A]평가 결과처럼 몇 가지 유형으로 나뉘게 되는데 차로 내 정지, 차로 내 저속 주행(5 mph), 시스템 해제, 크루즈 컨트롤만 작동 등이 있었다.
[A]와 [B] 결과를 비교해보면, 안전벨트를 풀었을 때 차로 내 정지를 시켰던 제조사들은 Hands-off 경고 무시 때도 역시 차로 내 정차를 시킨다는 것을 알 수 있다. 그리고 안전벨트를 풀었을 때 시스템만 해제 시켰던 제조사들은 역시 Hands-off 경고 무시 때에도 시스템만 해제 시켰고, 아무런 변화를 주지 않았던 제조사들은 Hands-off 경고 무시 때에는 시스템을 해제시키거나, 감속을 시키는 것으로 나타나 전반적으로 벨트를 풀었을 때보다 Hands-off 상태를 더 위험한 상황으로 간주한다는 것을 유추해볼 수 있다.
[C] 시속 60 mph 스마트크루즈 상태에서 Hands-off를 하고, 1.1kg 짜리 보호대를 스티어링휠에 달기
: 이번 평가는 일종의 치팅을 하는 것인데, Hands-off 상태를 속이기 위해 1.1kg 짜리 보호대를 스티어링휠 스포크에 걸어뒀다. 여기서는 BMW와 벤츠를 제외하면 모든 제조사가 Hands-on으로 인지를 해서 별다른 조치를 취하지 않았다. BMW와 벤츠는 Hands-on 감지를 토크 감지 방식이 아니라 터치 감지 방식으로 했기 때문에 이 방식으로는 검증이 불가능했던 것으로 보인다. 참고로 캐딜락 에스칼레이드의 Super Cruise에 한해서, Hands-off가 아니라 DMS를 활용한 Eye-off 감지 능력에 대한 치팅을 시도했는데, 눈알 안경을 카메라 시야에 뒀을 때 Super Cruise의 DMS는 정말 그 안경을 사람의 눈으로 인지해서 경고를 발송하지 않았다.
[D] 운전석에서 조수석으로 이동하기
: 마지막으로, 운전석에서 조수석으로 이동했을 때 주행보조시스템이 어떻게 반응하는지를 평가했는데, 모든 제조사의 시스템이 아무런 경고 및 대응도 하지 않았다.
운전"석" 유효성을 가장 쉽게 알 수 있는게 무게 감지다. Advanced Airbag이 탑승자의 무게에 따라 전개량을 달리하게 되고 주로 조수석에 장착이 되는 것으로 알고 있다. 추측컨데(정확하지 않음) 어짜피 운전하는 사람은 성인이니, 어린아이가 탈 가능성이 있는 조수석에만 이 기능을 넣어서 승객을 효과적으로 보호하겠다는 의도가 아닐까 싶다. 따라서 운전석에는 현재까지는 무게로 사람을 인지할 수 있는 센서가 미포함되어 있지 않나 생각한다. (사실 관계는 확인이 필요하다.)
일단 이정도로 네 가지 평가 결과를 정리를 해봤다.
사실 이 평가 내용을 보며 그다지 유쾌하지는 않았다. 재밌는 평가라는 생각은 들었는데, 평가 결과에서 나타난 우려 사항을 보완해야한다는 주장에 대해서는 다음과 같은 의문도 들었다.
1) 운전자를 보조하기 위해 만들어 놓은 시스템을 Misuse 하는 사람들이 있어 문제가 된다. 대부분의 사람들은 정상적인 이용을 하는데, 과연 이러한 Misuse를 '설계적으로' 막아내는게 어디까지 가능할까? 벨트를 풀었을 때 대응 방식이 제조사마다 다 다른데 무엇이 더 옳고, 무엇이 덜 옳은지에 대한 기준이 있나?
2) 설계적으로 막는다고 한들, 예를들어 D에서 얘기한것처럼 운전석에서 운전자 유효성을 감지하는 센서를 추가하는 바람에 차량 원가가 올라간다면, 결국엔 올바른 이용을 통해 주행보조 기능의 가치를 경험하고 있는 고객들에게까지도 비용이 전가되는 셈인데, 이게 과연 맞는 방향인 것인지?
3) 운전자 유효성 감지 실패 시, 차로내 정차는 과연 best practice인가?
자율주행 관련되어 토의를 할 때 가장 쉽게 빠지게되는 오류 중 하나가 "자율주행차는 만능이어야 한다."는 생각이다. 3단계 자율주행 중에 갑자기 사슴이 튀어나오면 어떻게 하지? 방법이 없다 그냥 사고가 나게된다. 이런 돌발 상황까지 막으라고 자율주행차를 개발하는 것은 아니라고 생각한다. 자율주행차 개발 당위성을 논하며 빠지지 않는 주장이 교통사고의 94%가 인간의 실수에 의해 발생하며 이 수치를 자율주행으로 막을 수 있다는 것이다. 자율주행차는 이렇게 휴먼 에러를 막아줄 수는 있어도 불가항력적인 상황에서까지 안전한 대응까지도 자율주행차의 역할은 아니다.
주행보조 시스템도 마찬가지다. 해당 시스템의 역할은 보조이다. 그리고 이를 misuse 할 수 있는 대표적인 케이스에 대해서(hands off, eye off) 안전장치를 설계해 두었는데 엣지 케이스에 해당하는 사례를 가져와 이 부분을 어떻게 막을 수 있냐고 문제제기하는 것이 과연 올바른가는 또 다른 문제인 것 같다.
다만, 주행보조 시스템의 안전성 문제는 계속해서 고민해야 한다. 얼마전 글에서도 주장했지만 소비자에게 판매되는 차량에서는 자율주행 레벨 4 도입은 아직도 멀었거나 실질적으로 어렵다고 보고(기술적 허들 말고도 수용성 측면의 허들도 있기에), 레벨 2 주행보조나 레벨 3 조건부자율주행 시장이 계속 확대되며 수익을 창출해낼 것으로 전망한다. 그리고 자율주행의 수용성 측면에서 보면 이 두 영역에서 소비자의 수용성이 레벨 4/5 자율주행 기술에 대한 수용성으로 이어질 수 있기 때문에 장기적으로 봤을 때 레벨 2 주행보조와 레벨 3 조건부자율주행 이 둘은 편의 기능에서 안전 기능으로 진화해야한다고 생각한다.