The End of Starsky Robotics

https://medium.com/starsky-robotics-blog/the-end-of-starsky-robotics-acb8a6a8a5f5

The End of Starsky Robotics

 

2015년, 나는 무인 자율주행 트럭에 대한 아이디어에 몰입하게 되었고 Starsky Robotics를 설립했다. 2016년, 우리는 실제로 사람이 운전하지 않은 채 산업 현장에서 합벅적으로 트럭을 운행할 수 있는 첫번 째 회사가 되었다. 2018년에는 폐쇄된 도로에서 완전히 사람을 태우지 않고 주행할 수 있는 첫번 째 회사가 되었고 2019년에는 고속도로에서 무인 주행을 할 수 있는 첫번 째 회사가 되었다.

그리고 2020년, 우리는 폐업을 하였다.

나는 여전히 우리가 만든 제품, 팀, 조직에 대해 자부심이 있다. PhD들과 트럭 운전사들이 협업을 했고, 똑똑한 사람들이 문제를 해결했고, 미래의 물류가 어떻게 바뀔 것인지를 연구했다. 섀클턴이 남극을 탐험했던 것 처럼, 우리는 아무도 해보지 않은 일을 했다. 그런데 섀클턴처럼 결국 우리 계획대로 되지 않았다. (섀클턴 : 영국의 남극 탐험가. 4차 탐험 중 사망)

 

"무슨 일이 일어났나?"

다른 것보다 '타이밍'이 우리의 불운의 원인이었던 것 같다. 나는 여전히 우리의 접근 방식이 맞다고 생각하지만, 실질적인 솔루션을 만들어 내기에 이 세상은 아직 기대에 미치지 못하는 AI들로 가득차 있었다. 믿었던 기술들이 계속 기대를 충족시키지 못하면서, 큰 돈을 쏟아붓던 투자자들도 등을 돌리기 시작했다. 작년에 tech IPO가 업계에 엄청난 에너지를 불어 넣었지만 트럭 운송 산업은 18개월 넘게 불황을 이어왔다.

 

"자율주행"이란 세계

자율주행 산업의 문제들은 여기에 다 적기에는 너무나 많다. 대부분의 팀들이 일하는 professorial pace, 실질적인 개발 이정표의 결여, 로보택시 사업 모델 같은 것은 없다는 공공연한 비밀 등. 하지만 가장 문제였던 것은 지도 학습(Supervised Machine Learning)은 너무나 과장되어 있다는 것이다. 그것은 C-3PO(영화 스타워즈에 나오는 드로이드)와 같은 실제 인공지능이 아니라 단지 정교한 패턴-매칭 도구 수준이다.

 

2015년으로 돌아가서, 사람들은 나중에는 아이들이 운전하는 법을 배울 필요가 없어질 것이라고 생각했다. 지도 학습(Supervised Machine Learning)은 AI 덕분에 불과 몇 년만에 빠르게 발전했는데, 처음에는 고양이를 인지하는 수준이었지만 이제는 운전을 도와 줄 정도로 바뀌었다. AI는 무어의 법칙을 따르고 있는 것 처럼 보였다.

 

5년 뒤, 자율주행 전문가들은 그 다음 code commit 이후 더 이상 범용 인공 지능(Artificial General Intelligence)을 약속하지 않는다.( Five years later and AV professionals are no longer promising Artificial General Intelligence after the next code commit.) 대신, 자율주행차라는 것은 최소 10년은 먼 미래라는 공감대가 형성되었다.

엣지 케이스, 즉 AI를 구축하는데 있어 가장 어려운 부분이 드물게 발생하는 상황을 스스로 대응하는 것이라는 것은 잘 알려져 있다. 사실, 더 좋은 모델일수록 새로운 엣지 케이스를 대응하기 위한 데이터 셋을 찾기 더 어려워진다. 더 좋은 모델일수록 그것을 개선하기 위해서는 더 정확한 데이터 셋이 필요하게 된다. 우리는 AI의 성능이 무어의 법칙을 따라가는 것을 보기보다는, 그 AI의 시스템 개선 비용이 기하급수적으로 증가하는 현실에 직면하고 있다 - 지도 학습(Supervised Machine Learning)은  S 커브를 따르는 것 같다.

 

S 커브는 5에서 15명의 엔지니어가 있는 Comma.ai와 100명이 넘는 테슬라 팀이 서로 다르지 않은 이유를 보여준다. 또는 왜 Starsky가 오로지 30명의 엔지니어로 공공 도로에서 무인 차량 평가를 할 수 있는 3개 회사 중 하나가 될 수 있었는지도.

믿기 어려운 일은 아니다 - S 커브를 보이는 것은 새로운 기술 개발에 있어 흔한 현상이다. 칩 기술이 지속적으로 서로를 대체해 나가면서 가장 좋은 것이 전반적인 곡선을 형태를 만들어 나감에 따라, 무어의 법칙은 실제 수 많은 S 커브로 이뤄져 있다. 문제는 현재 기술을 인간이 얼마나 운전을 잘하는 지에 비교하려고 할 때다. 나는 다음과 같은 몇 가지 옵션이 있다고 생각한다:

L1 - 기술이 인간의 수준을 넘어섬

L2 - 기술이 인간의 수준에 거의 도달함

L3 - 기술이 아직 인간 수준에 많이 부족함

 

 

만약 L1이라면, 자율주행 선두 업체들은 단지 제품을 양산하기 위한 안전 성능만 증명하면 된다. L2가 현실이라면, 이 문제를 해결하기 위한 더 큰 능력있는 팀들이 10억 달러에서 250억 달러의 투자는 해야할 것이다. 자율주행은 큰 회사들을 위한 산업이라고 거대 투자자들이 말할 때, 그들은 정말 그렇게 생각하는 것이다(this is the bet that they are making.) 하지만 만약 현실이 L3라면,  현재 기술 중 어느 것도 그것을 뛰어넘을 수 없을 것 같다. 누군가 자율주행이 10년은 더 남았다고 말할 때마다, 그것은 그들의 확실한 생각이었다. 제품을 만들어 판매하지도 않고 10년을 버틸 수 있는 스타트업들은 많지 않기 때문에, 현재 자율주행 기업 중에 AI decision maker(즉 자율주행차)를 만들 수 있는 회사들은 거의 없다는 것이다.

 

"왜 우리는 살아남지 못했는가."

벤처 자금 조달의 역동성에 익숙하지 않은 사람들에게는 위의 모든 것들이 Starsky에 투자하기 훌륭한 사례로 보여질 지도 모른다. 우리는 좋은 사업(연간 트럭 한대당 600달러의 가치 정도일 것으로 생각)을 하기 위해 "진정한 AI"가 필요하지 않았기 때문에 위와 같은 것들이 분명해 짐에도 불구하고 기금을 올릴 수 있어야만 했다. 불행하게도, 투자자들이 어떤 특정 분야에 관심이 식을 때, 그들은 전반적으로 투자를 줄이는 경향이 있다. 우리는 또 투자자들이 사업을 실제로 운영하는 것을 좋아하지 않는다는 것을 보았고, 안전에 대한 과도한 투자가 투자자들에게 먹히지 않는다는 것도 보았다.

 

  

"트럭킹 블루스"

만약 원격제어가 자율주행 도전과제의 절반을 풀어낸다면, 다른 절반은 오퍼레이터에 의해 풀릴 것이다. 트럭 운송 회사로서 당신은 당신이 싸울 장소를 고를 수 있다. 당신의 시스템은 오직 당신이 고른 루트와 조건 위에서 안전하면 된다. 트럭 운송 업계 사람들의 본성은 오퍼레이터로서의 결정을 강화시켜 준다. 트럭 운송 회사들은 굉장한 기술을 가진 고객이 아니고 아무도 safety critical on-road 로봇을 어떻게 사야하는지 모른다. Starsky가 완벽하게 자율주행을 하고 안전성을 완벽하게 검증했다고 할지라도, 필요한 수익을 낼 수 있는 충분한 시스템을 배치해는데는 수년이 걸릴 것이다.

 

트럭 운송 회사들이 safety critical robot을 어떻게 사는지는 모를지라도, 트럭 운송 능력을 확보하는 방법은 알고 있다. 모든 대형 트럭 회사들이 마찬가지다. 그들의 중개업자들은 소규모 플릿과 자가 소유 운영자로부터 운송 능력을 확보하는데, 그들 중 다수는 자신들의 자체적인 안전 표준을 얼마나 신뢰해야 할지 몰라 팔장을 끼고 있다. Starsky에서 우리는 25명 이상의 브로커와 트럭회사들이 이미 무인화되었다고 믿는 트럭에 화물 계약을 할 의사가 있음을 알았다. 이것은 S/W 회사의 전통적인 90% 마진율 보다 낮은 이윤이지만, 우리는 50%에는 도달할 수 있을 것으로 기대했다.

 

VC가 자본 요건과 성장이 같더라도 이윤이 50%인 5억달러짜리 회사보다, 90%인 1억 달러 사업을 선호한다는 사실을 내가 깨닫는데 너무 오랜 시간이 걸렸다. 그리고 성장율도 마찬가지다. 자율주행 보급의 가장 큰 제한 요소는 세일즈가 아니라 안전이다.

 

 

 

"아무도 안전을 좋아하지 않는다. 그들은 기능을 좋아한다."

2019년 1월, 우리의 안전 책임자, PR 책임자, 그리고 나는 회의실에 모여 전략 수립 회의를 했다. 이슈는, "안전이라는 것이 반드시 생각해야 하는, 충분히 흥분 되는 것으로 만들기 위해 우리는 어떻게 해야하는가"였다.  그 회의를 하기 한 달 전에, 우리는 VSSA를 제출했다. 그것을 똑똑한 기자들에게 전달했지만, 내용을 제대로 자세히 다루지 않고 그들은 대부분 재택근무에 대해서만 기사를 썼던 것이다. 우리는 별 결론 없이 회의를 끝냈고, 어떻게 safety engineering 자체만으로 기사를 낼 수 있을만큼 안전이라는 가치를 매력적으로 어필할 수 있을지 방법을 알아내지 못했다. 그리고 이후로도 정말 방법을 알아내지 못했다.

 

문제는 우리(Starsky)의 무인 차량를 실도로에서 평가하는 것과 같이, 사람들은 좀처럼 일어나지 않는 것에 흥분하고 있다는 것이다. 한 대의 비행기 추락 사고가 매일 100명씩 죽어가는 교통 사고보다 더 많은 주목을 받는다. 정의에 의하면 안전에 대비하는 것은 예외적인 상황에 대비하는 것이다. 당신은 특별히 예외 없이 작동하는 시스템을 만들려고 하고 있다.

 

Safety engineering은 제품이 고장나게 되는 조건과 고장의 심각성을 정확하게 이해하고, 이러한 조건들이 얼마나 자주 일어나서 이 제품이 사람을 어떻게 다치게 하는지, 그리고 어느 정도의 사고까지는 수용가능하다고 괜찮다고 결정했는지 등에 대해 고도로 문서화 하는 프로세스이다.

 

이 작업은 정말 정말 어렵다. 사실 너무 어려워서, 2017년 9월부터 2019년 6월 무인 주행을 할 때까지 우린 이 작업 밖에 못했다. 우리는 우리의 시스템을 문서화 했고, 안전 백업 시스템을 만들었고, 반복적으로 고장 테스트를 하고, 고치고, 또 반복했다.

 

문제는 그 모든 작업이 눈에 보이지 않는다는 것이다. 투자자들은 창업자들이 그들에게 거짓말을 하기를 기대한다 - 그런데 어떻게 그들은 우리가 실제로 개발한 무인 자율 주행이 교통 사고 사망율을 100만분의 1 밖에 되지 않는다고 믿을 수 있을까? 만약에 그들이 무인라는 것이 얼마나 어려운지 모르고 있다면, (우리가 아니라) 다른 사람이 바로 그 다음 주에 할 수 있는 것이 아니라는 것을 어떻게 알게 될까?

 

반면에 우리의 경쟁자들은, 그들의 엔지니어링 노력을 추가적인 AI 기능을 만드는데 투자했다. 차로를 변경하거나, 평면가로(surface street)에서 주행하는 것을 결정할 수 있는 Decision maker들은 그들이 충분한  맵데이터를 가지고 있다고 가정할 수 있다. 정말 깔끔하고 최신 기술이다.

 

투자자들은 감명을 받았다. "가끔 작동함"으로 부터 "통계적으로 신뢰할 수준"으로 점프하는 것은 10에서 1000배나 더 힘든 일이라는 것은 중요하지 않았다.

 

 

"그래서, 다음은 무엇인가?"

2019년 11월 12일경, 우리의 2천만 달러 시리즈 B는 무너졌다. 우리는 지난 15일(아마도 내 생애 최악의 날) 자금부족으로 인해 대부분의 팀을 일시 해고했고, 아무 대책도 없이 직원들이 쫒기지 않도록(비자 문제, 임산부의 건강 관리 문제 등) 회사를 매각하는 절차에 착수했다.

 

우리는 1월 말까지 많은 임시 직군을 운영할 수 있었고, 그 동안 나는 무인차 운행에 필요한 많은 특허를 포함한 회사 자산을 매각하고 있었다. 침몰하는 배의 선장처럼, 나는 대부분의 선원을 구명 보트에 태웠고 이제 내가 다음에 무엇을 해야하는지 생각하는 동안 얼음물이 내 발목까지 차오른 것을 알아채게 되었다.

 

나의 관점에서, 나는 Human equivalence와 가장 흡사한 것은 L3라고 생각한다. 즉, 아무도 안전한 AI safe decision에 배팅해서는 안된다는 것이다. 향후 2년 동안 계속 성장 동력을 잃을 현재 회사들은 이후에 계속 이 분야에 투자를 하지 않았고, 희망적으로 본다면 5년 동안 또 다른 고속도로 무인 주행하는 회사들이 나타날 것이다.

 

내가 틀렸으면 좋겠다. 향후 5년에서 10년 동안 경제 성장을 제한할 것으로 보이는 노동 인구의 고령화, 매년 트럭 사고로 인해 목숨을 잃는 4천명의 사람들은 불필요한 희생이다. 만약 우리가 Starsky에서 뭔가를 보여주었다면, 만약 당신이 제한된 유즈 케이스에 있는 차량으로 부터 사람을 끄집어 내는 것에 광적으로 집중한다면, 그것은 현실이 될 수 있다. 하지만 그 비전을 실현하려면 다른 사람이 되어야 할 것이다. (If we showed anything at Starsky, it’s that this is buildable if you religiously focus on getting the person out of the vehicle in limited-use cases. But it will need to be someone else to realize that vision)

 

모든 것을 마치며,

스테판. 

.