金磊 賈浩楠 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
講個「鬼故事」:
夜深人靜,一輛特斯拉Model X在空無一人的公路上行駛著。 瞬間!它看到了「人類看不見的東西」,於是便剎車在路上停了下來……
來感受一下這種feel。
而這輛特斯拉停車的原因,竟然是因為它看到了「幽靈」 。
坐在自動駕駛車上,大半夜的又遇上這種事情,可以想象駕駛員的心理陰影了。
……
但實際上,其實特斯拉看到的並非是「不乾淨的東西」,而是被稱作「幽靈」(Phantom)的一種攻擊自動駕駛輔助系統(ADAS)的圖像——摻雜在路邊廣告牌視頻中。
這種圖像出現的時長極短,可以用一瞬間來形容。
人類駕駛員往往不會注意到,但對於自動駕駛系統,卻成為「強有力的停車信號」。
也千萬不要小瞧這種攻擊,它給自動駕駛車輛和人類帶來的後果,或許要比這個「鬼故事」還要恐怖。
隱藏在廣告牌中的「幽靈攻擊」
在這個案例中,「幽靈攻擊」是隱藏在路邊廣告牌的視頻中。
當時,視頻中的內容是這樣的。
看似是美味的漢堡包廣告,但播放期間摻雜了一張「幽靈攻擊」圖像,這就是「鬼故事」的罪魁禍首——0.42秒的停車路標。
人類駕駛員大概率在行駛過程中,不會過分關注路邊廣告牌的視頻內容;即使看到了這一閃而過的圖像,也基本會認為是個bug。
但自動駕駛系統就不同了,頂著那麼多雷達和攝像頭,時時刻刻「眼觀六路」。
於是,搭載特斯拉HW3的Model X,便採納了這一瞬間停車路標的「建議」。
可能你會說,特斯拉Model X或許是個例。
別急,「幽靈攻擊」還在Mobileye 630 Pro系統做了實驗。
這次隱藏在視頻中的內容是這樣的。
此次的「幽靈攻擊」是一張僅閃現0.125秒的「90英里/小時」路標。
於是,搭載Mobileye 630 Pro的車輛,在「看到」這個視頻後,速度就真的控制在了90……
「幽靈攻擊」都是這種一閃而過的圖像嗎?
不不不。
在路上投影個圖像,也是可以的。
這一次,「幽靈攻擊」不再是轉瞬即逝,而是一直好好的「躺」在那裡。
然後搭載HW2.5的特斯拉,就把圖像檢測成了「人」,車速從18英里/小時,降到了14英里/小時。
來看下AI眼中的世界:
安全,一直是自動駕駛領域十分關注的問題,也是必須要保障的一個點。
但為什麼如此簡單的圖像攻擊,就能把這些可以說最先進的自動駕駛系統,秒秒鐘給忽悠「瘸」了呢?
「幽靈攻擊」背後原理
其實,攻擊自動駕駛輔助系統的手段再簡單不過了,根本不涉及黑進特斯拉或Mobileye的系統。
算法的錯誤操作,也絕不是代碼執行效果不佳的結果。
它們不是典型的功能性缺陷(如緩衝區溢出、SQL注入),可以通過添加 “if “語句輕鬆修補。
這種現象反映了模型對於目標檢測的基本缺陷,即它們沒法分辨目標的真假。
簡單的辦法攻擊是直接使用投影儀,在車輛行進線的道路上投射出一個物體,可影像以是行人、汽車、交通標緻等等。
第二種方法,是在路邊的廣告牌上顯示出某些干擾信息,比如限速、轉彎等。
這些干擾信息的持續時間不用很長,只需要幾百毫秒的時間,就足以讓號稱最先進的特斯拉Autopilot作出錯誤反應。
研究人員分別測試了Autopilot系統和Mobileye面對干擾持續時間出錯的概率:
可以看出來,干擾持續時間超過0.4秒,兩個系統100%會出現問題。
Moblieye的反應更是比特斯拉自動駕駛靈敏的多,幾乎對任何細微的干擾都會有反應。
特斯拉反應慢半拍,在這種攻擊下卻意外起到了「正面作用」。
如何解決這個問題?
研究人員提出了GhostBuster,意思是「捉鬼小分隊」。
「分隊」表示這套系統不止一個神經網絡,團隊在整個「捉鬼」行動中設置了5層不同的深度神經網絡。
其中,核心的四個輕量級深度CNN,通過檢查物體的反射光、上下文、物體的表面和形狀深度來評估物體的真實性和可靠性。
第五個模型使用前四個模型的結果給出最終判斷。
這套5個不同神經網絡構成的系統在測試中取得了不錯的成績,在閾值設置為零的情況下,AUC超過0.99(ROC曲線下面積),TPR為0.994(真陽性比率)。
使用了GhostBuster的帶有七個傳感器的自動駕駛系統,攻擊成功率從之前的99.7-81.2%降低到0.01%。
單看實驗結果,這套系統效果十分好,但是研究人員也指出了它的不足,因為這套系統只針對純視覺的自動駕駛方案,而激光雷達的案例未考慮在內。
而對於特斯拉這種純視覺方案來說,一旦系統認定“非障礙”,其他攝像頭探測結果都會被忽略,形成嚴重安全隱患。
特斯拉自動駕駛方案的侷限
其實,對激光雷達有所瞭解的讀者,應該會質疑這項研究的有效性。
因為,激光雷達是不受視覺圖像干擾的。
團隊也承認一般採用混合方案的自動駕駛系統基本能解決這個問題。
但,路上確實也存在想像特斯拉這樣純視覺方案的車不是?
這項研究揭示的自動駕駛模型本身的缺陷,大大降低了不法之徒攻擊的難度和成本。
由於不涉及算法底層代碼,幽靈攻擊甚至不要求任何專業知識,也不要複雜的前期調查準備,花幾百美元買個投影儀或者無人機就能實現。
而且在攻擊時,不需要人員靠近現場,完成後也能迅速撤離,難以留下證據。
低成本的犯罪手段,造成的後果輕則交通擁堵,重則車毀人亡。
科技媒體Wired已經就這個問題聯繫了特斯拉和Mobileye,但是雙方均未迴應。
研究團隊
這次「幽靈攻擊」的實施者,是來自以色列本·古裡安大學和美國佐治亞理工學院的研究人員。
△Ben Nassi
Ben Nassi是本·古裡安大學的一名博士生,之前也曾在谷歌工作過一段時間。感興趣的研究領域包括網絡安全和物聯網設備。
目前他在Cyber@BGU實驗室工作,從事無人機、智能灌溉系統和可穿戴技術等課題的研究。
△Yisroel Mirsky
Yisroel Mirsky是佐治亞理工學院博士後研究員,同時也是以色列BGU網絡安全研究中心的高級網絡安全研究員。
他的主要研究方向包括在線異常檢測、對抗性機器學習、區塊鏈等。
而這並不是他們第一次攻擊自動駕駛輔助系統。
今年早些時候,他們便用投影技術,在夜間的道路和路邊的樹上,投影出人和路標等圖像,成功「忽悠」了搭載HW2.5的特斯拉Model X和搭載Mobileye 630設備的車輛。
而這一次的實驗,是「幽靈攻擊」的升級版,不再是長時間的將攻擊圖案放在可監測的位置,而是隻讓它們出現一瞬間,也同樣達到了攻擊的目的。
當然,他們也不是第一個做類似「幽靈攻擊」的實驗人員。
早在2016年,來自浙江大學、南卡羅來納大學的研究人員,便利用無線電、聲波和發光設備來欺騙甚至隱藏物體,讓特斯拉的傳感器無法發現它們。
當然,在真實生活中,類似是攻擊、欺騙事件也是時有發生。
例如國外網友在駕駛特斯拉過程中,發現自動駕駛系統,竟然把雨天車輛尾燈在路上的反射光,識別成了路障。
還有今年6月,特斯拉Model 3在高速公路上,直接撞上了橫躺的大貨車……
那麼,如果你是智能車的車主,是否遇到過諸如此類的「恐怖事件」?
歡迎在評論區分享你的故事。
轉載請超鏈接註明:頭條資訊 » 特斯拉大半夜“見鬼”!空無一人的路上,它卻看見“幽靈”秒剎車
免責聲明 :非本網註明原創的信息,皆為程序自動獲取互聯網,目的在於傳遞更多信息,並不代表本網贊同其觀點和對其真實性負責;如此頁面有侵犯到您的權益,請給站長發送郵件,並提供相關證明(版權證明、身份證正反面、侵權鏈接),站長將在收到郵件24小時內刪除。