? 威盛亮相2019智能汽车视觉大会并发表主旨演讲(附演讲全文)_自动驾驶_大象汽车网

威盛亮相2019智能汽車視覺大會并發表主旨演講(附演講全文)

2019年9月5-6日,AutoCam 2019智能汽車視覺大會在上海落幕。威盛亮相該大會并展出最新智駕產品,該大會云集了智能汽車視覺技術領域權威的專家和學者,威盛高級技術總監唐亮先生代表威盛發表《智能駕駛員與環景監測技術實作及應用》演講。

威盛亮相2019智能汽車視覺大會并發表主旨演講(附演講全文)(圖1)

唐亮先生代表威盛發表主旨演講

唐亮先生作為威盛電子的高級技術總監,對于人工智能、計算機視覺、圖形加速、底層硬件驅動、操作等都有非常豐富的經驗,并且是國內在該領域的技術帶頭人之一。此次唐亮先生深刻解析了智能駕駛員與環景監測技術實作及應用,以威盛的轉型之路引入技術正題,詳解了環視監控與駕駛員監測中威盛的多項技術內核,非常專業地分析了自動駕駛技術遇到的問題和最新解決方式,滿滿的干貨讓聽眾受益良多。

威盛亮相2019智能汽車視覺大會并發表主旨演講(附演講全文)(圖2)

唐亮先生深度講解自動駕駛技術問題

演講全文如下:

威盛于1987年成立,最初是X86芯片組市場,在2000年時,收購S3 Graphics,擁有了自身GPU專利;2002年,威盛嵌入式事業部成立,陸續制定各大板型標準;2013年,威盛嵌入式事業部成為中國區主營業務,行業解決方案;到2019年,專注計算機視覺、人工智能、邊緣計算技術,嵌入式智能。

威盛亮相2019智能汽車視覺大會并發表主旨演講(附演講全文)(圖3)

演講時展示出的圖片

這個表格是今年六月,IIHS(美國公路安全保險協會)對于司機理解L2可以做些什么操作而做的一個調查,一共有2005人參與了調查。可以看出,1/3以上的人認為手不扶方向盤是可以的,1/5以上的人認為打電話是沒事的,1/10的人認為發短信是不影響的,3~5%的人認為睡一小覺,看看也是沒有問題的。當然,實際上對于L2,這些操作都是不合理的。IIHS的調查是為了說明,目前人們對于技術能做到什么是不了解的,這也是自動駕駛要解決的一個重要問題。這說明大眾對于自動駕駛的信任程度是非常高的,而這種高信任度則把自動駕駛推入了必須做到極致才能落地的境地,勉強落地讓人感覺人工智能變成了人工呆能。

回到我們的話題,這里我介紹兩個典型的應用,一個是環視監控,一個是駕駛員監測,最后我們再討論一下在實際應用中碰到的問題,以及解決的思路。

現在新出廠的乘用車,很多都已經把輔助駕駛變成了標準配置,可以做到停車輔助,行人監測,甚至可以遠程監控車輛運行。環視監測,可以通過完整展示車輛周圍的狀況,進而清除司機的盲區,來增強駕駛安全。

威盛亮相2019智能汽車視覺大會并發表主旨演講(附演講全文)(圖4)

環視架構圖

我們先看一下環視的架構,首先,環視可以連接最多8個攝像頭的輸入,普通車輛只需要前、后、左、右四個攝像頭就可以獲得車輛周圍的所有內容。攝像頭采用190°的魚眼廣角鏡頭,可以盡可能多的覆蓋周邊的環境。設置,分離線標定和動態標定,通過幾何變換把圖像拼接后輸出到顯示設備上。離線標定主要是通過標定圖案,來計算各個攝像頭之間的位置信息以及魚眼變換的參數。動態標定則可以根據實時圖像的規則圖案,來計算攝像頭的細微變化。

威盛亮相2019智能汽車視覺大會并發表主旨演講(附演講全文)(圖5)

多攝像頭同步

要解決的問題不單單是幾何變換,由于車輛高速運動,攝像頭之間的同步變得非常重要,幾個攝像頭的圖像同步信息必須統一控制。以六個攝像頭同步為例(見上圖)觸發攝像頭單元的同步指令后,攝像頭輸出同步后的圖像,同步并打包六幀圖像,通過威盛的拼接算法,生成最后的圖像。我們注意看上圖中紅色圈出的直行箭頭,左面一副就是沒有同步導致出現了2個箭頭,右面則是正確同步后的拼接結果。

威盛亮相2019智能汽車視覺大會并發表主旨演講(附演講全文)(圖6)

環視制作流程

現在我介紹一下環視制作流程,這里離線標定已經完成,已經獲得了幾何變換,拼接和混合的參數。首先是捕獲,進行反魚眼校正,得到正常比例的圖像。接著把透視圖為頂視圖,并組合側視圖和底視圖,生成場景圖,進行拼接,生成頂點和索引數據,映射到三維模型上,最后獲得我們看到的圖像。

威盛亮相2019智能汽車視覺大會并發表主旨演講(附演講全文)(圖7)

二維圖像映射到三維模型

二維圖像是如何變換到三維模型上的呢?以環視前攝像頭為例(見上圖)左面第一幅圖像就是魚眼鏡頭獲得的圖像,把它分為上下兩個部分,黃色的框和綠色的框,黃色部分被映射到側評面,綠色部分被映射到地平面,通過后續的拼接,就可以實現3維圖像的顯示了。

威盛亮相2019智能汽車視覺大會并發表主旨演講(附演講全文)(圖8)

環視流程圖

這是一個完整的環視的流程圖(見上圖)在上面的環視制作流程基礎上,我們增加了動態標定部分,亮度和顏色校正部分。動態標定之前已經提到過,亮度和顏色的矯正主要是因為光照在車輛的不同方向是不一樣的,這樣導致拼接出來的圖像比較凌亂,我們可以看到右上角的兩幅圖,左面是沒有做校正的,右面是經過了亮度,顏色矯正的,第二幅圖像的真實感更強。

在這個例子里,用到的所有的算法,都是有幾何學、圖形學、數學依據的,每一步都是明確沒有二義性的。從軟件的角度看不存在不確定性的問題。如果出現問題,很容易找到具體某一個步驟,可以分析出問題的原因,并解決。這也是傳統軟件解決問題的方法。

接下來,我來介紹一下駕駛員監測。

駕駛員監測,是一種基于計算機視覺的,通過攝像頭獲得駕駛員圖像信息,并根據司機面部形態,比如視線方向,臉部表情,根據體態,比如頭,手以及軀干的位置來對駕駛員的行為做出分析,比如疲勞的情況,打哈欠,閉眼,瞌睡,或者是注意力分散的情況,聊天,打電話,發短信,喝水,抽煙等等,根據行為的對于駕駛的影響程度,發出安全提示信息。

駕駛員監測的工作原理,就是把圖像輸入中的關鍵信息,面部檢測和分割,眼部形態,身體部位,關鍵信息抽取后,作為輸入給深度神經網絡來訓練,神經網絡對各種情況做出分類,這樣就可以識別出正常駕駛和注意力分散的情況。進而發出報警信息。

威盛亮相2019智能汽車視覺大會并發表主旨演講(附演講全文)(圖9)

和實現DMS的過程

具體流程如上圖所示,在Linux工作站上,我們對樣本進行訓練,獲得了培訓過的模型,通過威盛自己的深度神經網絡優化器,獲得優化后的模型,使用模型工具把優化后的模型為.dlc文件,作為后續嵌入式平臺進行實時計算的基礎。

在嵌入式平臺上,DMS應用通過威盛DMS SDK來加載神經網絡模型,通過CPU,GPU以及DSP的協同工作,獲得計算結果。

威盛亮相2019智能汽車視覺大會并發表主旨演講(附演講全文)(圖10)

威盛CNN優化器的效果

這里介紹一下威盛CNN優化器的情況,雖然現在智能芯片對于神經網絡都做了加速,但有限的算力永遠跟不上需求的發展和變化,通過對算法的優化,可以提升計算速度,減少存儲空間,在有限的計算能力下也能達到目標。從上圖的數據可以看到,在保持精度的前提下,通過不同的優化方式,在存儲空間上,可以減少30%,在計算速度上達到13~18%的提升。

對比這兩種典型的應用,我們可以看到,通過神經網絡來解決視覺問題,根本上是靠訓練來解決問題,模型確定后,訓練的數據樣本決定了未來的輸出結果。對沒有接觸過的樣本,輸出結果是不確定的。

既然初始樣本數量必然是有限的,那么這個問題如何來解決呢?

數據的問題,就用數據來解決

我們要通過持續學習,來解決數據不足的問題。整個數據引擎是一個不斷迭代的過程,當我們在邊緣端碰到不確定的情況,通過網絡回傳給服務端,服務端進行標注后,給訓練流程,得到新的訓練結果,進而部署到車輛邊緣測。通過及時的,在時間域減少問題暴露的可能性,也從另一個方面降低了問題發生的比率。一個問題暴露10天和暴露1年的危害性是完全不同的。

另外一個問題就是視覺傳感器本身的局限性,攝像頭會受到外界環境的干擾,雨雪天氣,光照情況,都會影響效果。

比如如果視覺判斷,前面一切正常,毫米波雷達判斷,前面有障礙物,你如何去取舍?在信息判斷的最后階段已經沒有足夠的信息進行取舍。

環境條件對于基于視覺的輔助駕駛有著嚴重的影響,通過與不同的雷達,激光雷達,超聲波或其它傳感器協同工作,才能變得更高效。

最后介紹一下威盛的硬件平臺,目前我們Mobile360系列硬件平臺,有D710,L900, M820, 大家有興趣的話,可以到場外展示區了解具體情況。

附威盛展示區圖片:

威盛亮相2019智能汽車視覺大會并發表主旨演講(附演講全文)(圖11)

威盛向與會人員展示智駕產品

威盛亮相2019智能汽車視覺大會并發表主旨演講(附演講全文)(圖12)

與會人員對威盛產品深感興趣

關于威盛電子

威盛電子是全球高集成嵌入式平臺及解決方案領導廠商,致力于人工智能、物聯網、計算機視覺、無人駕駛、醫療自動化及智慧城市方面應用。公司總部位于臺灣新北市新店區,并通過威盛全球化網絡布局,在美國、歐洲及亞洲的高科技核心區域設立了分支機構。客戶群涵蓋全球各大領先高科技、電信、電子消費品牌。

本文相關詞條概念解析:

演講

演講又叫講演或演說,是指在公眾場所,以有聲語言為主要手段,以體態語言為輔助手段,針對某個具體問題,鮮明、完整地發表自己的見解和主張,闡明事理或抒發情感,進行宣傳鼓動的一種語言交際活動。同時也是一種對自身溝通能力的提升。演講者只把演講的主要內容和層次結構,按照提綱形式寫出來,借助它進行演講,而不必一字一句寫成演講方式,其特點是能避免照讀式演講和背誦式演講與聽眾思想感情缺乏交流的不足——演講者根據幾條原則性的提綱進行演講,比較靈活,便于臨場發揮,真實感強,又具有照讀式演講和背誦式演講的長處——事先對演講的內容有充分準備,可以有一定的時間收集材料,考慮演講要點和論證方法,但不要求寫出全文,而是提綱挈領的把整個演講的主要觀點、論據、結構層次等用簡練的句子排列出來,作為演講時的提示,靠它開啟思路。

上一篇 : 繽力十足 盡興開跑,杭州試駕A+級高效能運動轎車吉利繽瑞 下一篇 : 續航600km+,4秒破百,軸距3米,明夏上市!蔚來、威馬羨慕嫉妒

相關閱讀

精彩推薦

必赢时时彩-首页 极速PK10-首页 彩票2元网-首页 大发3D-首页 彩票走势图-首页 1分彩官方-首页