感知是指無人駕駛系統從環境中收集信息并從中提取相關知識的能力。其中，環境感知特指對于環境的場景理解能力，例如障礙物的位置，道路標志、標記的檢測，行人車輛的檢測等數據的語義分類。 而定位是指相對于環境的位置，車輛需要根據傳感器得到的數據直到自己此時此刻位于地圖的哪個位置，因此認為定位也是感知的一部分。

規劃是無人車為了某一目標而做出一些有目的性的決策的過程，對于無人駕駛車輛而言，這個目標通常是指從出發地到達目的地，同時避免障礙物，并且不斷優化駕駛軌跡和行為以保證乘客的安全舒適。規劃層通常又被細分為任務規劃，行為規劃和動作規劃三層。

控制則是控制理論的內容，包括如何控制無人車，給出精準的命令和指令使得車輛準確地按照規劃好的路線行進的能力。

本文重點闡述感知，感知就像是人類的感官，了解世界、認知世界，而車輛感知環境需要不同類別的傳感器，通過這些傳感器的信息，獲得障礙物的位置、速度以及可能的行為，獲得可行駛區域，交通規則等，感知領域采用的傳感器有激光雷達、單目攝像頭、雙目攝像頭、深度相機、毫米波雷達等等。下面簡要介紹幾類傳感器和其特性。

首先介紹激光雷達，激光雷達是一類使用激光進行探測和測距的設備，它能夠每秒鐘向環境發送數百萬光脈沖，它的內部是一種旋轉的結構，這使得激光雷達能夠實時的建立起周圍環境的3維地圖。通常來說，激光雷達以10Hz左右的速度對周圍環境進行旋轉掃描，其掃描一次的結果為密集的點構成的3維圖，每個點具備（x,y,z）信息，這個圖被稱為點云圖（Point Cloud Graph）。激光雷達因其可靠性目前仍是無人駕駛系統中最重要的傳感器，然而，在現實使用中，激光雷達并不是完美的，往往存在點云過于稀疏，甚至丟失部分點的問題，對于不規則的物體表面，使用激光雷達很難辨別其模式，在諸如大雨天氣這類情況下，激光雷達也無法使用。為了理解點云信息，通常來說，我們對點云數據進行兩步操作：分割和分類。其中，分割是為了將點云圖中離散的點聚類成若干個整體，而分類則是區分出這些整體屬于哪一個類別（比如說行人，車輛以及障礙物）。點云的分割聚類有眾多方法，不在這里一一展開，但是點云的處理以及合理的算法都會對最終的結果產生很大的影響。

單目攝像頭獲得的是二位圖像信息，缺失了三維世界中的深度信息，保留了顏色信息，是密集矩陣，在圖像上用像素點描繪物體，基本類型是采用RGB三通道表達并且呈現出顏色。

雙目攝像頭需要有兩個攝像機之間的變換矩陣，這樣的結構更加類似于人類的雙眼，通過兩個視角可以恢復物體在三維世界當中的深度信息，但是每個時刻兩個相機的計算量是很大的。

深度相機能夠實時地測量每個像素點的距離。但是,由于這種發射--接受的測量方式,使得它使用范圍比較受限。用紅外進行深度值測量的 RGB-D 相機,容易受到日光或其他傳感器發射的紅外光干擾,因此不能在室外使用,同時使用多個時也會相互干擾。對于透射材質的物體,因為接受不到反射光,所以無法測量這些點的位置。此外,深度相機在成本、功耗方面,都有一些劣勢。

毫米波雷達分為遠距離雷達（LRR）和近距離雷達（SRR），由于毫米波在大氣中衰減弱，所以可以探測感知到更遠的距離，其中遠距離雷達可以實現超過200m的感知與探測。毫米波雷達的多項優勢，使其目前在汽車防撞傳感器中占比較大。與激光雷達返回的數據坐標不同，其返回的是物體點的距離角度信息。

下表展示了幾種傳感器的差別和不同環境下感知效果的優劣。表中提及的Ultrosonic是超聲波測距儀，常見于私家車輛的倒車系統，HD-map是人們常說的高清地圖，在無人駕駛領域也是重要的組成部分，此處加入分析并不公平，因為HD-map不是傳感器，它無法進行動態物體的感知，甚至靜態目標的更新也是HD-map無法判斷的，在這里它只是環境的一種綜合表現形式，它的獲取需要相機、雷達等其他傳感器。

不同傳感器之間的原理和優缺點分析

從表中可知，無人駕駛感知中的傳感器，不是舍此即彼的關系，而是需要多種傳感器共同感知環境，獲得更加可靠的數據，因此多傳感器融合在無人駕駛當中必不可少，在多傳感器融合下進行無人駕駛感知，可以有效結合各個傳感器的優勢，或得更加可靠的數據，得到更加廣泛的使用環境。視覺配合毫米波雷達，視覺配合激光雷達、深度相機配合毫米波雷達、激光雷達配合毫米波雷達等等，都成為研究人員嘗試的方案。同時經過研究人員的驗證，結合好的融合算法，多傳感器的融合結果往往都強于某一類傳感器的單探測結果。因此，無人駕駛感知中的多傳感器融合方法是值得探尋和研究的。

在這些傳感器中，相機和激光是研究者熱衷的兩種傳感器，兩者輸出數據也大相徑庭，在眾多研究者的文章中，有關它們的算法最多，涉及這兩者的融合算法也是研究熱點，在實際應用車輛中也常見這兩種傳感器，甚至涉及它們的融合算法。因此本文會選擇激光雷達和攝像機這兩種傳感器作為實驗傳感器，同時選擇目標級融合。

在傳感器融合理論中，根據融合中心的位置劃分數據集融合、特征級融合（即目標級）以及決策級融合，數據級融合會把傳感器采集的原始數據直接送入融合中心進行計算，這樣的結果損失是最小的，但是計算量是最大的，RoadStar公司曾提出將兩種傳感器數據直接作為輸入送進神經網絡框架的方法，但是目前找到的相關成果有限。特征級融合是傳感器得到結果在決策時考慮融合，這種誤差最大，但是計算量最小。無人駕駛中普遍采用特征級融合，即每個處理單元預處理檢測目標，融合中心給出目標結果。