編者語：后臺回復“入群”，加入「智駕最前沿」微信交流群

想要讓車輛知道前方有什么、距離多遠、是否可以靠近，首先要做的是讓其“看”清楚環境。在眾多車載感知硬件中，與人類看到世界最類似的一個感知硬件便是車載雙目攝像頭了。

圖片源自：網絡

車載雙目攝像頭（也稱立體視覺攝像頭，Stereo Camera）模仿人眼的視覺機制，通過兩個略有間距的攝像頭同時拍攝同一場景，比較兩幅圖像之間的差異，從而計算出深度信息。

與單目攝像頭只能識別形狀、顏色，或依賴學習來估算距離不同，雙目系統能夠直接量化物體到車輛的距離，這對于碰撞風險評估、精準停車、障礙物避讓等任務至關重要。

基本原理，用兩張圖還原三維信息

簡單理解車載雙目攝像頭，就是將兩個攝像頭并排安裝，朝向前方，它們之間有一個固定的橫向距離，稱為“基線（baseline）”。同一個物體在左圖和右圖中的成像位置通常會有差異，這個水平方向的位置差異稱為“視差（disparity）”。對左右圖像進行幾何校正后，可以把匹配點限制在同一水平線上進行搜索，視差就是像素在水平方向上的偏移量。

圖片源自：網絡

根據成像模型，物體的真實距離Z與相機焦距f、基線B和視差d之間滿足一個簡單的關系：Z = f × B / d。也就是說，視差越大，物體越近；視差越小，物體越遠。想要讓車載雙目攝像頭符合這一公式，必須讓攝像頭經過內參（如焦距、畸變系數）和外參（兩個攝像頭之間的位置關系）的精確標定，標定的精度將直接決定深度估計的準確性。

車載雙目攝像頭拍攝只是兩張圖片，并不包含深度信息，如果想通過這兩張圖片信息計算出深度，需要經過一系列的操作。首先是要將攝像頭進行標定，獲取內外參數，并進行圖像畸變校正與極線校正，使左右圖像的對應點基本位于同一水平線上，從而降低匹配的復雜度。接著就是要進行立體匹配，即為左圖中的每一個像素，在右圖中找到最可能的對應像素，這是整個流程中最關鍵的一步。傳統的方法有基于塊匹配、基于代價聚合的半全局匹配等；但近年來，隨著深度學習方法逐漸流行，通過端到端的代價構建、聚合與回歸，能夠進行更準確、更魯棒的視差估計。最后要做的就是將視差轉換為真實深度，并配合置信度估計與后處理（如孔洞填充、平滑濾波），輸出能有效提升下游任務效果的深度圖。。

算法與實現，從傳統方法到深度學習

早期的立體視覺算法更關注如何準確定義像素之間的匹配代價，以及如何將局部匹配結果優化成一張全局一致的視差圖。在進行像素級匹配時，常用的代價函數有顏色差異、SAD（絕對差和）、SSD（平方差和），以及對于光照變化更具魯棒性的Census變換等方法。得到初步的匹配代價后，還需經過代價聚合與優化步驟，以抑制噪聲和錯誤匹配。其中，半全局匹配（SGM）通過沿多個路徑聚合代價，在效率和精度之間取得了出色平衡，因此成為車載系統中廣泛采用的經典算法。

近年來，隨著計算能力的顯著提升，基于卷積神經網絡（CNN）的立體匹配方法迅速發展。這類方法利用神經網絡從數據中學習更魯棒、更高級的匹配特征，通過構建三維代價體進行精細的匹配比較，最終通過回歸或軟分類方法直接輸出視差圖。深度學習方法在弱紋理、重復紋理和劇烈光照變化等傳統算法難以處理的場景下，能表現出更強的穩健性。然而，其性能也高度依賴訓練數據的多樣性和完備性，以及對邊緣場景的泛化能力。

在實際的項目中，立體視覺會被整合到更大的感知鏈路中。單幀視差圖容易受噪聲影響，因此會使用時序濾波或多視圖融合技術，結合來自IMU或里程計的位姿信息，將相鄰幀的深度信息對齊融合，從而提高遠處目標和弱紋理區域的可靠性。此外，雙目系統還會與語義分割或目標檢測模塊聯動，一旦檢測到行人或車輛，可以在這些區域內進行更精細的匹配與置信度評估，從而實現語義信息與幾何信息的相互校驗，減少誤檢與漏檢的情況發生。

為什么車廠和Tier-1青睞雙目攝像頭

雙目攝像頭相比其他傳感器具備幾項明顯優勢，使其在自動駕駛系統中始終占有一席之地。它采用被動成像，不像激光雷達或毫米波雷達那樣主動發射能量，沒有電磁輻射問題，在法律合規、隱私保護、能耗和成本方面更容易被大眾接受。

它的語義信息也更加豐富，攝像頭直接輸出高分辨率的彩色圖像，對識別車道線、交通標志、信號燈、路面紋理和行人外觀等具有天然優勢，這些信息對語義理解和行為預測至關重要

圖片源自：網絡

雙目系統還具備高橫向分辨率，能夠清晰捕捉像是車道線、路緣、人行道邊界等細微結構，這是很多測距型傳感器難以替代的。

雙目攝像頭相比高精度的固態或機械式激光雷達更是低廉得多，更適合大規模量產車型的傳感器配置。此外，它體積小、功耗低，特別適用于短距離感知、泊車輔助、低速城市路況，或作為其他昂貴傳感器的有效補充。

雙目系統生成的密集深度圖（而非稀疏點云）也更適合某些算法需求，雙目系統作為視覺子系統的一部分，更能與單目視覺、雷達、激光雷達等形成互補，提升整體感知的魯棒性。

車載雙目攝像頭有哪些問題

即便車載雙目攝像頭的優勢非常明顯，但其也有很多攝像頭存在的固有的問題。它對環境條件非常敏感，像是在弱光、夜間、逆光、雨雪霧等天氣下，會顯著降低匹配質量，導致視差圖噪聲增加或出現大范圍低置信度區域。與激光雷達不同，攝像頭也無法穿透雨霧，因此在極端天氣下僅靠雙目難以保證安全。

在面對缺乏紋理或重復紋理的區域（如白墻、單色車身），立體匹配容易出錯甚至無法找到對應點。對于反光或半透明物體（如積水、玻璃窗），攝像頭更可能產生虛假幾何信息，導致深度估計錯誤。

雙目的有效距離也受攝像頭分辨率和基線設計的限制。對于遠處的小目標（如高速路上數十米外的小障礙物），視差可能小于一個像素，這會導致誤差被放大。

由于雙目攝像頭左右視角不同，某些區域在一側攝像頭中可見，在另一側卻不可見，這會導致視差缺失或匹配錯誤。雙目系統對標定精度依賴也極高，任何微小的幾何偏移都可能導致系統性誤差，對長期使用的穩定性提出挑戰。

車載雙目攝像頭裝車要點

將雙目攝像頭部署到車輛上，并不只是將攝像頭固定在車頭那么簡單。安裝時的基線長度、攝像頭分辨率、鏡頭視角、曝光策略和同步機制都需要精心計算。基線越長，對遠處物體的深度分辨率越好，但也會導致結構尺寸增大，并可能在近距離出現視差飽和問題。在城市低速場景中，短基線雙目已足夠使用，且更易于安裝；若要用于高速公路等需要檢測遠距離目標的場景，則需要更長的基線、更高分辨率的傳感器或更長焦距的鏡頭。

圖片源自：網絡

攝像頭的時間同步也非常關鍵，左右圖像必須在極短時間內完成采集，否則車輛或周圍物體的運動會導致視差計算錯誤。車規級的雙目模塊通常會在硬件層面實現觸發同步，并在模塊內部完成初步標定與校正，以降低系統集成的復雜度。

標定與標定維護是最容易被低估的環節。攝像頭標定需要精確估計內參（焦距、主點、畸變）和外參（兩個攝像頭之間的旋轉與平移）。車輛經過顛簸或輕微碰撞后，攝像頭支架可能發生微小偏移，導致深度估計出現偏差。因此，要設計定期自標定或在線標定的策略，利用車道線、路面平面或其他結構化特征自動校正外參。

此外，曝光與HDR策略也不容忽視，攝像頭需要在逆光、強光對比等復雜光照條件下保證圖像可用。很多系統會采用多曝光或自動增益控制來擴展動態范圍，并在圖像處理階段進行光照歸一化，以提高匹配的魯棒性。

高精度深度估計，尤其是基于深度學習的方法，需要較大的計算量，在成本受限的量產車上必須進行權衡。在常規駕駛場景下，可使用輕量級或優化后的傳統算法輸出初步深度結果；當系統檢測到復雜或關鍵場景（如行人密集、道路狹窄）時，再觸發更精細的深度網絡進行處理。還可以將計算密集型任務分配給車載高性能計算單元，并采用稀疏化或分層處理技術來節省資源。

最后的話

雙目攝像頭就像是自動駕駛感知工具箱中的一把得力工具，但正如螺絲刀不能替代錘子，它也無法解決所有感知問題，但在其優勢場景下，它卻能以出色的性價比完成感知任務。真正可靠的自動駕駛系統，是要通過一群各具所長、又各有短板的技術工具的默契配合，在取長補短中構建起來的。

-- END --