【導讀】現在，許多機器視覺應用需要高分辨率的3D深度圖像來替代或增強標準的2D圖成像。這類解決方案依靠3D相機來提供可靠的深度信息以保證安全性，尤其是當機器在極其貼近人附近工作的時候。在具有挑戰性的環境中工作時，例如在具有高反射性表面的大空間中和有其他移動物體的環境中工作時，相機還需要提供可靠的深度信息。
現在，許多機器視覺應用需要高分辨率的3D深度圖像來替代或增強標準的2D圖成像。這類解決方案依靠3D相機來提供可靠的深度信息以保證安全性，尤其是當機器在極其貼近人附近工作的時候。在具有挑戰性的環境中工作時，例如在具有高反射性表面的大空間中和有其他移動物體的環境中工作時，相機還需要提供可靠的深度信息。
目前的許多產品使用低分辨率測距儀類型解決方案來提供深度信息，以增強2D成像。但是，這種方法有很多限制。對于可從更高分辨率3D深度信息獲益的應用，CW CMOS ToF相機提供了市場上最高性能的解決方案。表1更詳細地說明了由高分辨率CW ToF傳感器技術實現的一些系統特性。這些系統特性還能運用于消費者使用場景，如視頻背景虛化、面部身份驗證和測量應用，以及汽車使用場景，如駕駛員狀態監控和自動化艙內配置。
表1.連續波飛行時間系統特性
連續波CMOS飛行時間相機概述
深度相機是指每個像素都會輸出相機與場景之間距離的相機。一種測量深度的技術是計算光從相機光源行進到反射表面再返回相機所需的時間。此行程時間通常被稱為飛行時間(ToF)。
圖1.連續波飛行時間傳感器技術概要
ToF相機由多個元件組成（參見圖1），包括：
光源，例如垂直腔面發射激光器(VCSEL)或邊緣發射激光二極管，其發射近紅外域的光。最常用的波長為850 nm和940 nm。光源通常是漫射源（泛光照明），其發出具有一定散度的光束（即照明區或FOI），以照射相機前方的場景。
激光驅動器，其調制光源發射的光的強度。
具有像素陣列的傳感器，其從場景中收集返回光線并輸出每個像素的值。
鏡頭，其將返回光線聚焦到傳感器陣列上。
帶通濾波器，其與鏡頭共置，用于濾除以光源波長為中心的窄帶寬之外的光線。
處理算法，其將傳感器輸出的原始幀轉換為深度圖像或點云。
人們可以使用多種方法來調制ToF相機中的光線。一種簡單辦法是使用連續波調制，例如50％占空比的方波調制。在實踐中，激光波形很少是完美的方波，看起來可能更靠近正弦波。對于給定光功率，方形激光波形可產生更好的信噪比，但高頻諧波的存在也會導致深度非線性誤差。
CW ToF相機通過估算發射信號與返回信號的基波之間的相移 ? = 2πftd 來測量這兩個信號之間的時間差td。深度可以利用相移 (?) 和光速(c)來估算，公式如下
其中fmod為調制頻率。
傳感器中的時鐘產生電路控制互補像素時鐘，而互補像素時鐘分別控制兩個電荷儲存元件（Tap A和Tap B）中的光電荷的累積，以及激光驅動器的激光調制信號。返回調制光的相位可以相對于像素時鐘的相位來測量（參見圖1右側）。像素中的Tap A和Tap B之間的差分電荷與返回調制光的強度和返回調制光相對于像素時鐘的相位成比例。
利用零中頻檢測原理，使用像素時鐘和激光調制信號之間的多個相對相位進行測量。組合這些測量結果即可確定返回調制光信號中的基波相位。知道該相位即可計算光從光源行進到被觀察的物體再返回到傳感器像素所花的時間
高調制頻率的優點
在實踐中，光子散粒噪聲、讀出電路噪聲、多路徑干擾等非理想因素會導致相位測量誤差。高調制頻率可降低這些誤差對深度估算的影響。
通過一個簡單例子就能輕松理解這一點。假設相位誤差為 ??，那么傳感器測得的相位為 
。深度誤差即為：
。深度誤差即為：
因此，深度誤差與調制頻率fmod成反比。圖2以圖形方式顯示了這一點。
這個簡單公式在很大程度上解釋了為什么高調制頻率的ToF相機與低調制頻率的ToF相機相比深度噪聲更低且深度誤差更小。
圖2.相位誤差對距離估計的影響
使用高調制頻率的一個缺點是相位環繞速度更快，這意味著可以準確測量的距離更短。解決此限制的常見辦法是使用多個以不同速率環繞的調制頻率。最低調制頻率支持準確測量較長距離，但深度誤差（噪聲、多路徑干擾等）也較大，串聯使用較高調制頻率可降低深度誤差。圖3顯示了一個使用三種不同調制頻率的示例方案。最終深度通過不同調制頻率的展開相位估計值加權來估算，為較高調制頻率分配較大的權重。
圖3.多頻相位展開
如果為每個頻率的權重選擇最優值，則深度噪聲與系統中選擇的調制頻率的均方根(rms)成反比。對于恒定深度噪聲預算，提高調制頻率可以減少積分時間或照明功率。
對性能至關重要的其他系統方面
開發高性能ToF相機時，有許多系統特征需要考慮，這里簡要介紹其中的一些特性。
?圖像傳感器
圖像傳感器是ToF相機的關鍵組件。當系統的平均調制頻率提高時，大多數與深度估計相關的非理想因素（如偏置、深度噪聲和多路徑偽像）的影響會減小。因此，傳感器在高調制頻率（數百MHz）時須具有高解調對比度（區分Tap A和Tap B之間光電子的能力）。傳感器在近紅外波長（如850 nm和940 nm）還需要具有高量子效率(QE)，從而降低在像素中產生光電子所需的光功率。最后，低讀數噪聲支持檢測較低返回信號（遠處或低反射率物體），從而有助于提高相機的動態范圍。
?光照度
激光驅動器以高調制頻率調制光源（例如VCSEL）。對于給定光功率，為使像素處的有用信號量最大化，光學波形需要具有快速上升和下降時間及干凈的邊沿。照明子系統中激光、激光驅動器和PCB布局的組合對于實現這一點至關重要。還需要進行一些標定工作以找到最佳光功率和占空比設置，從而使調制波形的傅立葉變換中的基波幅度最大化。最后，光功率還需要以安全方式傳輸，激光驅動器和系統層面應內置一些安全機制以確保始終符合第1類眼部安全限值。
?光學元件
光學元件在ToF相機中發揮著關鍵作用。ToF相機有一些獨特的特性，因此其在光學方面有一些特殊要求。首先，光源的照明區域應與鏡頭的視場角匹配以獲得最佳效率。鏡頭本身應具有高孔徑（低f/#），以獲得更好的光收集效率，這一點也很重要。大孔徑可能導致需要權衡其他因素，如暗角、淺景深和鏡頭設計復雜度等。低主射線角的鏡頭設計也有助于減少帶通濾波器帶寬，從而改善環境光抑制，提高戶外性能。光學子系統還應針對所需工作波長進行優化（如防反射涂層、帶通濾波器設計、鏡頭設計），以使吞吐效率最大而雜散光最小。還有許多機械要求，以確保光學對準在最終應用的期望容差范圍內。
?電源管理
電源管理在高性能3D ToF相機模塊設計中同樣至關重要。激光調制和像素調制產生短的高峰值電流突發脈沖，這給電源管理解決方案帶來了一些約束。傳感器集成電路(IC)的一些特性可以幫助降低成像器的峰值功耗。在系統層面還可以應用電源管理技術來幫助降低對電源的要求（例如電池或USB）。ToF成像器的主要模擬電源通常需要一個具有良好瞬態響應和低噪聲的穩壓器。
圖4.光學系統架構
?深度處理算法
最后，系統級設計的另一重大部分是深度處理算法。ToF圖像傳感器輸出原始像素數據，需要從這些數據中提取相位信息。該操作需要多個步驟，包括噪聲濾波和相位展開。相位展開模塊的輸出是激光器發出的光行進到場景再返回到像素的距離測量結果，常被稱為范圍或徑向距離。
徑向距離一般被轉換為點云信息，代表特定像素的實際坐標（X、Y、Z）信息。通常，最終應用僅使用Z圖像映射（景深映射），而不是全部點云。將徑向距離轉換為點云需要了解鏡頭內在特性和失真參數。這些參數是在相機模塊的幾何校準期間估算。深度處理算法還能輸出其他信息，例如有源亮度圖像（返回激光信號的幅度）、無源2D IR圖像和置信度，這些信息都可以在最終應用中使用。深度處理可以在相機模塊本身中進行，或系統中其他地方的主機處理器中進行。
本文涉及的不同系統級組件概覽如表2所示。這些議題將在未來的文章中詳細討論。
表2.3D飛行時間相機的系統級組件
結論
連續波飛行時間相機是一種強大的解決方案，可為需要高質量3D信息的應用提供高深度精度。為確保實現最佳性能水平，有許多因素需要考慮。調制頻率、解調對比度、量子效率和讀數噪聲等因素決定了圖像傳感器的性能。其他因素是系統級考慮因素，包括照明子系統、光學設計、電源管理和深度處理算法。所有這些系統級組件對于實現最高精度3D ToF相機系統至關重要。
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請電話或者郵箱聯系小編進行侵刪。
