無人機、智能汽車、增強現實或虛擬現實（AR/VR）頭盔都使用多個圖像傳感器，而且通常是不同類型的傳感器，來採集周邊環境相關的數據。為了傳輸系統所需的圖像數據，每個傳感器都需要連接到系統的應用處理器（AP），這為嵌入式工程師帶來了諸多設計挑戰。首先，AP可連接的傳感器I/O埠數量有限，所以必須謹慎分配，確保所有需要連接至AP的獨立組件都有埠可用。此外，無人機和AR/VR頭盔體積相對較小並且使用電池供電。所以這些應用中的組件尺寸必須儘可能小，功耗儘可能低。
解決應用處理器I/O埠不足的一個方法是使用MIPI攝像頭串行接口-2（CSI-2）規範中定義的虛擬通道，它能夠將多達16個傳感器數據流整合為單個數據流，僅占用一個I/O埠就能將數據發送到AP。實現虛擬通道的首選硬體平台是現場可編程門陣列（FPGA）。其他的硬體平台則需要很長時間來設計，並且可能無法滿足無人機或AR/VR頭盔等應用所需的低功耗特性。可能有人會說FPGA占用空間太大，功耗太高，作為虛擬通道的平台不太可行。然而，半導體設計和製造方面的進步已經催生出新一代尺寸更小，功耗更低的FPGA。
行業現狀
消費領域對無人機、智能汽車和AR/VR頭盔等產品的需求與日俱增，極大推動了傳感器市場的發展。市場研究機構Semico Research認為汽車（年均複合增長率27%）、無人機（年均複合增長率27%）和AR/VR頭盔（年均複合增長率166%）等應用是推動傳感器市場增長的主要動力，並預測截至2022年，半導體OEM廠商每年的圖像傳感器出貨量將超過15億片。
上述應用均需要多個傳感器採集環境數據。例如一輛智能汽車會在後視和環視攝像頭系統中使用多個高清圖像傳感器，使用雷射雷達傳感器用於目標檢測，使用雷達傳感器實現盲點監控。
圖1：如今的智能汽車需要各類傳感器（雷達/雷射雷達、圖像、ToF傳感器等）實現緊急剎車、後視攝像頭和碰撞規避等應用
傳感器數量激增也帶來了難題，因為所有這些傳感器都需要向汽車的AP發送數據，而AP的I/O埠數量有限。傳感器變多還會增加設備電路板上連接到AP的線路密度，對於頭盔這樣的小型設備而言，無疑在設計尺寸方面帶來了更多挑戰。
解決應用處理器I/O埠不足的一個方法是使用虛擬通道。它能夠將多個傳感器的視頻流整合為單個數據流，然後僅占用一個I/O埠就能將數據發送到AP。目前將攝像頭傳感器連接至AP的常用標準是由MIPI聯盟開發的MIPI攝像頭串行接口-2（CSI-2）。CSI-2 可以通過CSI-2虛擬通道功能將多達16個不同的數據流整合為單個數據流。然而，將多個不同類型的圖像傳感器的數據流合併為單個視頻流仍然面臨多方面的挑戰。
實現虛擬通道面臨的挑戰
將來自同種傳感器的數據合併到一個通道中並不複雜。兩個傳感器可以進行同步並將其數據流連接，作為一張寬度為兩倍的圖像發送到AP。主要的挑戰在於合併不同傳感器的數據流。例如，無人機可以在白天工作時使用高解析度圖像傳感器檢測物體，在晚上使用較低解析度的紅外傳感器來採集物體的熱成像圖像。這些傳感器的幀速率、解析度和帶寬各不相同，無法同步。為了追蹤不同的視頻流，每個CSI-2數據包需要用虛擬信道標識符進行標記，方便AP根據需要處理每個數據包。
圖2：虛擬通道將來自多個不同類型傳感器的數據流合併以節約I/O埠。處理來自不同傳感器的數據流，需要同步時鐘速率和輸出頻率
除了標記數據包之外，合併來自不同類型傳感器的數據流還需要同步傳感器數據有效負載。如果傳感器以不同的時鐘速率運行，則每個傳感器需要保持單獨的時鐘域。然後在傳輸到AP之前將這些時鐘域進行同步。
虛擬通道需要專門的硬體橋接處理
通過硬體實現支持虛擬通道的橋接解決方案可以解決上述問題。使用專用的虛擬通道橋接意味著所有圖像傳感器都連接到橋接I/O埠，然後再通過單個埠連接到AP，釋放寶貴的AP埠以支持其他外圍組件。這也解決了設備電路板上傳感器與AP之間存在過多連接而產生的設計尺寸難題；橋接方案將這些線路合併連接到AP。 FPGA可以為每個傳感器輸入實現並行的數據通道，每個通道都有自己的時鐘域。如下圖所示，這些時鐘域在虛擬通道的合併階段同步，從而減輕了AP的處理負擔。
圖3：為了最大限度地減少連接傳感器和AP的I/O埠，支持虛擬通道的硬體橋接方案整合了多個傳感器數據流，通過單個I/O埠進行傳輸
虛擬通道需要專門的硬體橋接處理
在硬體上實現虛擬通道，最可靠的IC平台當屬FPGA。FPGA具有靈活的I/O埠，可支持各種接口，並且擁有可以使用硬體描述語言（如Verilog）編程的大型邏輯陣列。與需要冗長設計和QA流程的ASIC不同，FPGA在生產時已通過QA驗證，可以在幾天或幾周內完成設計。然而，人們通常認為傳統的FPGA體積龐大，耗電量高，並不適合功耗有限的嵌入式應用。但FPGA已今非昔比。
萊迪思半導體的CrossLink™系列FPGA為使用虛擬通道的視頻橋接應用提供了性能、尺寸和功耗的絕佳組合。該系列可提供兩個4通道MIPI D-PHY收發器，每個PHY速率高達6 Gbps，尺寸最小僅為6 mm2。它們支持多達15個可編程源同步差分I/O對，如MIPI-D-PHY、LVDS、sub-LVDS，甚至單端並行CMOS；在許多應用中功耗不到100 mW。CrossLink FPGA系列支持睡眠模式，減少待機時的功耗。萊迪思還提供全面的軟體IP庫，幫助客戶更快地實現不同類型的橋接解決方案。
小結
MIPI攝像頭串行接口-2（CSI-2）規範的虛擬通道可幫助嵌入式工程師在單個I/O埠上整合多個傳感器數據流，從而減少使用大量圖像傳感器的應用的總體設計尺寸和功耗。憑藉著可重新編程特性以及性能和尺寸上的優勢，萊迪思半導體的CrossLink系列低功耗FPGA可以讓客戶快速、輕鬆地為其設計新增對虛擬通道的支持。
閱讀原文