影像感測器的動態範圍用於描述感測器在較暗和較亮區域中捕捉影像細節的能力。 只有動態範圍較高的影像才能讓人同時看到亮區和暗區的細節。 人眼的動態範圍可以達到 100 dB 以上，但單次曝光的攝影機很難達到這一水準。為了擴展動態範圍，常用的方法是拍攝多張曝光時間不同的低動態範圍影像，然後將它們合併在一起以獲得高動態範圍影像。 長曝光影像可捕捉影像中的暗區，而短曝光影像可捕捉亮區，因此在合併後的影像中，我們將能夠看到分別利用長曝光訊號和短曝光訊號形成的暗區和亮區。
線性化與相關的挑戰
合併各張影像的過程稱為線性化。 多張影像的線性化需佔用大量內存，此外為實現高幀率，還需具備強大的處理能力作為支撐。完成線性化後，在查看已合併的高動態範圍影像時，也可能會遇到特定的影像品質問題。 在惡劣的成像條件下，這些影像品質問題或偽影會變得更加明顯。
例如，以下成像條件會導致偽影問題更加明顯：
- 場景中有運動物體
- 場景中有 LED 燈閃爍
- 空間內鄰近區域使用多張影像的數據
安森美 (onsemi)的白皮書《利用低頻寬高動態範圍 (eHDR) 技術提高物體辨識精度》說明了 eHDR 相對於 LI−HDR 在頻寬和節省能耗方面的優勢。 這本白皮書重點介紹了由安森美的 AR0822 影像感測器提供支援的線性化模式，其中的嵌入式高動態範圍 (eHDR) 技術無需依賴主機 ISP/SoC，便能在感測器上建立 HDR 影像。 AR0822 影像感測器的 eHDR 技術能夠有效應對透過線性化將多張影像合成 HDR 影像時所遇到的重大難題，尤其是能夠解決因惡劣照明條件而產生的種種問題。
智慧線性化改善轉換訊號雜訊比
一般的線性化過程會先使用長曝光訊號，直到長曝光飽和（12 位元 ADC 為 4095LSB），然後利用短曝光訊號計算 HDR 影像中所需的線性化訊號。 在 HDR 影像中，由於短曝光訊號的訊號雜訊比遠低於長曝光訊號，因此從長曝光訊號轉換到短曝光訊號時會導致較明顯的偽影現象。 當 ISP 對此影像進行後處理時，偽影可能會進一步放大。
為了有效管理從長曝光到短曝光的轉換過程，智慧線性化會對長曝光和短曝光訊號進行加權組合，從而計算出一個訊號。 其中，長曝光和短曝光依據各自的訊號水平被賦予不同的權重。 透過這種智慧線性化處理，當從長曝光切換到短曝光時，訊號會平滑傳輸。
圖 1 顯示了由頂部散射光照亮的相同場景，當我們從上到下觀察這個灰色場景，會發現訊號水平下降，影像也從短曝光轉換到長曝光。 圖 1 的左側影像未啟用智慧線性化功能。 可以看到紅色箭頭處有較明顯的偽影現象，這正是因不同曝光程度而造成的轉換偽影。
圖 1 的右側影像開啟了智慧線性化功能，可以看到偽影現象顯著緩解，能給人以更舒適的觀感，而且也降低了被機器視覺演算法誤認為是邊緣的風險。 由此可見，AR0822 的智慧線性化技術有助於實現不同曝光水準下訊號雜訊比的平滑過渡，避免訊號雜訊比突然變化。
圖 1.智慧線性化技術能夠確保影像在不同曝光水準下平滑過渡 出處 : 安森美
智慧線性化改善運動偽影成像
對運動場景進行多次曝光成像時，可能出現長曝光訊號和經線性化的短曝光訊號不等效的情況，這是由於場景中物體正在運動造成的，並有可能導致出現顏色偽影，即 在運動發生的區域中存在色調變化。減少長曝光時間在一定程度上有助於減小偽影的面積，但這種方法的可操作性不高，可能會造成大部分場景處於低光狀態，導致整個場景的整體影像品質下降。
AR0822 感測器的智慧線性化功能可以有效緩解場景中的色彩偽影。 此功能會先偵測場景中的運動，即短曝光與長曝光在線上性化訊號水準上的差異。 然後將根據檢測到的運動程度，使用長曝光和短曝光的組合訊號水平來減輕場景中的運動偽影。圖 2 為背景中有旋轉風扇的例子，比較了在智慧線性化關閉和開啟兩種情況下的成像情況。 當智慧線性化關閉時，風扇葉片頂部附近區域出現了顏色偽影，這是由長曝光與線性化短曝光的訊號水平差異造成的。 在右側影像，智慧線性化演算法偵測到了這種情況並進行了校正。
圖 2.智慧線性化 – 減少運動偽影 出處 : 安森美
圖 3 放大了圖 2 的部分細節。 當智慧線性化關閉時，風扇葉片附近出現了黃色的運動偽影，而不是橙色。 開啟智慧線性化可以有效減輕這種顏色偽影。
圖 3.智慧線性化技術能夠有效緩解運動偽影 出處 : 安森美
智慧線性化改善 LED 閃爍成像
在一般線性化過程中，場景中不停閃爍的LED 燈可能會導致影像感測器的某個顏色通道通過長曝光成像，而另一個顏色通道則透過短曝光成像，這取決於每個顏色通道的訊號水平 。 因此，當某個顏色通道正透過長曝光成像時，LED燈處於開啟狀態；而當另一個顏色通道進行短曝光成像時，LED燈已經關閉。 後續合併不同曝光時間的影像時，影像的色調可能會因此而改變。 在比較糟糕的情況下，影像中會顯示 LED 為關閉狀態，而肉眼卻看到 LED 正亮著。智慧線性化可以透過偵測長曝光與短曝光的線性化訊號的差異，來感測由 LED 閃爍引起的閃爍偽影。 它能根據觀測到的線性化訊號的差異程度，聰明地組合長曝光和短曝光，從而有效減輕顏色偽影。 短曝光成像常常會導致閃爍的 LED 呈現關閉狀態，而開啟智慧線性化則可以避免這個問題，讓影像更接近我們人眼觀察到的情況。圖 4 比較了智慧線性化關閉和開啟兩種情況下的 LED 閃爍影像。 當智慧線性化關閉時，場景中的一些 LED 燈會顯示顏色偽影，這是由長曝光與短曝光的訊號水平差異造成的。 在右側影像，智慧線性化演算法偵測到了這種情況並進行了校正。
圖 4.智慧線性化 − 影片快照 出處 : 安森美
圖 5 放大了圖 4 的 LED 燈局部細節。 智慧線性化關閉時，在影片中會看到閃爍的偽影，或是在快照影像中會看到紅色箭頭所標記的色彩偽影。 開啟智慧線性化可以有效減輕這些色彩偽影/閃爍偽影，如右側影像所示。
圖 5.智慧線性化技術能夠有效減少 LED 偽影 出處 : 安森美
智慧線性化的整合優勢
隨著攝影機解析度的持續提升以及汽車或監控系統所連接的攝影機數量不斷攀升，片外ISP/SoC的處理負擔日益加劇，進而使得算力和功耗問題愈發凸顯。 將線性化演算法轉移到感測器有助於節省SoC的計算時間，同時提高傳輸幀率。 憑藉AR0822感測器的智慧線性化等先進演算法，安森美可以有效減輕多重曝光HDR影像產生的偽影，並且單一和多個感測器可以輕鬆整合到ISP/SoC上。
評論