前言:
相機一直是視覺應用中極大佔比的產品。而作為相機產品的核心Image Signal Process(ISP)，更是能代表一個視覺處理器，在影像應用上的最大能力表現。聯詠的方案上有諸多進階的相機功能，而這些功能也視往往是相機功能中，往往不可或缺，甚至可以同時進而利用這些特色來展現相機產品的優點，而我們這次便會著重該某一項目，來重點描述。
此篇著墨於聯詠的NT9856x / 52x ISP方案中之SHDR功能的描述以及場景的應用，讓我們能夠在生活應用領域，不同於一般ISP的地方，同時因此進一步了解聯詠的NT9856x / 52x ISP方案中之SHDR功能之特性與其帶來之優點。
Dynamic Range:
動態範圍(DR)即是曝光範圍中，對應場景亮度，成像之影像中最亮和最暗部分的比例，從純黑色到最亮的白色。在該範圍內相機以良好的對比度和良好的信噪比 (SNR) 做出響應。動態範圍是感光元件在一個場景進行感光的過程中，所能同時捕捉到的光線強弱範圍，並在影像中呈現出來。以下之影像，並有利於解釋動態範圍大小強弱的差別：
(圖片來源: https://medium.com/@e6overdose/%E5%8B%95%E6%85%8B%E7%AF%84%E5%9C%8D%E5%92%8C%E6%9B%9D%E5%85%89%E5%AF%AC%E5%AE%B9%E5%BA%A6-%E4%B8%8A-5e92fedf98ea)
瞭解了上述的兩者動態範圍、寬容度觀念後，此為同一場景，不同的感光元件所產生的兩張照片來對比，在最暗和最亮的地方，因為接近的明暗度被感光元件當為同一亮（暗）階處理了，同時由此兩張影像右上方的Histogram，左圖的灰階集中於最暗和最亮，而右圖仍然擁有豐富的灰階分布，因此更能完整地還原當下的場景。在人物上，也因明暗度被感光元件當為同一亮（暗）階而喪失了多個灰階，只剩單純的人形。就算經過後製也不一定能夠重新帶回來。由此得知左邊是流失了多少細節。
在相機上遇到的問題:
在上一章節，我們提到了動態範圍、寬容度一詞，接下來我們來具體形容是哪種場景發生時，特別需要相機能夠提供範圍較廣的動態範圍與寬容度。
高對比影像場景是指同時有深色陰影和高亮部的影像場景。當這類影像場景發生時，拍攝時的動態範圍可能會超出相機捕捉畫面的能力，這就是為什麼拍攝一個人站在光線充足的窗戶前時，相片無法捕捉到臉部和戶外場景的細節。您要不是捕捉到這個人的特徵及窗戶的光亮模糊狀態，就是捕捉到戶外的細節但無法呈現那個人的任何特徵。在此情況下，影像的動態範圍大於相機的動態範圍，迫使您必須在對焦於陰暗的物體或明亮的窗戶之間做選擇。或是不少人都曾經試過，拍攝出來的照片裡，明亮的天空整個都過爆了，但抬頭一看，天空沒那麼亮，拍出來卻白濛濛的。這是因為相機能捕捉到的色彩和色調範圍（即「動態範圍」）比人眼要窄。如下圖所例；
如何解決超出相機動態的問題:
如果是記錄更大的亮暗範圍，我們有其他方法可以來幫我們的，比如：可以利用包圍曝光加上後期處理來解決。原理就是通過二張或更多張不同曝光的影像，把光比很大的場景按照保留亮部細節，
保留暗部細節，以下的案例是分別曝光三張，同樣的角度，不同的曝光，拍攝了三張，分別是-2EV，0，+2EV，然後將其三張不同的曝光的影像，注意要保持相機的靜止和被拍攝物的靜止。
(圖片來源: http://5b0988e595225.cdn.sohucs.com/images/20171127/026e92f8a47c44c4a1ac8c402cf53cac.jpeg)
(圖片來源: http://5b0988e595225.cdn.sohucs.com/images/20171127/d0482c4080314606879d528340ea7358.jpeg)
於是將這樣包圍曝光技術，相機將其整合成HDR高動態範圍攝影，以利於擴充相機的動態範圍，這種方法叫做HDR，就是“高動態範圍影像”(High-Dynamic Range)。而HDR 攝影便是指的是針對相機相同影像進行多重包圍曝光融合，已獲得一張更高動態範圍的影像。Digital Overlap
講解完了，HDR的技術，但是此種技術比較適合應用於靜置的場景且影像為靜置照片。然而針對一些動態的場景且影像必須為連續之視頻的應用。就會產生一些問題，例如物體快速移動形成拖影與Color artefacts，如下所示；
(圖片來源: https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412095948969-1372705839.png /
圖片來源: https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412100054082-388198519.png)
問題的產生與細節我們在這邊不詳述，以下只針對此問題的解決方式來探討。
DOL HDR 也叫做line interleaving HDR，以二次曝光的DOL为例，sensor每行會以長、短曝光二次先後輸出，從readout角度來看，就是長曝光影像与短曝光影像以 line interleaving 依次输出，二、三次不同程度的曝光，並用感光元件搭配影像處理器(ISP)對影像再次加工處理，這種方式可提高在低照度下的影像的清晰度並且讓影像呈現更接近真實，並且在動態的場景且必須為連續之視頻的應用讓前面所提的問題能夠得到進一步的緩解，進而得到接近所視之影像，如下圖所示。
Digital Overlap + NT9856x / 52x ISP
受限於感光元件的動態範圍限制(約 80dB)，一般的圖像傳感器(Image Sensor)可分辨的動態範圍，相較於自然場景的動態範圍小。所以在強光照射下或者逆光等相對亮度較低的情況下時，攝像機圖像會出現特別明亮或者特別暗的畫面，因此使用一般的圖像傳感器，對一高動態範圍的場景感光成像，容易造成亮區過曝或是暗區曝光不足，無法完整抓取紀錄所有的影像細節。但DOL HDR sensor的優點已在上面的敘述中，詳盡地描述了。這邊我們鎖定DOL HDR的sensor應用，而DOL HDR的sensor應用，必須搭配影像處理器(ISP)對影像再次加工處理，因此聯詠的NT9856x / 52x ISP方案中之SHDR功能，便是這最佳搭配之影像處理器(ISP)，能結合各類型之DOL HDR sensor。並利用其聯詠的NT9856x / 52x ISP方案中之數字寬動態(WDR, wide dynamic range)的功能，將圖像分塊，依據每塊內的像素值估算出局部動態範圍，再透過此統計值來提昇動態範圍，進一步的優化，對逆光暗區進行提亮(例如逆光下的人臉提亮)，讓影像在高反差環境下，亦能呈現明暗相近之清晰畫質，而非過暗或過曝的現象。接近人眼對光線感知的動態範圍(大約是 100dB)，目的即是要使影像在顯示設備上的效果與觀察者的視覺感受一致，且不受限靜置的場景且影像為靜置照片，讓動態的場景且影像必須為連續之視頻的應用，也能讓使用者直觀的使用。
聯詠的NT9856x / 52x ISP方案中之SHDR功能，模擬寬動態使用多次曝光圖像合成的方法，SHDR 對於較亮的區域，會採用短曝影像，對於較暗的區域，則使用長曝影像。對於中間過渡區，則採用長短曝兩幀融合。保留高動態範圍場景的所有細節。SHDR使用圖像傳感器輸出的長曝與短曝影像合成一張高位元的影像。接著會將高位元的影像通過一映射曲線(fcurve)做壓縮，調整映射至較低位元的影像以利於輸出。另外，在 SHDR 長短曝合成前，為了避免合成短曝區域雜訊過大，SHDR 支持可對短曝影像在合成之前做空域濾波處理。其架構如下圖：
藉由DOL HDR的sensor搭配NT9856x / 52x ISP方案中之SHDR+WDR的功能，最多可以提高動態範圍至24dB以上，相較於一般linear sensor且非搭配NT9856x / 52x ISP方案。
評論