图像传感器的噪声类型
一、 Sensor 噪声简述
假设照明强度恒定、均匀，相机拍摄图像中的噪声是测量信号中空间和时间振动的总和。下图以传递函数的形式总结了 CMOS Sensor 光、 电转换模型以及几种主要噪声的数学模型。如图 1 所示，描述了传递噪声模型。图 2 更加细致地描述了 CMOS Sensor 成像过程中各种噪声的来源和作用位置。
图 1 传递噪声模型
图 2 噪声的来源途径
二、 Sensor 的噪声类型
- 暗电流噪声（ Dark Noise ）
硅片中电子的热运动会导致一些价电子随机激发至导带中形成暗电流（ Dark Current ），所以即使完全没有光子入射，Sensor 也会存在一定的信号输出。在曝光过程中，暗电流的随机变化即形成暗散粒噪声。暗电流变化的主要原因是电子穿过 PN 结时会遇到 PN 结的电势屏障（ Darrier ），电子穿越屏障需要经历动能-势能-动能的转换过程，所以需要耗费一些时间。暗散粒噪声在统计上服从泊松分布，与光信号的高低水平无关，但与传感器的温度有关，一般的规律是温度每升高 8°C ，暗电流翻一倍。所以在设计电路时必须注意把容易发热的电子元件尽可能布置在远离 Sensor 的地方。如图 3 所示，暗电流随温度变化。
图 3 暗电流随温度变化规律
- 读出噪声
该噪声是在产生电子信号时生成的。Sensor 使用 AD 转换器（ ADC ）将模拟放大器输出的模拟电压采样为数字电压。由于数字信号的精度总是有限的，通常为 10 比特至 14 比特，幅值位于两个相邻数字之间的模拟信号会四舍五入到最接近的数值，所以这个过程会引入量化噪声，这是读出噪声的重要组成部分。该噪声由传感器的设计决定，意义是至少需要多少个电子才能驱动读出电路的 ADC 变化一个比特。它与信号高低水平和传感器温度无关。
- 光电流噪声（Shot Noise）
该噪声是与落于传感器像素上光子相关的统计噪声。在微观尺度下，光子流到达传感器的行为在时间和空间上都是不均匀的，就像统计高速公路上的车流，有时车流比较密集，过一会又变得稀疏。有时左边的车道密集，过一会右边的车道密集，整体上其统计规律符合泊松分布。光子散粒噪声是与被测信号的高低水平有关的，与传感器温度无关。
- 固定模式噪声（FPN）
该噪声是由像素的空间不均匀性引起的，CMOS Sensor 每个像素内都配置一个电荷电压放大器，每行、每列都有一些晶体管用于控制像素的复位和读出，这些器件的工作参数相对理论值的漂移就构成一种固定模式噪声。另外，坏像素、瑕疵像素也可以视为一种固定模式噪声，其效果大致上可以用下面的示意图 4 模拟。
图 4 FPN 模型
- 复位噪声
卷帘曝光方式需要在先对势阱复位，将势阱中自由积累的电荷全部释放，为后续的读出准备。但是由于暗电流的存在，每次复位后都会残留一些大小随机的噪声信号，即复位噪声，其大小与像素结构、芯片温度、PN 结电容有关，因此也称为 KTC 噪声。像素的复位是需要一定时间的。定量的研究表明，即使是采用较大的复位电流，一般也需要 1ms 以上的时间才能将电荷释放干净，如下图 5 所示。实际的复位控制信号通常会短于 1ms，因此下一帧图像多多少少会残存一些上一帧图像的影子，这个残影叫做 Image Lag，也是噪声的一种形式。
图 5 电荷释放曲线
- 串扰噪声（Crosstalk）
在通信领域中指两条信号线之间由于屏蔽不良而发生了的信号耦合，一条线路上的信号通过线缆间存在的互感和互容馈送到了附近的信号线上，在模拟通信时代可能导致听到别人的通话。在 Sensor 领域，串扰指的是入射到一个像素 A 的光信号没有在这个像素里被捕获，反而被其周围的像素 B 捕获，导致 B 产生了不该有的信号。
在下图 6 例子中，粉色表示的是不透光的像素，不应该有任何输出，黄色表示正常像素，应该有输出。实际上，光子是可以在硅片中穿透一定的距离的，从而有机会进入到粉色像素的感光区，从而变成粉色像素的信号，这就是 CMOS Sensor 的串扰机制。
图 6 串扰模型
从下图 7 可以看出，波长越长，串扰越严重，某些像素位置串扰能量可以达到 5%。
图 7 波长与串扰能量曲线
三、 OV Sensor 的去噪处理
因为噪声的存在会降低后续处理任务的视觉质量和有效性。DNS（De-noise）在视频和图像处理中起着重要的作用。以 OV491 为例，该ISP 提供了去噪算法来降低每个通道的随机噪声。它包括两个主要模块:原始去噪和色度去噪
原始去噪提高了原始图像的信噪比。它可以通过设置相关寄存器启用或定义的阈值与传感器增益。原始 DNS分别应用于 3 个曝光通道。所有DNS级别必须是单调递增的。X 轴表示传感器增益值 ( 1x, 2x, 4x, 8x, 16x, 32x ) 如图 8 所示，Y 轴表示阈值，它有三组参数，分别是 sigma 、pgns 、prbns 。去噪阈值 ( rdth ) 与 sigma 成正比。并与两个噪声级 pgns 和 prbns 进行协同，最终达到去噪效果。
噪声级 pgns 定义了在最终图像 G 通道上保留多少噪声，噪声级 prbns 定义了在最终图像 R 和 B 通道上保留多少噪声。
图8
色度去噪是在 YUV422 域进行的，用于去除色度信道中的彩色噪声。它使用一个用户定义的阈值来识别噪声信号，这是从一个基于当前传感器增益的阈值列表自动计算的。所有 DNS 级别必须单调递增，阈值越高，最终图像越平滑。如图 9 所示，sensor 增益与阈值的关系。
图 9
本篇文章介绍了图像传感器的噪声类型，并以 OV491 为例，简述了OV ISP的去噪方式。如果有问题需要交流，请在博文下提问。
如果有喜欢小鱼干的，也请多多关注我的大大通账号：小鱼干。
【参考文献】
1、http://www.dahuachengxiang.com/forum.php?mod=forumdisplay&fid=45&page=5
2、OV491-Preliminary-Specification-BGA_Version-1-5_WPI
评论