《数码相机中的图像和信号处理》 习题4

maver

《数码相机中的图像和信号处理》 习题4： 1. 什么是black level ，black level 的原因， 为什么要去除black level ？ 2. 列举一个isp pipeline 的各个block， 说明‘去除 black level’  在pipeline 中的位置，为什么在这个位置？ 3. demosaic 模块 在isp 中的作用，列举几种demosaic 算法 4. 为什么双目视觉相机需要两个sensor 时间同步，如何实现时间同步？ 5. cmos sensor 输出像素信息，接收端是如何知道接收到的pixel 序列，每个像素对应的位置？需要从sensor 得到哪些额外的信号来帮助align pixel position ？ 6. 为什么在sensor 中，模拟电压要高于数字电压？ [td]

[/td]

tianye

1.什么是black level，black level的原因，为什么要去除black level?
半导体器件在没有受到光照的条件下，也会因为热效应泄漏电荷，称为暗电流。暗电流噪声级别：与产生噪声（像素中产生、转移隧道中产生）的时间成比例。由暗电流积分所产生的信号电压称为black level。
black level必须去除。是因为black level既是温度的函数，也是时间的函数。也就是说他是可变的。如果不去除，我们就无法得到一个恒定的信号参考电平。使得我们最终对信号的计算变得不可控。

tianye

2. 列举一个isp pipeline 的各个block， 说明‘去除 black level’  在pipeline 中的位置，为什么在这个位置？
一个典型的ISP的pipeline按照先后顺序包括blacklevel correction，noise reduction，white balance，CFA interpolation（demosaic），RGB blending，Gamma校正，RGB->YCC，锐度增强，对比度增强，伪色彩校正。

显然，black level ajustment是输出信号是否正确的基础性步骤，在没有black level介入前，所有的输出信号中都含有同等强度但每次不同（随时间和温度）变化的暗电流积分信号偏移量。因此如不去除这部分的影响，所有的量化信号都不准确（实际没有任何意义）

tianye

3. demosaic 模块 在isp 中的作用，列举几种demosaic 算法
demosaic主要对应CFA色彩过滤阵列。因此，对于三片式CCD而言，demosaic没有任何意义。主要是通过采集RGB三种感光像素下的输出信号，经过色彩插补算法，牺牲空间分辨率获得插补后逻辑像素的RGB三通道值。
常见的demosaic色彩重构区域包括矩形重构和梅花形重构两种形态。
常用的色彩插补算法包括最近邻居法，计算量最小，但是精度最差。
一维线性插值法和双线性插值法。这两种算法的效果比最近邻居法好，但是计算量相对较大，同时双线性插值法因为涉及到周期性的插值方向变化，因此会导致周期性的频率响应变化，可能会引起周期性的图案噪声（FPN）。

tianye

5. cmos sensor 输出像素信息，接收端是如何知道接收到的pixel 序列，每个像素对应的位置？需要从sensor 得到哪些额外的信号来帮助align pixel position ？
像素的读出，大致有三种方式。
首先是像素串行读出。串行读出的具体方式是控制器同时产生行选和列选信号，然后读出像素中的积分信号。在这种情况下，使用行选和列选信号来确定像素的具体位置。
其次是列并行读出。列并行读出的具体方式是控制器产生行选信号，然后同时将像素中的积分信号读入行存储器。在这种情况下，使用行选信号和行存储器的偏移量来决定像素的位置。
最后是帧同步读出。在这种方式下，处理单元PE存在于每一个像素中，可以并行地进行图像处理。在这种读出方式下，被压缩的信号或者是仅感兴趣的信号通过全局处理器输出。在这种情况下，我理解全局处理器属于数字器件，输出的内容中应该包含了像素的寻址信息（以矩阵形式输出？由用户根据是否配置了读出窗口来决定是否为每个像素的位置添加偏移量。）

tianye

6. 为什么在sensor 中，模拟电压要高于数字电压？
首先要解释一下什么是量化步长：与量化后1LSB相对应的电压VLSB称作量化步长。更低的量化步长可以有效降系统的量化噪声。因此这道题里边我认为所提到的数字电压就是指转换后使用数字表示的信号强度乘以量化步长得到的结果。比如量化步长是1mV，ADC后的数字信号是5，那么对应的数字电压就应该是5mV。
显然，模拟电压要大于等于数字电压。因为量化噪声是在模数转换过程中始终存在的，除非得到的模拟信号以量化步长对齐，否则未对齐部分将会全部被忽略掉。因此数字电压和模拟电压之间，始终相差一个量化误差。

tianye

4. 为什么双目视觉相机需要两个sensor 时间同步，如何实现时间同步？
首先就要解释一下双目相机的基本原理。双目相机主要就是通过两个处于不同位置的相机拍摄同一场景（注意：一定是同一场景，这就关系到本题的答案），然后分别在两个相机拍摄的结果中查找场景中同一点所处的位置，通过场景中同一点在2个相机中成像位置的细微差异，可以进行：
景深计算，模拟光学zoom，图像增强。
因此，通过它的成像原理，我们可以看出，两个相机拍摄的场景一定要一致，不能说第一个相机拍摄完了，过了一段时间另一个相机再拍摄，这样，如果被摄物体在运动，显然我们双目相机通过成像场景中同一个点在两个像之间的位置差异来执行计算的一切基础就都不存在了。因此，2个相机必须要进行精确的电子快门扫描时间同步。任何程度的同步误差都会导致计算出现误差。
根据大家讨论的结果，同步手段有软件同步、硬件同步等。软件同步我理解是靠应用系统的调度来同步，显然，调度误差决定了同步误差，是一种不可靠的方式。
硬件同步相对更可靠，但显然需要专门的控制器，增加了成本和复杂度。
还有人提到了使用带有硬件时间戳的传感器，不过从实际经验上看，带有硬件时间戳的传感器受到晶振老化、温度的影响也都是存在的，并不一定总是那么可靠。

maver

tianye 发表于 2019-12-28 14:08
4. 为什么双目视觉相机需要两个sensor 时间同步，如何实现时间同步？
首先就要解释一下双目相机的基本原理 ...

硬件上两个camera share一个时钟源，share capture的触发电路。

wisher

tianye 发表于 2019-12-28 14:08
4. 为什么双目视觉相机需要两个sensor 时间同步，如何实现时间同步？
首先就要解释一下双目相机的基本原理 ...

硬件同步，一般sensor有内置的sync信号，可以通过寄存器的修改来实现。目前有些功能也不需要同步操作。

maver

tianye 发表于 2019-12-26 14:27
1.什么是black level，black level的原因，为什么要去除black level?
半导体器件在没有受到光照的条件下， ...

这个问题是本质想从信号处理的角度来解释为什么要去除black level。black level如果不去除掉，输出信号（pixel的感光值）对输入（光子或者说是曝光量）是不线性的（不满足y = ax），这对于需要那些线性操作的信号处理模块比如白平衡，ccm这些是不可接受的。