Image sensors and signal processing for digital still cameras

maver

有学员在看这本书，它可以用来当数字成像系统课程的补充教材

学员可以练习以下习题 （一）

1. 简述从光子到图像YUV信号，整个成像系统信号链路的组成单元及每个单元的作用。
2. 光子能量如何计算 ，光子的波长是由什么决定的？
3. Microlens 的作用，以及microlens 会导致那些图像问题？
4. conversion gain的 含义
5. Conversion gain 与 sensor sensitivity的光系？
6. 计算题： 给定green LED 光源 以0.5uW/cm2 的亮度照射到10x10um 的pixel 上，如果需要pixel的responsitivity达到50 mv/sec，假设 pixel的QE 是40%，需要多大的conversion gain 才能满足pixel的responsitivity 需求。
7. 如果光圈的F number 加倍，那么达到sensor的light intensity 如何变化？
8. RGB信号与YUV信号的区别，如何把RGB信号转换为YUV信号。
9. blackbody 在室温300K 辐射最大能量的波长是多少？
10.550nm 1lux 单色绿灯所产生的等效photon flux 是多少？

tianye

感谢姜老师对我们学习的关心。稍后研究一下这些问题

tianye

第二题：光子能量如何计算？光子的波长是由什么决定的？
Ephoton=hv = h*c/λ，其中h是普朗克常量。C是光速，λ是光的波长。
光子波长书上没明说，但是根据上面的式子，v(频率)=c/λ，那么c=v*λ，c是光速，应该是个常量，所以波长λ就应该是由光的频率决定的，频率越高，波长越短。频率越低，波长越长。

tianye

7. 如果光圈的F number 加倍，那么达到sensor的light intensity 如何变化？
根据传感器上接收到的亮度计算公式
Ei = (π/4)*E0*T*(1/(1+m)F)2
可知，如果F数加倍了（也就是说*2了），那么传递到传感器上的亮度就会变成加倍前的1/4。实际这个问题还有一点迷惑性，我们通常讲的是F数档位上升一位，亮度减半。是因为档位上升一位，实际上F数没有加倍，只是F数的平方后的值加倍了。例如F数为2时，它的下一档是2.8，这二者的关系是他们的平方呈现2倍关系（2的平方是4，2.8的平方是8），因此我们可以简单的理解成F数与光圈半径呈现简单的倍数关系。

tianye

3. Microlens 的作用，以及microlens 会导致那些图像问题？
传感器有一个非常重要的概念就是填充因子，用FF表示。它表示感光区面积与像素总面积的比例。因为CMOS传感器像素中要有行、列选择电路、reset电路和源跟随器，这些部分不能受到光线的干扰，必须要进行遮挡。这样就会导致单像素的实际感光区域进一步缩小，微透镜通过顶端的弧形结构以及汇聚效果，实际上增加了感光区域的面积，提高了照射在像素上的平均亮度，实际上也就间接提升了信噪比。
微透镜会导致画面边缘出现阴影。阴影的产生是由于入射光线角度发生变化后，照射在成像传感器上的光量发生变化导致的。可以通过使用双面微透镜技术提高光的利用效率、降低透镜与传感器的距离改善阴影问题。

微透镜还会产生串扰，也就是crosstalk。是因为入射角度过大，导致光线穿过透镜，再穿过RGB滤镜，再穿过对应的传感器后，仍然到达了相邻传感器的N区。就会导致相邻的像素不正确地引入了当前这个像素的信号（如下图1）。目前通常采用下述B（下图2）这种物理阻断的方式来减轻串扰，或者说crosstalk。显然这是一种硬件的创新。（crosstalk部分的内容是由网友“杨包包”提供）

4. conversion gain的 含义是什么？
Conversion gain是电荷检测中的一个重要概念，又称为转换增益。首先需要解释一下势阱电压变化公式：
ΔVFD=Qsig/CFD
而输出信号则是放大后的结果：ΔVout=Av*ΔVFD
那么转换增益就是指在电荷检测节点中，一个电子引起的电压变化量。C.G. = q/CFD
而经过放大后，一个电子引起的电压变化量则是：C.G.out = Av*q/CFD

maver

你对这个书的内容理解还是挺好的，我估计你也查了其他的资料。

tianye

5. Conversion gain 与 sensor sensitivity的光系？
灵敏度的定义是输出信号变化度与输入光信号变化度的比值，单位通常是伏特每勒克斯秒或者电子每勒克斯秒等。
有效地降低输入噪声可以有效地提高敏感度（实际上用SNR评价传感器性能更恰当）。为了搞清楚C.G.与灵敏度之间的关系，需要首先明确输入噪声的计算公式：
ninput2 = npix2 + vsig_chain2/(Av*C.G.)2
从这个等式可以看出，增加C.G.可以降低输入噪声，显然，降低了输入噪声就提高了灵敏度和信噪比。不过单纯地增加C.G.也是有副作用的。就是对于CMOS而言，通常信号电压有限，增加了C.G.就压缩了传感器的动态范围。因此，想提高灵敏度，要从光学角度（优化微透镜结构促进光利用率、提高镜头、微透镜透射率、使用镀膜技术降低SiO2/Si表面反射率）、传感器设计（提高FF填充因子、降低crosstalk）等多方位全角度入手，单纯依靠C.G.提高灵敏度是无法打造出一个高性能传感器的。

maver

tianye 发表于 2019-11-22 19:19
5. Conversion gain 与 sensor sensitivity的光系？
灵敏度的定义是输出信号变化度与输入光信号变化度的比 ...

你这个解释得非常好，提高Conversion gain 一方面提高了sensitivity，一方面导致dynamic range 变小。所以有的sensor 有dual conversion gain 技术。
The High Conversion Gain (HCG) allows the acquisition of images with better quality under low light conditions. ... Conversely, the Low Conversion Gain mode (LCG) is used under bright illumination conditions, being realized by lowering the conversion gain of the pixel.30 Aug 2017

maver

6. 计算题： 给定green LED 光源 以0.5uW/cm2 的亮度照射到10x10um 的pixel 上，如果需要pixel的responsitivity达到50 mv/sec，假设 pixel的QE 是40%，需要多大的conversion gain 才能满足pixel的responsitivity 需求。

area in cm2：
Area = (10 x 0.0001cm)2
= 1x 10^(-6)cm2


incoming light power at one pixel is:
Ppixel = 0.5 x 10^(-6) W/cm2 x1 x 10^(-6)cm2
= 0.5 x 10^(-12)W


Green light @550nm photon energy:

E_photon = h x c/λ

E = 3:61 x 10^(-19) J

number of photons per second
Pphotons =
0.5 x 10^(-12)/
3.61 x10^(-19) = 1.38 x10^6photon/s



QE = 0.4
then number of electrons produced per second is:

E = 0.4 x 1.38 x 10^6 = 5.56 x 10^5electrons/s

then conversion gain :
C.G = 50x10^3/5.56 x 10^5 uV/e = 8.99x10^(-2) uV/e

tianye

maver 发表于 2019-11-23 18:34
6. 计算题： 给定green LED 光源 以0.5uW/cm2 的亮度照射到10x10um 的pixel 上，如果需要pixel的responsiti ...

最终的答案应该是
C.G.=50*10^(3)uV/s/5.56*10^5*e=89.9mV/e
注意，单位应该是毫伏每电子。