8 月，在今年因 COVID-19 而在线举行的
Hot Chips 33会议上，Sooki Yoon 描述了三星今年早些时候宣布的 50-Mpixel GN2 图像传感器。根据 Yoon 的介绍，这款传感器注定要用于小米 Mi 11 Ultra/Pro 等手机，但它创造的相机功能可让大多数紧凑型、无反光镜和 dSLR 相机相形见绌。
随着手机相机的功能越来越好，照相手机已经系统地消灭了摄影爱好者的相机市场。三星 GN2 传感器可能足以将最后的赌注放在消费设备的核心上，这些设备“只能”用作相机——你知道的，就像相机一样。
三星 GN2 图像传感器是一个 2 芯片三明治结构，由一个 8160×6144 像素的图像传感器芯片和一个装有模数转换器 (ADC) 和图像处理数字电路的芯片组成。像素芯片拥有 5000 万个 1.4 μm 像素，因此使用更大的光刻几何形状对芯片上的电路进行成像。包含 ADC 和图像处理电路的芯片使用 28 nm 光刻技术，这是目前芯片制造的经济最佳点。
GN2 传感器具有许多突出的特性，包括：
- 50 兆像素分辨率
- 使用对角切片相位检测像素的高级 DPAF（双像素自动对焦）
- 用于宽动态范围的智能 ISO Pro
- 交错 HDR（高动态范围）
- 由于降低了 ADC 工作电压，显着降低了功耗
这些功能中的每一个都值得自己详细说明，所以这里是：
50 兆像素分辨率
图像传感器分辨率始终与像素动态范围交战。要获得更高的分辨率，您需要更多的像素。在相同尺寸的芯片上放置更多像素，每个像素必须变小。但是较小像素的电荷阱容纳的电子较少，这会导致阴影嘈杂。
对于更高像素分辨率和低图像噪声的竞争设计目标，三星的解决方案是将 GN2 传感器上的 50 Mpixels 放在更大的硅片上。图 1 说明了三星手机图像传感器在 GN2 中达到顶峰的演变。
图 1：三星 GN2 移动图像传感器通过使用放大的传感器芯片实现高分辨率和低噪声。（图片来源：三星）
如图 1 所示，三星 GN2 图像传感器通过在更大的硅芯片上放置具有更大电荷阱的更大像素来实现高分辨率和低噪声。之前的三星图像传感器采用 0.8 和 1.2 μm 像素，而 GN2 图像传感器采用 1.4 μm 像素。结果如图 2 所示，由于可以存储在像素电荷井中的最大电子数量增加了 33%，因此灵敏度大大提高，从而产生更大的动态范围，图像阴影中的可见噪声更少。
图 2：三星 GN2 图像传感器的 1.4 μm 像素比 0.8 μm 像素多存储 33% 的电子，这导致更大的动态范围和更低的图像阴影噪声。（图片来源：三星）
高级DPAF
目前相机的顶级对焦算法是双像素自动对焦（DPAF），它使用分裂像素在一个成像像素上创建双像。每个成像像素由两个光电二极管组成，可用于成像和聚焦。图 3 说明了该技术的工作原理。
图 3：双像素自动对焦 (DPAF) 将左右图像投射到分割像素上，并通过感测分割像素读数上左右图像的相位何时匹配来检测图像何时对焦。（图片来源：三星）
DPAF 聚焦技术将左右图像投射到像素的两个光电二极管上，并通过在分割像素读出期间左右光电二极管的相位输出何时匹配来检测图像何时对焦。在成像期间，左右光电二极管的输出被组合以产生图像。
DPAF 并不新鲜。例如，从 2013 年推出的 70D dSLR 开始，佳能一直在其相机上使用 DPAF。但是，DPAF 可能有一个致命弱点：如果相位传感像素中的两个光电二极管通过垂直光学壁进行光学隔离，则像素无法检测水平线的相移，因为水平线在向右或向左移动时看起来相同（具有相同的相位）。三星巧妙的解决方案是对 GN2 传感器的一些像素（绿色像素）进行光学分割，而不是垂直。需要明确的是，绿色光电二极管在电气上垂直分离，光学上对角分离，如图 4 所示。
图 4：早期的双像素相位检测使用垂直深沟槽隔离 (DTI) 将光引导到左右相位检测像素光电二极管。三星 GN2 传感器采用对角线 DTI 结构，允许绿色像素中的两个光电二极管检测并聚焦水平线和垂直线。（图片来源：三星）
对角光隔离允许每个绿色光电二极管响应水平线和垂直线的相位差，这使相机具有更好的 DPAF 功能。图 5 说明了垂直隔离和对角隔离相位检测子像素之间的差异。在左边的图像中，垂直隔离的 DPAF 传感器无法在任何区域对焦，因为该区域中只有水平线。在图 5 右侧的图像中，传感器可以聚焦在每个区域的所有水平线上。
图 5：垂直隔离的相位检测子像素不能聚焦在水平线上，因为向右或向左移动这些线不会移动光电二极管中产生的信号的相位。对角隔离的相位检测像素可以检测水平线。（图片来源：三星）
智能 ISO 专业版
三星 GN2 传感器中的每组四个像素都有一个单独的双增益控制开关，用于调整像素组的 ISO 感光度。对于明亮的图像，传感器会降低像素的增益，以匹配从像素图像信号到像素 ADC 的整个输入范围（低 ISO 模式）的全电压范围。对于弱光，传感器会提高像素组的增益，以便 ADC 的完整输入范围仅覆盖亮度范围的低端（高 ISO 模式），如图 6 所示。
图 6：三星 GN2 图像传感器可以在光线昏暗的场景下在高 ISO 模式下运行，以实现更低的噪点，并在光线明亮的场景下切换到低 ISO 模式。（图片来源：三星）
交错的HDR
高动态范围 (HDR) 是一种相对较新的成像技术，它“似乎”扩展了相机的动态亮度范围。这是一种压缩技术，可合并以不同传感器灵敏度拍摄的两个或多个图像，以适应图像的明亮和昏暗部分。它有助于突出高对比度场景阴影中的细节。由于 HDR 技术使用同一场景的多个图像来实现效果，如果单独的图像没有完美叠加，HDR 可能会导致场景模糊。图像拉伸算法可以修复一些模糊，但减少模糊的最佳方法是减少多个图像的捕获之间的时间。
交错 HDR 是一种通过在通常用于拍摄一张图像的时间内进行三种不同的曝光来减少模糊的方法。三星表示，这项技术利用滚动快门，让图像传感器进行长时间曝光，然后是中等曝光，然后是短曝光，分别用于昏暗、中等和明亮的成像，然后输出这三幅图像有一些重叠。使用滚动快门，传感器首先进行长时间曝光并开始一次输出一行曝光，一行中的所有像素电压同时从像素行传输到 ADC。
在长曝光的所有行都完全输出之前，传感器进行中等曝光并在长曝光完全输出之前开始输出。然后它对短曝光做同样的事情。传感器使用虚拟 MIPI 通道输出具有一定重叠的三个曝光，GNR 传感器的图像处理芯片将图像编织在一起以生成 HDR 图像。如果这一切看起来令人困惑，也许图 7 可以澄清事件的顺序。
图 7：为了减少交错 HDR 模式下的模糊，三星 GN2 传感器对昏暗区域进行长时间曝光，并开始在一个虚拟 MIPI 通道 (VC0) 上输出该图像。在长曝光图像完全输出之前，传感器拍摄中等曝光图像并开始在第二个 MIPI 虚拟通道 (VC1) 上输出该图像。然后对明亮区域进行短时间曝光，并在第三个 MIPI 虚拟通道 (VC2) 上输出该图像。（图片来源：三星）
如图 7 所示，传感器可以同时在第四个 MIPI 虚拟通道（VC3）上发送由 DPAF 功能生成的自动对焦信息（图中标记为“AF”）。
显着降低功耗
手机不断地与电池定律作斗争：电池能量容量的增长速度不如硅驱动能力快。因此，一直需要尽可能降低功耗。三星 GN2 图像传感器的设计者攻击了一个明显的耗电量：用于将模拟像素电压转换为数字表示的高速 ADC。将 ADC 的电源电压从 2.8 V 降至 2.2 V 可将 ADC 的功耗降低 20% 以上，从 311 mW 降至 244 mW。
然而，仅仅降低电源电压就会将 ADC 的输入范围减小到无法接受来自传感器的全范围像素图像电压的程度。为了解决这个问题，三星的工程师在像素图像传感器芯片上增加了一个 -0.6 V 的衬底反向偏置，有效地改变了传感器的输出范围，并且他们开发了一种低阈值电压晶体管设计，用于 28纳米死。这两项创新的结合降低了操作功率，同时保留了完整的传感器曝光范围。
Yoon 在 Hot Chips 33 上的演讲中讨论了三星 GN2 图像传感器中设计的其他创新，但上面列出的功能真正引起了我的兴趣，作为设计工程师和拥有多部数码相机的长期相机爱好者. 三星的工程师在这款传感器中融入了大量的技术创新，我相信它确实提高了所有相机的能力标准，无论是手机还是其他。
发表于 2021-11-16 17:17:16
