捋一遍光信号从进入镜头到显示到屏幕上都经历了什么

小军

最近tuning的时候由于rotate的问题踩了坑，所以想捋一捋思路，还有些疑问也请路过的大神赐教。
首先，物体表面的光经过反射，根据小孔成像原理进入了镜头，打在了sensor的靶面上。
问题1，打在sensor的靶面上，和实际的物像是上下、左右颠倒的。从顶视图来看，sensor的左下角对应的是物像的左上角，那么sensor的readout order不是应该从左下角第一个像素开始输出，从左到右，从下到上逐行输出吗？而实际sensor的spec是如下图中设计的：

和我想的截然相反，其中做了什么操作还是我理解错了？
问题2，sensor在MIPI上传送给ISP的第一行数据，是物像的左上角从左到右第一行？
问题3，从sensor到ISP，中间的MIPI协议中，是逐行传输数据？多行传输数据？
问题4，ISP是逐帧处理数据吗？然后再按行输出给display？1帧raw数据要几兆甚至更大，ISP内有对应最大支持的分辨率的buffer？

maver

第三个问题和第四个比较容易回答：
3： 是逐行传输。
4：ISP 也是逐行收到数据，并逐行处理。ISP内部各个block 有不同的line buffer，有的block buffer 很多行，filter后产生一行处理过的数据。isp 也是一行行输出，输出一般分成几路，一路去encoder，一路去显示，也有的分出去一路去做机器视觉之类的应用。因为各路输出需要的size不同，所以都会配上不同的resizer。

至于你说的display，display 读取显示数据有不同的方式。现在的display常用的是DMA来把整帧图像memory搬运到display 内部的显示memory。过去的display有逐行扫描，隔行扫描，把一行行的图像显示出去。

小军

maver 发表于 2019-12-11 18:28
第三个问题和第四个比较容易回答：
3： 是逐行传输。
4：ISP 也是逐行收到数据，并逐行处理。ISP内部各个 ...

感谢解惑！

maver

第一个问题：
1. 一行的Pixel Diode 是一起送到 行AD 转换器，AD转换后，shift 出去。
2. shift的顺序也是各个项目都可能不同。
3.shift 不一定是一个pixel 一个pixel的，有的总线带宽大，可以shift 4 个，6个一起。

小军

maver 发表于 2019-12-11 19:53
第一个问题：
1. 一行的Pixel Diode 是一起送到 行AD 转换器，AD转换后，shift 出去。
2. shift的顺序也 ...

问题1，打在sensor的靶面上，和实际的物像是上下、左右颠倒的。
从顶视图来看，sensor的左下角对应的是物像的左上角，那么sensor的readout order不是应该从左下角第一个像素开始输出，从左到右，从下到上逐行输出吗？而实际sensor的spec是从右上角开始输出第一行的，那岂不是第一行输出的是一帧的最后一行？

maver

还有，就是你描述的物与像的几何关系也是不对的。物与像，是flip+mirror的关系。物的左上点，在sensor侧就到了右下点。

小军

maver 发表于 2019-12-11 20:33
还有，就是你描述的物与像的几何关系也是不对的。物与像，是flip+mirror的关系。物的左上点，在sensor侧就 ...

物与像，是flip+mirror的关系。物的左上点，在sensor侧就到了右下点。是这样的。

所以我描述的时候加了“从顶视图来看”sensor靶面。
“打在sensor的靶面上，和实际的物像是上下、左右颠倒的。从顶视图来看，sensor的左下角对应的是物像的左上角”