1、摄像头接口分类及摄像头接口分类及基础知识一、Camera 工作原理介绍1 结构2 工作原理外部光线穿过 lens 后， 经过 color filter 滤波后照射到 Sensor 面上， Sensor 将从 lens 上传导过来的光线转换为电信号，再通过内部的 AD 转换为数字信号。如果 Sensor 没有集 成 DSP，则通过 DVP 的方式传输到 baseband，此时的数据格式是 RAW DATA。如果集成 了 DSP， RAW DATA 数据经过 AWB、 则 color matrix、 lens shading、 gamma、 sharpness、 AE 和 de-noise 处理，
2、后输出 YUV 或者 RGB 格式的数据。最后会由 CPU 送到 framebuffer 中进行显示，这样我们就看到 camera 拍摄到的景象 了。3 YUV 与 YCbCr 一般来说，camera主要是由lens 和 sensor IC 两部分组成，其中有的 sensor IC 集成 了 DSP，有的没有集成，但也需要外部 DSP 处理。细分的来讲，camera 设备由下边几部 分构成：1） lens（镜头） 一般 camera 的镜头结构是有几片透镜组成，分有塑胶透镜（Plastic)和玻璃透 镜(Glass) ，通常镜头结构有：1P,2P,1G1P,1G3P,2G2P,4G 等。2）
3、sensor（图像传感器） Senor 是一种半导体芯片，有两种类型：CCD（Charge Coupled Device）即电荷耦合器件的缩写和 CMOS（ComplementaryMetal-OxideSemiconductor）互补金属氧化物半导体。Sensor 将从 lens 上传导过来的光线转换为电信号， 再通过内部的 AD 转换为数字信号。 由于 Sensor 的每个 pixel 只能感光 R 光或者 B 光或者 G 光， 因此每个像素此时存贮的是单色的， 我们称之为 RAW DATA 数据。 要想将每个像素的 RAW DATA 数据还原成三基色，就需要 ISP 来处理。注：CCD传
4、感器，电荷信号先传送，后放大，再A/D，成像质量灵敏度高、分辨率好、噪声小；处理速度慢；造价高，工艺复杂。 CMOS传感器，电荷信号先放大，后A/D，再传送；成像质量灵敏度低、噪声明显；处理速度快；造价低，工艺简单。3）ISP（图像信号处理） 主要完成数字图像的处理工作，把 sensor 采集到的原始数据转换为显示支持 的格式。4）CAMIF（camera 控制器） 芯片上的 camera 接口电路，对设备进行控制，接收 sensor 采集的数据交给 CPU，并送入 LCD 进行显示。YUV 和 RGB 一样，是色彩空间中常用的色彩模型之一，两者可以相互转换。YUV 中 得 Y 表示亮度，U
5、和 V 表示色度。与 RGB 相比，它的优点在于占用更少的空间。 YCbCr 则是在世界数字组织视频标准研制过程中作为 ITU - R BT601 建议的一部分, 其实是 YUV 经过缩放和偏移的翻版。 其中 Y 与 YUV 中的 Y 含义一致, Cb , Cr 同样都指色 彩, 只是在表示方法上不同而已。在 YUV 家族中, YCbCr 是在计算机系统中应用最多的成 员, 其应用领域很广泛,JPEG、 MPEG 均采用此格式。 一般人们所讲的 YUV 大多是指 YCbCr。 YCbCr 有许多取样格式, 如 444 , 422 , 411 和 420。二、摄像头接口分类常见类型有MIPI、D
6、VP和usb接口接口DVP总线PCLK极限大约在96M左右，而且走线长度不能过长，所有DVP最大速率最好控制在72M以下，故PCB layout会较好画。MIPI总线速率随便就几百M，而且是lvds接口耦合，走线必须差分等长，并且注意保护，故对PCB走线以及阻抗控制要求高一点。一般而言，96M pclk是DVP的极限，曾经在一个team做多摄相头的图象采集设备，DVP总线连接。几个不懂技术的一直push我说是硬件走线干扰啊，拘泥纠缠在什么I2C这种低速控制信号受干扰，还搞了好几天看示波器，被烦的不行，我用一个晚上时间改驱动降低PCLK降桢率搞定。1）DVP是并口，需要PCLK、VSYNC、HS
7、YNC、D0：11可以是8/10/12bit数据，看ISP或baseband是否支持；MIPI是LVDS（Low Voltage Differential Signaling，低电压差分信号），低压差分串口。只需要要CLKP/N、DATAP/N最大支持4-lane，一般2-lane可以搞定。2）MIPI接口比DVP的接口信号线少，由于是低压差分信号，产生的干扰小，抗干扰能力也强。最重要的是DVP接口在信号完整性方面受限制，速率也受限制。500W还可以勉强用DVP，800W及以上都采用MIPI接口。/*/注（液晶屏接口类型）：Mipi 接口 和 LVDS 接口主要区别（这里是液晶屏接口类型）：1
8、. LVDS接口只用于传输视频数据，MIPI DSI不仅能够传输视频数据，还能传输控制指令；2. LVDS接口主要是将RGB TTL信号按照SPWG/JEIDA格式转换成LVDS信号进行传输，MIPI DSI接口则按照特定的握手顺序和指令规则传输屏幕控制所需的视频数据和控制数据。液晶屏有RGB TTL、LVDS、MIPI DSI接口，这些接口区别于信号的类型（种类），也区别于信号内容。RGB TTL接口信号类型是TTL电平，信号的内容是RGB666或者RGB888还有行场同步和时钟；LVDS接口信号类型是LVDS信号（低电压差分对），信号的内容是RGB数据还有行场同步和时钟；MIPI DSI接
9、口信号类型是LVDS信号，信号的内容是视频流数据和控制指令。/*/串口信号：串行接口（Serial Interface）是指数据一位位地顺序传送，其特点是通信线路简单，只要一对传输线就可以实现双向通信，并可以利用电话线，从而大大降低了成本，特别适用于远距离通信，但传送速度较慢。串行接口，一条信息的各位数据被逐位按顺序传送的通讯方式称为串行通讯。串行通讯的特点是：数据位传送，传按位顺序进行，最少只需一根传输线即可完成；成本低但传送速度慢。串行通讯的距离可以从几米到几千米；根据信息的传送方向，串行通讯可以进一步分为单工、半双工和全双工三种。串行通讯的特点是：数据位的传送，按位顺序进行。并口信号：并
10、行接口，指采用并行传输方式来传输数据的接口标准。从最简单的一个并行数据寄存器或专用接口集成电路芯片如8255、6820等，一直至较复杂的SCSI或IDE并行接口，种类有数十种。一个并行接口的接口特性可以从两个方面加以描述：1. 以并行方式传输的数据通道的宽度，也称接口传输的位数；2. 用于协调并行数据传输的额外接口控制线或称交互信号的特性。 数据的宽度可以从1128位或者更宽，最常用的是8位，可通过接口一次传送8个数据位。在计算机领域最常用的并行接口是通常所说的LPT接口。并口就是8个车道同一时刻能传送8位（一个字节）数据。并不是说并口快，由于8位通道之间的互相干扰（串扰），传输时速度就受到了
11、限制，传输容易出错。串口没有互相干扰。差分信号：（差模信号：双端输入时，两个信号的相位相差180度）所谓差分方式传输，就是发送端在两条信号线上传输的幅值是相等的，相位是相反的电信号，如下图所示： 而对于接收端，将会对接收的两条信号做 减法运算，这样就获得了幅值翻倍的信号，其抗干扰原理是：假如两条信号都收到同样的（同向、等幅度）的干扰信号，由于接收端是怼接收的两条线信号进行减法处理，因此干扰信号会被基本抵消。也就是说，一个差分放大器的输入有效信号幅度只需要几毫伏，但是它却能够对一个高达几伏特的共模信号无动于衷。 那么怎么样才能保证两条信号线受到的干扰信号尽量是同相、等幅呢？办法之一就是要将那两根
12、线扭在一起，也就是所谓的“双绞线”，因为有一个电磁学定理：可以近似的认为双绞线收到的干扰信号是同相、等幅度的，所以差分信号在信号传输中用的比较多，也就有原因了。因为抗干扰性强。对于PCB工程师来说，最关注的还是如何确保在实际走线中能完全发挥差分走线的这些优势。也许只要是接触过Layout的人都会了解差分走线的一般要求，那就是“等长、等距”。等长是为了保证两个差分信号时刻保持相反极性，减少共模分量；等距则主要是为了保证两者差分阻抗一致，减少反射。“尽量靠近原则”有时候也是差分走线的要求之一。三、MIPI联盟的MIPI DSI规范MIPI（移动行业处理器接口）是Mobile Industry Pr
13、ocessor Interface的缩写。1、名词解释 DCS (DisplayCommandSet)：DCS是一个标准化的命令集，用于命令模式的显示模组。 DSI, CSI (DisplaySerialInterface, CameraSerialInterface） DSI 定义了一个位于处理器和显示模组之间的高速串行接口。 CSI 定义了一个位于处理器和摄像模组之间的高速串行接口。 D-PHY：提供DSI和CSI的物理层定义2、DSI分层结构DSI分四层，对应D-PHY、DSI、DCS规范、分层结构图如下：PHY 定义了传输媒介，输入/输出电路和和时钟和信号机制。Lane Managem
14、ent层：发送和收集数据流到每条lane。Low Level Protocol层：定义了如何组帧和解析以及错误检测等。Application层：描述高层编码和解析数据流。3、Command和Video模式DSI兼容的外设支持Command或Video操作模式，用哪个模式由外设的构架决定Command模式是指采用发送命令和数据到具有显示缓存的控制器。主机通过命令间接的控制外设。Command模式采用双向接口Video模式是指从主机传输到外设采用时实象素流。这种模式只能以高速传输。为减少复杂性和节约成本，只采用Video模式的系统可能只有一个单向数据路径四、D-PHY介绍1、D-PHY 描述了一同
15、步、高速、低功耗、低代价的PHY。一个 PHY配置包括 一个时钟lane 一个或多个数据lane两个Lane的 PHY配置如下图三个主要的lane的类型 单向时钟Lane 单向数据Lane 双向数据LaneD-PHY的传输模式 低功耗（Low-Power）信号模式（用于控制）：10MHz (max) 高速（High-Speed）信号模式（用于高速数据传输）：80Mbps 1Gbps/LaneD-PHY低层协议规定最小数据单位是一个字节 发送数据时必须低位在前，高位在后D-PHY适用于移动应用 DSI：显示串行接口 一个时钟lane，一个或多个数据lane CSI：摄像串行接口2、Lane模块P
16、HY由D-PHY(Lane模块)组成D-PHY可能包含： 低功耗发送器（LP-TX） 低功耗接收器（LP-RX） 高速发送器（HS-TX） 高速接收器（HS-RX） 低功耗竞争检测器（LP-CD）三个主要lane类型 单向时钟Lane Master：HS-TX, LP-TX Slave：HS-RX, LP-RX 单向数据Lane Master：HS-TX, LP-TX Slave：HS-RX, LP-RX 双向数据Lane Master, Slave：HS-TX, LP-TX, HS-RX, LP-RX, LP-CD3、Lane状态和电压Lane状态 LP-00, LP-01, LP-10,
17、LP-11 (单端) HS-0, HS-1 (差分)Lane电压（典型） LP：0-1.2V HS：100-300mV (200mV)4、操作模式数据Lane的三种操作模式 Escape mode, High-Speed(Burst) mode, Control mode从控制模式的停止状态开始的可能事件有： Escape mode request (LP-11LP-10LP-00LP-01LP-00) High-Speed mode request (LP-11LP-01LP-00) Turnaround request (LP-11LP-10LP-00LP-10LP-00)Escape m
18、ode是数据Lane在LP状态下的一种特殊操作 在这种模式下，可以进入一些额外的功能：LPDT, ULPS, Trigger 数据Lane进入Escape mode模式通过LP-11LP-10LP-00LP-01LP-00 一旦进入Escape mode模式，发送端必须发送1个8-bit的命令来响应请求的动作 Escape mode 使用Spaced-One-Hot Encoding超低功耗状态（Ultra-Low Power State） 这个状态下，lines处于空状态 (LP-00)时钟Lane的超低功耗状态 时钟Lane通过LP-11LP-10LP-00进入ULPS状态 通过LP-10
19、 TWAKEUP LP-11退出这种状态，最小TWAKEUP时间为1ms高速数据传输 发送高速串行数据的行为称为高速数据传输或触发（burst） 全部Lanes门同步开始，结束的时间可能不同。 时钟应该处于高速模式各模操作式下的传输过程 进入Escape模式的过程 ：LP-11LP-10LP-00LP-01LP-00Entry Code LPD (10MHz) 退出Escape模式的过程：LP-10LP-11 进入高速模式的过程：LP-11LP-01LP-00SoT(00011101) HSD (80Mbps 1Gbps) 退出高速模式的过程：EoTLP-11 控制模式 - BTA 传输过程：
20、LP-11LP-10LP-00LP-10LP-00 控制模式 - BTA 接收过程：LP-00LP-10LP-11状态转换关系图五、DSI介绍1、DSI是一种Lane可扩展的接口，1个时钟Lane/1-4个数据LaneDSI兼容的外设支持1个或2个基本的操作模式： Command Mode（类似于MPU接口） Video Mode（类似于RGB接口）- 必须用高速模式传输数据，支持3种格式的数据传输 Non-Burst 同步脉冲模式 Non-Burst 同步事件模式 Burst模式传输模式： 高速信号模式（High-Speed signaling mode） 低功耗信号模式（Low-Power
21、 signaling mode） - 只使用数据lane 0（时钟是由DP，DN异或而来）。帧类型 短帧：4 bytes (固定) 长帧：665541 bytes (可变)两个数据Lane高速传输示例2、短帧结构帧头部（4个字节） 数据标识(DI) 1个字节 帧数据- 2个字节 （长度固定为2个字节） 错误检测(ECC) 1个字节帧大小 长度固定为4个字节3、长帧结构 帧头部（4个字节） 数据标识(DI) 1个字节 数据计数- 2个字节 （数据填充的个数） 错误检测(ECC) 1个字节数据填充(065535 字节) 长度=WC*字节 帧尾：校验和（2个字节）帧大小： 4 + (065535)
22、+ 2 = 6 65541 字节4、帧数据类型六、MIPI DSI信号测量实例1、MIPI DSI在Low Power模式下的信号测量图2、MIPI的D-PHY和DSI的传输方式和操作模式D-PHY和DSI的传输模式 低功耗（Low-Power）信号模式（用于控制）：10MHz (max) 高速（High-Speed）信号模式（用于高速数据传输）：80Mbps 1Gbps/LaneD-PHY的操作模式 Escape mode, High-Speed(Burst) mode, Control modeDSI的操作模式 Command Mode（类似于MPU接口） Video Mode（类似于RGB接口）- 必须用高速模式传输数据3、小结论传输模式和操作模式是不同的概念Video Mode操作模式下必须使用High-Speed的传输模式Command Mode操作模式并没有规定使用High-Speed或Low Power的传输模式，或者说即使外部LCD模组为Video Mode，但通常在LCD模组初始化时还是使用Command Mode模式来读写寄存器，因为在低速下数据不容易出错并且容易测量。Video Mode当然也可以用High-Speed的方式来发送指令，Command Mode操作模式也可以使用High-Speed，只是没有必要这么做
