深入浅出Camera技术原理与架构分析

Camera摄像头是我们生活当中极其常见的产品了，遍布生活方方面面，也与我们自身息息相关, 以下是一些常见不同种类的摄像头:

虽然摄像头种类繁多，但其主要架构与成像原理是相通的，硬件架构如下所示, 决定其整体质量的就是镜头, 图像处理芯片,传感器三大组件:

1). 外界物体通过镜头生成的光学图像投射到图像传感器(Sensor);

2). 图像传感器(Sensor)将光信息转为变为数字图像电信号;

3). 上一步的信号送到DSP芯片进行计算，并转换为主流标准的RGB/YUV图像格式;

4). 接下来通过数据线或其它通道传入CPU，并生成文件用于展示, 此时人就看到了图像;

基于以上基础原理，再继续分析其核心框架:

上面架构图中主要涉及到了MIPI，CSI，ISP等几个核心概念，下面进行逐一介绍

1. MIPI

由国际MIPI联盟为移动应用处理器制定的开放标准移动产业处理器接口(Mobile Industry Processorinterface)。

MIPI联盟即移动产业处理器接口（MIPI）联盟，由美国德州仪器（TI）、 意法半导体（ST）、 英国ARM和芬兰诺基亚（Nokia）4家公司共同成立，旨在定义并推广用于移动应用处理器接口的开放标准。

2. CSI

主机处理器与摄像头模块之间的高速串行接口;专门针对摄像头芯片的接口而设计, 有速率高，低功耗的特点, 极大的支持了高清摄像头领域的发展。

CSI层级定义如下:

1). 应用层（Application Layer）

该层主要用于不同场景对数据的处理过程，对于发送方，多为camera生成数据，对于接收方，多为SOC对数据进行处理。

2). 协议层（Protocol Layer）

CSI-2协议可以使用SOC上的一个物理接口实现多条数据流的传输。协议层规定了如何对多条数据流进行标记和交织，从而使每条数据流能够正确地重建。

(1).像素字节转换层（Pixel/Byte Packing/Unpacking Layer）

CSI-2能够支持多种多样的像素格式，对于发送方，在数据发送之前，需要根据像素格式，将像素数据转换为对应的字节流；对于接收方，在将数据提供给应用层之前，需要将字节流数据转换为像素数据。

(2).低级协议层（Low Level Protocol）

LLP指的是SoT与EoT之间的数据包字节流协议，LLP的最小单元为字节。

(3).Lane管理器（Lane Management）

为了适应不同场景下对带宽的要求，CSI-2规定了Lane的数量是可拓展的。因此，在面临多Lane同时传输时，发送方需要对字节流进行公平分流（distributor），接收方则需要对多Lane数据进行合并（merger）。

3).物理层（PHY Layer）

PHY层指定了传输媒介，在电气层面从串行bit流中捕捉“0”与“1”，同时生成SoT与EoT等信号。CSI的硬件部分包括C-PHY、D-PHY，实际上使用的主要是D-PHY。

2. ISP

ISP(Image Signal Processor)即图像信号处理器，用于处理图像信号传感器输出的图像信号。

它在相机系统中占有核心主导的地位，是构成相机的重要设备。ISP 通过一系列数字图像处理算法完成对数字图像的效果处理。

小优智能科技采用了领先的摄像头硬件与算法处理技术，在3D视觉与建模领域深耕多年，并取得了重要且具有较大影响力的技术专利与研究成果。

注：图片来源包图网、知乎。