手机摄像头的分析与思考
本文是对2019年的这份报告进行了整理，以及加入自己的思考与体会
（一）前沿技术
1. 多摄
优势
夜拍
黑白+彩色：彩色用于成像，黑白用于捕捉细节（最近发布的手机好像都没有黑白相机了）
疑问：4合一，16合一的sensor输出的bayer格式发生了变化，高通上的调试软件只支持RGGB等传统的RAW格式，那么在高通平台上他们是如何进行调试处理呢？另外，从最新发布的手机，如华为P40，小米10来看，好像已经放弃了这种黑白摄像头，改用更大的光圈和sensor靶面去改善夜间效果。
实现混合光学变焦
以华为P20 Pro为例，由于长焦摄像头的 80mm 焦距刚好是主摄像头 27mm 焦距的三倍，所以当需要变焦拍摄远处的景象时，可以从主摄像头切换到长焦摄像头，从而实现模拟 3 倍光学变焦，这一点与 iPhone 的光学变焦原理是相同的。这种变焦实际上是“突然”发生的，但通过算法的调校，可以让这个过程平滑化，让拍摄者不会感到突兀。5 倍三摄变焦实际上是对照片进行裁剪优化得到的。由于 4000 万像素彩色主摄像头的成像效果非常好，所以在需要实现 5 倍三摄变焦时，会把这颗摄像头的图像和长焦摄像头的图像进行裁剪优化，再加上黑白摄像头的细节能力，从而呈现出 5 倍变焦的效果。
注意，手机厂商提出的混合光学变焦并非是真正的改变了焦距，只是利用两个不同焦距的镜头拍出的图片进行了算法处理。
难点
- 在硬件方面，难点在于摄像头的一致性要求。这三颗摄像头均可以实现成熟的单独量产，但组合起来就会出现一致性的问题。每颗摄像头的加工过程和安装位置都会产生细微差别，对于摄像头这种高精度的装置，1mm 的偏差就足以毁掉整张照片。为此，华为在每条产线上引入了高精密的调校系统，通过光学检测和人工智能来进行分析和校准，保证对焦和成像的准确性。
- 在算法方面，难点在于解决变焦时的转换流畅度。由于三颗摄像头是两两组合来使用的，在变焦时要实现摄像头的切换，这个时候需要完美解决视差问题，即无论变焦到多少，切换到哪个摄像头，都不能感觉到明显的差异。为了实现像素级的精确，最终生成的图像都需要上万个点的对齐测试，这种算法的调校才是多摄的难点。
2. 潜望式摄像头
原理及优势
变焦就是改变焦距，从而得到不同宽窄的视场角、不同大小的影像和不同的景物范围。变焦通常有数码变焦和光学变焦两种方式，其中数码变焦是通过数码相机内的处理器，把图片内的每个像素面积增大，从而达到放大目的；光学变焦是依靠镜头中镜片的移动（改变镜片之间的距离），进而改变镜头的焦距，实现变焦。
光学变焦可以分为内变焦和外变焦两类方案。内变焦指前后镜片之间的距离不变，由之间的镜片组前后移动变焦，简单理解就是变焦在机身内完成，摄像头外观没有变化；而外变焦则是通过前镜片组和后镜片组移动变焦，类似于我们平常见到的伸缩式镜头。
由于智能手机需要保持轻薄，而使用伸缩式摄像头会大幅增加手机的厚度，并且难以防水防尘，所以内变焦是手机实现光学变焦的主要方式。但由于手机厚度有限，水平放置的摄像头只能有较小的焦距，光学变焦能力有限，所以通过采用潜望式摄像头的设计，能大幅增加摄像头的焦距，实现更好的光学变焦。
缺点
第一，潜望式镜头占据了大量手机内部空间，同样体积的手机，装有潜望镜头的手机需要在电池、散热等方面有所牺牲；
第二，由于反射棱镜的存在，潜望式镜头影响光线的射入量，光线强度在棱镜反射时候会出现较大成都衰减。因此，同样的传感器，潜望式镜头在暗光下性能相对较差；
第三，由于潜望镜式镜头的感光元器件的安装方式与之前不同，导致潜望式镜头后的图像传感器尺寸较小。潜望式镜头后的传感器，无法大于手机本身的厚度。
疑问
从oppo的潜望式摄像头专利图来看，这颗潜望式摄像头并没有改变焦距，运动元件是带着整个镜头组运动的，只是实现一个对焦的功能。难道说oppo的这个潜望式镜头只是实现了长焦的功能，并没有实现变焦的功能？
为何不用两个反光棱镜呢？这样sensor就可以平放在手机上，不会影响手机的高度，还可以把sensor的尺寸做大一些呀。
（二）手机摄像头
1. 镜头
材质
主要有两种材质
手机摄像头使用的镜头主要有塑胶和玻璃两种材质。塑胶镜头透光率不如玻璃镜头，但成型更为容易、良率较高、成本较低，通过不同形状的塑胶镜头进行组合，也可以达到非常好的成像效果，所以手机摄像头使用大多都是塑胶镜头。
如在下图中，黑白条的对比度原本是 100%，但经过镜头的处理之后，黑白条的中间地带会由于光线的串扰而呈现灰色，这就是无法完全还原对比度的情况。在这个例子中，这个镜头的 MTF 值为 90%，表示可以还原 90%的对比度。
在手机可见光摄像头中，尽管玻璃材料的透光量要好于塑胶镜头，但塑胶易于成型，可以组成各种所需要的组合，对光线的控制也更优，所以塑胶镜头的 MTF 反而会大于玻璃镜头。
设计
光学镜头的难点之一在于设计环节。光线在穿过镜头时，会发生非常复杂的折射过程才能到达图像传感器。
这些复杂的折射过程会使图像传感器上的成像与根据高斯光学得到的理论结果产生差距，这就是像差。
像差主要由三种原因产生：
- 通光介质的折射率随波长变化而变化；
- 透镜表面通常为球面；
- 光具有波粒二象性。
由第一种原因产生的成像偏差称为色差，第二种产生的成像偏差称为球差，第三种产生的成像偏差称为衍射效应。目前已知的像差已经有几百种，比如轴向色差、球差、横向色差、慧差、场曲、像散和畸变等。
像差无法完全消除，所以这个世界不存在完美的镜头。光学设计就是通过组合不同形状、不同数目的透镜，实现对这些像差的控制，尽可能获得尽可能完美的成像效果。但是因为像差实在太多，所以想实现完全的像差控制是不可能的，只能通过光学设计在众多像差中取得平衡。
制造
光学镜头的难点之二在于制造环节。如果说设计解决的是镜头厂商能否生产的问题，那么制造环节就是决定生产良率和一致性的关键。在模具、成型、组装等环节，对于生产精度都有非常高的要求，任何一个环节出现差错都会对最后的成像效果产生非常大的影响。
模具环节是塑胶镜头制造的最关键部分。模具的质量直接影响镜片的成型，所以需要非常高精度的模具，不仅需要有经验的设计人员来进行设计，还需要制造人员具有精密加工和检测方面的基础。在设计模具时，应该将成型时的所有可能影响精度的因素加以控制，包括成型机、成型条件、成型材料。整体模具的设计需要注意成型机的尺寸和精度、成型条件和成型材料的特性，并考虑到具有累加性的误差，如平行度、垂直度、同心度，以及影响塑胶流动的因素，例如排气孔的位置和浇口形状。在制造模具时，需要考虑模具的加工方法、工作机械和模具材料，比如零件制造的机台、方法、程序是否合理。任何失误都会直接影响模具的尺寸
精度，很容易导致模具无法达到设计的公差范围。在成型环节，材料发生了相变化、密度变化、温度变化以及压力变化，必须严格精确控制这些变量才能使透镜拥有良好的光学特性，这对厂商的生产提出了极高的要求，不仅需要高精度的仪器，还需要有经验的熟练工人才能完成操作，任何差错都会影响最后的成像质量。比如莱卡在冷却成型时，是按照一小时下降一度的速率逐渐降低温度的，以求得到最优质的光学镜头。
组装环节是按照顺序逐一将加工完成的镜片、隔片、压圈等部件完成装配，并实现光学性能的过程，目前主要通过自动化方式实现组装。镜头组装技术要点十分复杂，对部件加工精度、组装精度具有极高的要求，整体公差一般不超过 3 微米，而大立光等企业甚至达到 2 微米。组装还需要经验丰富功底深厚的专家团队，不断改进探索，需要多年积累才能制作一颗合格的镜头。
光学镜头设计非常复杂，目前已知的像差就有数百种，仍有大量未知的像差不断被发现，需要在设计中被考虑进去。光线的折射和反射路径数不胜数，需要设计师去不断计算和权衡。透镜的形状、位置、材料可以有无数种组合方式，让设计师们有空间去不断挖掘更好的设计。光学镜头行业永远没有进步的终点，永远都有探索的空间。正因为这个行业进步永无止境，所以时间和经验才显得极为重要。
思考：海康的黑光技术是用棱镜分光实现的，光学上的创新挺令人惊叹的。未来光学镜头的发展还有很多路可以走，也就意味着这些行业有很强的技术壁垒，其他的小厂商很难生存下来。
2. 音圈马达
手机中控制镜头对焦的器件为音圈马达（VCM）。单反相机的对焦是通过转动镜筒带动镜头里某个镜片或者某组镜片前后移动，来修正光路，使成像落在感光元件上是最清晰的。普通的手机摄像头无法做到像单反相机那样移动某块镜片或者某组镜片来对焦，因此手机摄像头是通过镜头组整个前后移动实现自动对焦，驱动这一动作的就是 VCM。
音圈电机（VCM）基于安培定理工作，即当线圈导电，其中的电流产生的作用力推动固定在载体上的镜头移动，从而改变对焦距离。可以看到，音圈电机（VCM）器件对于对焦距离的控制实际上是通过对线圈中电流的控制来实现的。
手机摄像头的 VCM 需要 Driver IC 配合完成对焦，通过 Driver IC 控制VCM 供电电流的大小，来确定 VCM 搭载的镜头移动的距离，从而调节到适当的位置拍摄清晰图像。
衡量 VCM 的性能主要有以下几个指标：
- 行程，简单来说就是音圈马达在额定电流下能够跑多远；
- 灵敏度，就是电流与行程曲线之间的斜率，灵敏度越高越好；
- 磁滞，磁性物体都有保留其磁性的倾向，磁感应强度的变化总是滞后于磁场强度的变化，所以会造成音圈马达在同一电流下向上或者向下的行程产生位置差，磁滞越小越好；
- 启动电流，就是需要多大的电流来驱动 VCM，越小越好。
3. 红外截止滤光片
红外截止滤光片(IR-Cut filter) 是一种允许可见光透过而截止红外光的光学滤光片。当光线进入镜头，折射后可见光和红外光会在不同靶面成像，可见光成像为彩色，红外光成像为黑白。当把可见光所成图像调试好之后，红外光会在此靶面形成虚像，影响图像的颜色和质量。
思考：原来红外滤光片不仅仅有矫正色彩的功能，还有减少红外产生的伪像的功能。难怪光学组测试镜头的时候有一项指标叫做，日夜共焦。
红外截止滤光片又可细分为两种，一种是反射式滤光片，另一种是吸收式滤光片。滤光片最关键的工艺是镀膜，需要保证镀膜的均匀性和一致性，镀膜又可分为真空镀膜和化学镀膜两种方式。镀膜之后基本可以滤除 650nm以上波长的光，满足基本的使用需求。
以蓝玻璃为基材镀膜制成的 IRCF，是采用吸收的方式过滤红外光，可过滤 630nm 以上波长的光，比较彻底；而以普通玻璃为基材镀膜所制成的IRCF 是以反射的方式过滤掉红外光，反射光容易造成干扰，效果差于蓝玻璃 IRCF。
4. CIS传感器
原理及发展
CMOS 图像传感器（CIS，CMOS Image Sensor）是实现将光信号转换为电信号的模数转换器。
CMOS 图像传感器由两部分组成：感光区域和处理电路。感光区域由大量的感光二极管构成，每个感光二极管就是一个像素单元。光子在经过感光二极管之后，就会通过激发光电二极管中的材料放电，从而转化为电子被释放出来。电荷被储存而形成电势差，电势差被测量出来，从而可以得到该像素单元的灰度值。
处理电路是对感光区域获得的数据进行处理的电路，例如自动对焦、光学防抖、曝光时间控制、自动增益控制、时序控制、同步信号、行起始信号、场起始信号等，在传感器的工作过程中起着非常重要的作用。
- 由前照式转变为背照式，提高画质。
- 由非堆栈式转变为堆栈式，提升性能，减小面积。
- 由双层堆栈式转变为三层堆栈式，提升数据读取速度。（大像素和高帧率）
定制化
由于各大手机厂商对拍照性能的要求不同、理解也不同，所以对 CMOS图像传感器的性能要求也不一样，这就需要进行定制化生产。与公版感光元件固定化的参数相比，定制化的感光元件在参数选择上更加灵活。以华为 P9 为例，在确定了双摄像头理念后，找到索尼定制RGB/Monochrome 架构的 CMOS 能够让双摄像头的实力得到更大发挥。另外如果在画质上有很高的追求，则可以找索尼定制一款低像素、大面积+大像素尺寸这种综合实力很强的 CMOS（诸如 IMX260）。
IDM 模式即将设计与制造两大环节垂直整合的模式，Fabless 模式即只专注设计而将制造环节外包的模式。根据前面的分析，CMOS 图像传感器其实有大量技术创新是在制造环节，那么 IDM 模式的厂商就可以更深刻地理解制造过程，从而实现技术上的改进，而代工的 Fabless 模式则因距离制造环节太远而无法更好地创新；与此同时，IDM 模式让厂商在生产环节有了更多的掌控力，可以更好地完成手机厂商所要求的定制化参数。
索尼、三星、佳能、尼康等厂商采用的是 IDM 模式，SK 海力士则通过收购 Siliconfile 而成为 IDM 厂商。其余厂商则采用 Fabless/Fablite 的模式，例如安森美（On Semi）交给 L-Foundry 代工，意法半导体交给台联电代工，豪威科技主要交给台积电代工，格科微主要交给中芯国际代工。
5. 模组
模组：技术壁垒不高，良率提升决定盈利能力
模组是把上述零组件整合到一起后的器件。手机摄像头模组的主流工艺有 CSP、COB 和 FC 三种，其中 CSP 主要用于低端产品，COB 是最主流的工艺，FC 则仅有苹果在使用。
- CSP（芯片级封装）的优势在于制造设备成本低、洁净度要求低、良率较高，劣势在于镜头透光率低、模组厚度较高。
- COB（板上封装）的优势在于设备成本较高但封装成本低，劣势在于洁净度要求高、良率较低，制程时间相对较长。
- FC（倒装芯片）的优势在于封装密度很高、封装所得摄像头模组厚度最薄、缺点在于成本较高、良率较低。
（三）3D sensing
1. 原理
3D Sensing 的硬件可以分为发射端和接收端两部分。发射端由 VCSEL激光源、准直镜头和 DOE 扩散片组成，接收端由窄带滤光片、光学镜头和红外 CIS 组成。
在工作时，VCSEL 激光源首先会发射出数百束特定频率的红外光，这些红外光经过准直镜头的校准之后，被传导到 DOE 扩散片，扩散片会将红外光束分散成 3 万多个随机的红外光点，照射到人的面部；经过面部反射之后的红外光被接收端接收，在经过窄带滤光片的过滤之后，特定频率的红外光经过光学镜头的投射被红外 CIS 所接收。
疑问：发射端为什么需要反射镜面？
2. VCSEL激光源
以砷化镓激光二极管为例，首先需要在砷化镓激光二极管芯片的上下各蒸镀一层金属电极，对着芯片施加电压，当芯片吸收电能时，会发出某种波 长的光。发射的光在左右两个反射镜（DBR1、DBR2）间来回反射，产生谐 振放大。由于右侧的反射镜被设计成可以透过一部分光（DBR2 的层数较少）， 所以特定波长的高能量光束就会从右方穿出。
阳光中的 940nm 红外光会在长距离传播中被空气中的水分吸收掉，而iPhone X 所用的 940nm 红外光则因距离面部近而不会被吸收，这样可以避免阳光中的红外光干扰产生“红暴”现象，所以苹果才选用这个波长的红外光。850nm 红外光则一般用于光通信中，普通的监控摄像头也是使用的这一波段的红外光。
3. 准直镜头
VCSEL 发出的光具有较宽的波瓣，不利于后续的衍射过程，需要将这些光汇聚校准为窄波瓣的近似平行光。这种将激光校准为平行光的器件就是准直镜头。
技术难度高，目前被Heptagon 垄断专利。
4. 光学衍射元件
经过准直镜头校准后的激光束并没有特征信息，因此下一步需要对激光束进行调制，使其具备特征结构，光学衍射元件（DOE）就是用来完成这一任务的。VCSEL 射出的激光束经准直后，通过 DOE 进行散射，即可得到所需的散斑图案（Pattern）。
DOE 的基本原理是利用衍射原理在元件表面制备一定深度的台阶（光栅），光束通过时产生不同的光程差，满足布拉格衍射条件。通过不同的设计来控制光束的发散角和形成光斑的形貌，实现光束形成特定图案的功能。
DOE 是一个单一光学元件，可将入射光束分散成无数个光束再射出。每一个分散之后再射出的光束，都与原先入射进来的光束拥有相同的光学特性，包括偏振性、相位等。DOE 可产生 1D（1xN）或 2D（MxN）的光束矩阵，视DOE 的表面微结构而定。
DOE 的特点是能够在保持较高衍射效率的同时对光强分布进行精确控制，因此 DOE 成为让激光生成随机散斑的理想元件。
5. 接收端镜头
传统的手机镜头需要达到非常好的成像效果，所以需要非常复杂的光学设计和制造工艺。但接收端红外摄像头对光学镜头的要求远不如可见光摄像头那么高，对光线的通光量、畸变矫正等指标容忍度较高，所以目前 3D Sensing 接收端镜头主要使用已成熟的普通镜头。
6. 窄带滤光片
窄带滤光片是只允许特定波长的光通过而滤除其余波长的光的光学元件。3D Sensing 的发射端会发射 940nm 波长的红外光，接收端需要滤除其余波长的光而仅仅接受 940nm 红外光，所以需要使用窄带滤光片。窄带滤光片的通带相对比较窄，一般要求在中心波长值的 5%以下。
窄带滤光片的薄膜一般由低折射率和高折射率的两种膜组成，叠加后层数达几十层，每一层薄膜的参数漂移都可能影响最终性能；而且窄带滤光片透过率对薄膜的损耗非常敏感，所以制备峰值透过率很高、半带宽又很窄的滤光片非常困难。
7. 红外 CMOS 图像传感器
在原理上，红外 CIS 与可见光 CIS 是一致的，但可见光 CIS 需要识别RGB 三种颜色，并且需要呈现非常清晰的图像，所以对分辨率的要求很高（关于 RGB CIS 的详细分析，请参见本报告的 2.4 节）。而红外 CIS 只需要获取结构光的深度信息，不需要产生清晰的成像，所以分辨率要求不高，通常2M 像素即可满足要求。
由于像素与像素之间会产生光线与电流的串扰问题，这种串扰会降低成像的锐度，影响图像的还原，形成噪点。深沟隔离技术可以理解为一堵墙，可以避免像素间的干扰，增强光线利用率。
（四）小结
以前对手机摄像头的认知就只是一个模组，技术含量应该远不如单反等专业摄像头。经过这篇文章对镜头模组行业有了一个大致的了解，手机的模组很复杂，分为很多的部分，由不同的厂家共同完成，有很强的定制化，也有很高的技术壁垒。
镜头厂商的技术两极分化越来越严重，优秀的一直会进步，逐步拉开差距。而小的ODM厂商很难有小米、华为那样的资金去定制镜头，和他们的摄像头差距也越来越大，如果小米华为等巨头进一步拓展业务，这些小厂商又该怎么办呢？换个好的角度思考，手机摄像头的进步也会加速其他行业的摄像头升级，让其他行业用上更小更好的摄像头。
另一方面，手机行业的摄像头正在一步步的进化，很有可能将来的某一天，单反这种产品会像胶卷一样不复存在。
