近两年，由于智能手机用的摄像头数量成倍增加，使得CIS（CMOS图像传感器）的市场需求量大涨，索尼、三星、豪威科技等几大CIS厂商已经加足研发和生产马力，但依然是供不应求。在这样的形势下，擅长CIS的晶圆代工和封测厂也大为受益，产能都非常吃紧。甚至有些中国本土的功率器件、LED驱动等IC设计厂商在2019下半年一度找不到足够的晶圆代工产能，调查后发现，有些晶圆代工厂原本用于功率器件、LED驱动IC等的产能，转向了CIS。同时，这种形势也在“逼迫”一些专注于CIS的IC设计厂商开始布局自有的封测厂，甚至是晶圆厂。

　　以上是CIS在手机应用领域的玩儿法，除此之外，CIS还在另外两大领域有着越来越大规模的应用：汽车和安防，它们的市场规模在当下也是仅次于手机的，发展前景非常广阔，汽车自不必说，随着电动车，以及ADAS功能的普及，汽车用的各种芯片元器件都是潜力股，芯片厂商们都在跃跃欲试。而安防、道路交通和工厂应用的终端数量更是海量，每一个都需要CIS。更重要的是，与手机有所区别，这些应用大都是To B（商用）的，其对CIS的像素分辨率要求不像智能手机用那么高的“噱头”，但是其对低延时，以及图像信息处理的准确性和精度的要求较高。而在安防、道路交通和工业应用领域，特别是安防，是人工智能（AI）的主要落地点。

　　还有一点很重要，那就是应用生态不同于手机，手机是To C（消费者）的，多是以独立的存在形式，而安防等则不同，多数终端（主要是摄像头）都要与数据中心或云联网。而这些就催生出了CIS的新玩儿法。

　　AI在手机中的应用也越来越多，大都是与AP（应用处理器）整合在一起的协处理器。而面对安防和工业应用，索尼将CIS和AI处理单元整合在了一起，令人耳目一新。

　　IMX500（未封装版本）和IMX501（采用LGA封装的），它们不仅包括支持4K分辨率视频的1230万像素CMOS，还包括可以进行机器学习工作的专用AI处理器。

　　从芯片结构上来看，IMX500的像素芯片堆叠在逻辑芯片的顶部，而逻辑芯片不仅执行常规的图像传感器操作，还具有用于图像信号处理的ISP和专用于AI信号处理的DSP，并且还有专门供AI模型使用的内存。这种配置消除了对高性能处理器和外部存储器的需求。

　　如前文所说，To B应用的CIS设备多数都要与数据中心或云联网，而终端的数据量与日俱增，这就带来了一个问题，即数据和指令在终端和云之间的频繁传输，会带来延迟和信息的安全性问题，而且随着应用的逐步落地和数据量的暴增，这种问题愈加突出。而为了应对这一挑战，一些传统网络处理器、网络存储和通信芯片提供商，会提供用于边缘侧计算的协处理器，这样就可以缩短数据通信距离和延时，不过，由于是分立的，这些问题并没有彻底解决。而索尼的方案在摄像头内集成了AI协处理功能，意图彻底解决与云的通信和延时问题。

　　该方案处理信息的过程是：像素芯片获取的信号通过传感器上的AI处理，传感器输出元数据（属于图像数据的语义信息）而不是图像信息，从而减少了数据量并解决了隐私问题。

　　使用传统的图像传感器记录视频时，必须为每个单独的输出图像帧发送数据以进行AI处理，从而导致数据传输增加，并且难以提供实时性能。索尼的这款新传感器在逻辑芯片上执行ISP处理和高速AI处理（MobileNet V1的处理时间为3.1毫秒），从而在单个视频帧中完成了整个过程。这种设计可以在录制视频的同时提供对对象的高精度实时跟踪。

　　此外，用户可以将自己选择的AI模型写入嵌入式存储器，并可以根据其要求或使用系统的位置条件对其进行重写和更新。

　　了解这款芯片的功能和性能之后，再回过头来看一下它的构造和工艺。但是，从公开的信息来看，索尼并未在这方面给出过多细节，只说是传感器芯片在逻辑芯片的上边，采用堆叠结构。

　　不过，在今年2月，索尼曾经宣布过一项合作，即和一家法国科技公司Prophesee（前身为Chroncam）共同开发了一种“基于事件的堆叠式视觉传感器”，具有124dB以上的HDR性能。该传感器适于各种机器视觉应用，例如在各种环境和条件下检测快速移动的物体。

　　据悉，该合作产品是通过结合索尼堆叠式CMOS图像传感器技术，并使用Cu-Cu连接和Prophesee的Metavision Event技术来实现小像素尺寸和出色的低光性能。

　　当堆叠背照式CMOS图像传感器（上部芯片）和逻辑电路（下部芯片）时，Cu-Cu连接技术通过连接的Cu（铜）焊盘提供电连续性。与硅通孔（TSV）布线相比，该方法通过在像素区域周围穿透电极来实现连接，与TSV相比，该方法在设计上具有更大的自由度，提高了生产率，允许更紧凑的尺寸并提高了性能。

　　在这种堆叠配置下，上下两个单独芯片的每个像素都通过Cu-Cu进行电连接；另外，该传感器采用了40nm逻辑工艺。

　　那么，这个合作项目，以及IMX500，是传统SoC，还是类似于新兴的、以英特尔和AMD为代表的、采用先进封装和内部互联技术的Chiplets呢？索尼似乎并没有明确说明。

　　显然，IMX500并不是针对智能手机应用的，从售价也能看出这一点，IMX500的价格约为93美元，IMX501约为187美元。

　　这款芯片的目标应用场景是工业相机和特定任务的相机，例如在零售场所或工厂。当摄像机装有人员追踪AI时，可以发现有多少人通过商店，并分析哪些区域最受欢迎。在工厂中，它可以跟踪产品并突出生产或人员配备方面的问题。

　　另外就是汽车，例如，传感器能够检测到驾驶员分心或睡着了，它可以向汽车发送警告。与使用外部处理器的CIS方案相比，集成AI的方案更简单，也更可靠，且系统成本较低。

　　将AI融入CIS的想法不止索尼一家有，市场上主要的几家CIS厂商，如三星、豪威、安森美、SK海力士和意法半导体等，也有正在这方面进行研发的。

　　下图所示为安森美开发的一个和AI有关的深度感知应用，具体来说就是门禁闸口的人脸识别与防伪。该用例中，用相机同时提供彩色图像和深度图像，2D相片识别后出来效果没有深度数据，是平面的。所以，该方案通过CNN（卷积神经网络）深度学习提高了感知的可靠性。

　　AI确实是个好东西，但其应用场景落地一直是一大难题，特别是在边缘侧。目前，AI主要还是应用在数据中心和云端，采用的大多是传统的GPU和CPU，另外就是专用的高性能AI处理器，不过这种案例不多，典型代表就是谷歌自研的TPU系列AI处理器。

　　而在边缘侧和终端，由于实际应用有限，再加上现阶段研发出来的多为专用AI芯片，其成本较高，通用性也不强，使得虽然市场上AI概念很火，但很多新创的AI公司日子不太好过，特别是研发用于边缘侧专用AI芯片的公司，在过去一年多的时间里，有不少倒掉的。

　　而像索尼和安森美等传统CIS厂商在其芯片内融入AI功能，并用于边缘侧，是有应用场景支持的。首先，AI在视觉和图像领域应用最广，而CIS正是用于这类领域的，另外，在物联网终端，对功耗要求极高，这是MCU+传感器的优势，而在边缘侧，既需要具备一定的计算能力，又要控制成本（成本介于云和终端之间），将数据采集和AI处理合二为一的方案，与传统方式的外挂处理器和存储器相比，集成度和系统成本是有优势的，而CIS+AI就属于这一种。

　　不过，类似于集成AI的CIS这种边缘侧应用方案，初创公司恐怕很难实现，主要还是要靠传统的IDM厂商才能玩儿好。