它被称为 IMX500,是同类产品中的第一款,是索尼电子部门索尼半导体解决方案的新型图像传感器。不要被索尼传感器的经典前缀“IMX”所迷惑。
无论是“裸露”(IMX500)还是带有所有互连元件(IMX501),它确实是一种新型传感器。不是因为他所看到的,而是因为他所知道的。
“这不再是美丽的图像,而是数据”,解释了在禁运期间向新闻界所做的演示文稿的幻灯片。事实上,从图像的角度来看,1/2.3英寸格式的小型传感器,12 Mpix,并没有什么特殊之处,我们在智能手机中已经发现这种格式和图像清晰度很多年了。
不同寻常的是,IMX 500是世界上第一个集成自己“大脑”的图像传感器。更准确地说,除了图像处理处理器 (ISP) 之外,IMX500/501 还集成了 DSP 和存储器,以便自身执行通常由芯片外部执行的所有“AI”计算。
显然,传感器本身实现计算并仅传输重要信息,而不是将其捕获的静态或动画图像传递到外部存储器以便由一个(或多个!)外部芯片处理信息。
«这种集成的优点有很多»,索尼半导体解决方案欧洲公司董事总经理 Antonio Avitabile 解释道。 “首先是芯片不需要云端(或其他外部计算源,编者注)来处理数据。如果我们想让机器变得智能化,我们必须减少它们对云的依赖,以减少图像分析的延迟»。
更少的能源,更多的隐私
通过将计算(处理)集成到传感器中,索尼打开了实时计算的大门。计算范围包括测量空间中的人口密度、分析运动的性质和深度等。传感器有自己的计算能力和内存,程序员可以将他们的分析模型直接加载到组件中(推理等)。
执行速度显然取决于所请求计算的复杂性。
«我无法向您提供有关每秒操作数的太多详细信息,但 IMX500 超出了 1 TOP»,同意指定安东尼奥·阿维塔比莱。
这种集成的数据处理还具有能源密集度较低(信息流较少,处理器针对人工智能计算进行优化)以及更尊重隐私的优点。
不再需要以清晰的方式传播人们的图像,图像(或流)可以被转移或盗版。作为客户计数系统、行为分析等的一部分。仅将解释后的数据发送到系统,而不发送面孔。
技术推广前的试运行
«我们的第一个目标市场是零售(la vente,编辑)»,安东尼奥·阿维塔比莱解释道。
广义上的“零售”,从分析商店的动向到消费者的最终行为。但在索尼的演示中,我们还发现了其他工业用途,例如条码读取、危险检测(人体坠落)等。目前与摄影无关。
但这可能会改变。 01net.com 当被问及即将在摄影传感器中使用人工智能芯片时,特别是在智能手机中作为支持主传感器的成像模块,Antonio Avitabile 表示同意:
«这是同类中的第一个传感器,目标是专业的。但我们的想法是将这项技术开发成一系列智能传感器。我们首先构建和验证业务,但是,是的,我们完全可以想象混合计算在智能手机摄影领域的用途»,他总结道。