支持 200 兆像素摄像头模块、8K 编码和解码、每秒处理高达 20 亿像素:高通的 Snapdragon 865 是一头强大的野兽,对竞争对手以及设备的照片和视频造成严重打击。
照片制造商不再是像素之王。这一形象的冠军来自于半导体领域,尤其是智能手机芯片领域的专家。
位居榜首的是苹果、华为和其他三星,它们的终端以其照片方面而闻名。然而,戴上影像“王者”桂冠的并不是这些手机厂商,而是美国高通公司。高通是电信组件和5G领域的冠军,也是SoC领域的全球第一(片上系统)对于智能手机来说,这些一体化芯片为全球大多数 Android 终端提供支持。
摄影功能对于许多消费者来说是一个重要因素,向所有人(三星、小米、Oppo、OnePlus 等)销售芯片的高通公司必须做出回应。随着超过 100 兆像素的传感器的出现以及相机模块的爆炸式增长,有必要进一步突破当前的限制。
相机芯片落后
Snapdragon 865 并没有超出这些限制:它突破了这些限制。其名为 Spectra 480 的成像处理器 (ISP) 是一款像素机枪,可提供前所未有的(理论)性能水平。无论是在智能手机上,还是在消费摄影和视频领域,都是如此。自行判断:管理每秒 30 帧写入和 60 fps 读取的 8K 视频,每秒 120 帧的 4K 视频,每秒高达 20 亿“消化”像素,最多支持 18 个摄像头模块(两个同步彩色模块),每个最多 200 Mpix。数据表很吓人。相比之下,像松下 Lumix S1R 这样的专业级全画幅混合相机能够以每秒 60 帧的速度拍摄 4K(禁止使用 8K),而索尼的 Alpha A9 每秒只能处理 5 亿帧像素。
这种比较当然不是在一个恒定的范围内进行的——除了相机中的处理器之外,还有其他限制因素,相机中的处理器控制着比智能手机更大的传感器。但事实仍然是,在数量之战中,智能手机现在领先于相机相机一个好头……甚至两个头。幸运的是,物理因素——传感器的尺寸、光学质量、长焦镜头的功率——以及相机的操作都可以保持他们的兴趣。
因为,对于其他人来说,这是一场技术性的淘汰赛。
每秒 20 亿像素
ISP(图像信号处理器)如何处理像素?为什么说每秒 20 亿像素是一个成就呢?
«一般来说,在 ISP 中,我们一个接一个地处理像素。但面对这代表的海量数据,如果我们继续采用这种模型,我们将不得不达到巨大的频率和能源消耗»,负责成像的 Spectra 480 模块开发经理 Judd Heape 解释道。
电池的续航能力也是该设备的一大卖点,不存在电费爆炸的问题。
诀窍是什么?每个周期处理更多像素。
在骁龙 865 发布会的说明幻灯片上,看起来非常简单:Spectra 不再处理一个像素,而是每个周期处理四个像素。
«事实上,这远非简单:我们必须改变光栅工作方式的所有内容,修改整个图像处理链»,Heape 先生解释道,并补充说“由于 SoC 中的空间极其有限,因此限制非常大»。
这项工作非常艰巨,因为工程师必须重新发明一切,而不使用以前版本的处理“引擎”。
但这场比赛是值得的。 Spectra 480 不仅可以在相同频率下处理四倍多的像素,而且对于给定的像素量,与普通 ISP 相比,时钟频率被除以四,这(几乎)特别降低了能耗。
正是这种新的图像处理引擎使 Spectra 480 能够处理多达 20 亿个像素。无供暖问题» 贾德·希普向我们保证。
不仅足以支持当前的“怪物”传感器,例如 108 兆像素 Samsung ISOCELL Bright HMX,而且还足以支持“未来 200 Mpix 传感器即将到来“,他保证道,并解释说“我们与传感器行业的联系使我们能够提前了解正在准备哪些类型的组件»。
高通率先推出 8K
每秒管理这么多像素有什么意义?
«基本上,我们开发了一款能够提供每秒 120 帧的 4K 视频模式的处理器,可实现每秒 960 帧的超流畅序列和无限的超慢动作 720p»,贾德·希普的故事。 «8K 只是我们所取得的性能的副产品。由于我们每秒可以处理 20 亿像素,因此我们可以在解码和解码中同时处理 8K。»
如果您认为处理 4K 视频文件区区八兆像素就是性能,那么 8K 会吓到您。 4K 视频文件中的静态图像为 8.3 Mpix(3840 x 2160 像素),而在 8K 中,每张图像显示 33 兆像素!
如果每秒 30 帧,则每秒 9.9 亿像素。必须收集、分解、分析、处理(颜色)、组合(压缩)并记录在存储介质上的近十亿个小彩色方块。一切都以闪电般的速度进行。这部巨著涉及写作。在读取方面,Spectra 480 以每秒 60 帧的速度解码 8K,即 19.8 亿像素,这是其极限计算极限。相比之下,全高清为每秒 6000 万像素,而 4K 仅为每秒 2.5 亿像素。
凭借 Snapdragon 865 的 Spectra 480,高通创造了历史,为消费类设备提供了首款能够处理 8K 的芯片。因此,它在该视频标准的发展史上占有特殊的地位。这是在主流照片和摄像机面前。
如果 8K 目前保留用于非常大的屏幕尺寸(超过 65 英寸),并且如果其极端质量会带来许多问题(存储、必要的处理能力、发热等),那么性能就在那里。
像素与人工智能的洪流
除了同时管理超高清视频(8K)和“gigaphoto”(每秒 20 亿像素、200 mpix 传感器等)的 Spectra 480 之外,Snapdragon 865 相对于配备相机的芯片还有另一大优势:并不孤单。
其中运行着处理器(CPU)、图形芯片(GPU)以及专门用于人工智能的DPS芯片。这款 DSP 名为 Hexagon,采用了高通第五代 AI 引擎,现在每秒可执行高达 15 tera 运算(15 TOPS = 15,000,000,000,000 次运算)。
作为计算的指挥者,Hexagon 能够恢复由 Spectra 处理的信息,并根据要执行的计算的性质使用 CPU、GPU 或其自身的单元。
几平方毫米的芯片具有惊人的能力,它允许 Snapdragon 865 组合数百张图像以提高其质量,“理解”捕获的元素并根据它们是脸部还是树叶应用不同的滤镜(语义分割)等简而言之,是为了增强来自相机模块的信息,这些模块比配备相机的模块小得多,质量也较差。
体积强度
如果说“真正的”相机和智能手机由于性质和限制不同(相机必须在不到一秒的时间内打开等)而很难进行比较,那么智能手机 SoC 的理论优势可以用一个词来解释:体积。
一款畅销的高端相机可以卖到几十万台,而智能手机的销量则高达数亿台。
然而,当索尼、松下或尼康为其盒子开发自己的处理器时,智能手机制造商都(或几乎全部)转向高通。智能手机市场的疯狂规模使高通能够像摄影领域那样集中研发预算。从而以相对匿名的方式成为图像世界的重量级人物。