Qualcomm 如何利用 Snapdragon 865 突破攝影界限

支援 200 兆像素相機模組、8K 編碼和解碼、每秒處理高達 20 億像素：高通的 Snapdragon 865 是一頭強大的野獸，對競爭對手以及設備的照片和影片造成嚴重打擊。

照片製造商不再是像素之王。這形象的冠軍來自於半導體領域，尤其是智慧型手機晶片領域的專家。
位居榜首的是蘋果、華為和其他三星，它們的終端以其照片方面而聞名。然而，戴上影像「王者」桂冠的並不是這些手機廠商，而是美國高通。高通是電信組件和5G領域的冠軍，也是SoC領域的全球第一（系統）對於智慧型手機來說，這些一體化晶片為全球大多數 Android 終端提供支援。

攝影功能對許多消費者來說是一個重要因素，向所有人（三星、小米、Oppo、OnePlus 等）銷售晶片的高通公司必須做出回應。隨著超過 100 兆像素的感測器的出現以及相機模組的爆炸式增長，有必要進一步突破當前的限制。

相機晶片落後

Snapdragon 865 並沒有超越這些限制：它突破了這些限制。其名為 Spectra 480 的成像處理器 (ISP) 是一款像素機槍，可提供前所未有的（理論）效能等級。無論是在智慧型手機上，還是在消費攝影和視訊領域，都是如此。自行判斷：管理每秒 30 幀寫入和 60 fps 讀取的 8K 視頻，每秒 120 幀的 4K 視頻，每秒高達 20 億“消化”像素，最多支援 18 個攝像頭模組（兩個同步彩色模組），每個最多200 Mpix。數據表很嚇人。相較之下，像松下 Lumix S1R 這樣的專業級全片幅混合相機能夠以每秒 60 幀的速度拍攝 4K（禁止使用 8K），而索尼的 Alpha A9 每秒只能處理 5 億幀像素。

這種比較當然不是在一個恆定的範圍內進行的——除了相機中的處理器之外，還有其他限制因素，相機中的處理器控制著比智慧型手機更大的感測器。但事實仍然是，在數量之戰中，智慧型手機現在領先於相機相機一個好頭…甚至兩個頭。幸運的是，物理因素——感測器的尺寸、光學品質、長焦鏡頭的功率——以及相機的操作都可以保持他們的興趣。

因為，對其他人來說，這是一場技術性的淘汰賽。

每秒 20 億像素

ISP（影像訊號處理器）中如何進行像素處理？為什麼說每秒 20 億像素是個成就呢？

«一般來說，在 ISP 中，我們一個接一個地處理像素。但面對這代表的大量數據，如果我們繼續採用這種模型，我們將不得不達到巨大的頻率和能源消耗», 負責成像的 Spectra 480 模組開發經理 Judd Heape 解釋道。

電池的續航力也是該設備的一大賣點，不存在電費爆炸的問題。

訣竅是什麼？每個週期處理更多像素。

在驍龍 865 發表會的說明投影片上，看起來非常簡單：Spectra 不再處理一個像素，而是每個週期處理四個像素。

«事實上，這遠非簡單：我們必須改變光柵工作方式的所有內容，修改整個影像處理鏈»，Heape 先生解釋道，並補充說“由於 SoC 中的空間極其有限，因此限制非常大»。

這項工作非常艱鉅，因為工程師必須重新發明一切，而不使用先前版本的處理「引擎」。

但這場比賽是值得的。 Spectra 480 不僅可以在相同頻率下處理四倍多的像素，而且對於給定的像素量，與普通 ISP 相比，時脈頻率被除以四，這（幾乎）特別降低了能耗。
正是這種新的影像處理引擎使 Spectra 480 能夠處理多達 20 億個像素。無暖氣問題» 賈德‧希普向我們保證。

不僅足以支援目前的「怪物」感測器，例如 1,0800 萬像素 Samsung ISOCELL Bright HMX，而且還足以支援「未來 200 Mpix 感測器即將到來“，他保證道，並解釋說“我們與感測器行業的聯繫使我們能夠提前了解正在準備哪些類型的組件»。

高通率先推出 8K

每秒管理這麼多像素有什麼意義？

«基本上，我們開發了一款能夠提供每秒 120 幀的 4K 視訊模式的處理器，可實現每秒 960 幀的超流暢序列和無限的超慢動作 720p»，賈德希普的故事。 «8K 只是我們所取得的性能的副產品。由於我們每秒可以處理 20 億像素，因此我們可以在解碼和解碼中同時處理 8K。»

如果您認為處理 4K 視訊檔案區區八兆像素就是效能，那麼 8K 會嚇到您。 4K 視訊檔案中的靜態影像為 8.3 Mpix（3840 x 2160 像素），而在 8K 中，每張影像顯示 3300 萬像素！
如果每秒 30 幀，則每秒 9.9 億像素。必須收集、分解、分析、處理（顏色）、組合（壓縮）並記錄在儲存媒體上的近十億個小彩色方塊。一切都以閃電般的速度進行。這部巨著涉及寫作。在讀取方面，Spectra 480 以每秒 60 幀的速度解碼 8K，即 19.8 億像素，這是其極限計算極限。相比之下，全高清為每秒 6 千萬像素，4K 僅為每秒 2.5 億像素。

憑藉 Snapdragon 865 的 Spectra 480，高通創造了歷史，為消費性設備提供了首款能夠處理 8K 的晶片。因此，它在該視訊標準的發展史上佔有特殊的地位。這是在主流照片和攝影機面前。

如果 8K 目前保留用於非常大的螢幕尺寸（超過 65 英寸），並且如果其極端質量會帶來許多問題（存儲、必要的處理能力、發熱等），那麼性能就在那裡。

像素與人工智慧的洪流

除了同時管理超高清視訊（8K）和「gigaphoto」（每秒 20 億像素、200 mpix 感測器等）的 Spectra 480 之外，Snapdragon 865 相對於配備相機的晶片還有另一大優勢：並不孤單。
其中運行著處理器（CPU）、圖形晶片（GPU）以及專門用於人工智慧的DPS晶片。這款 DSP 名為 Hexagon，採用了高通第五代 AI 引擎，現在每秒可執行高達 15 tera 運算（15 TOPS = 15,000,000,000,000 次運算）。

作為計算的指揮者，Hexagon 能夠恢復由 Spectra 處理的信息，並根據要執行的計算的性質使用 CPU、GPU 或其自身的單元。
幾平方毫米的晶片具有驚人的能力，它允許 Snapdragon 865 組合數百張圖像以提高其質量，「理解」捕獲的元素並根據它們是臉部還是樹葉應用不同的濾鏡（語義分割）等簡而言之，是為了增強來自相機模組的訊息，這些模組比配備相機的模組小得多，品質也較差。