它被稱為 IMX500,是同類產品中的第一款,是索尼電子部門索尼半導體解決方案的新型影像感測器。不要被索尼感測器的經典前綴“IMX”所迷惑。
無論是「裸露」(IMX500)還是帶有所有互連元件(IMX501),它確實是一種新型感測器。不是因為他所看到的,而是因為他所知道的。
“這不再是美麗的圖像,而是數據”,解釋了在禁運期間向新聞界所做的簡報的幻燈片。事實上,從影像的角度來看,1/2.3吋格式的小型感光元件,12 Mpix,並沒有什麼特殊之處,我們在智慧型手機中已經發現這種格式和影像清晰度很多年了。
不同尋常的是,IMX 500是世界上第一個整合自己「大腦」的影像感測器。更準確地說,除了影像處理處理器 (ISP) 之外,IMX500/501 還整合了 DSP 和記憶體,以便自身執行通常由晶片外部執行的所有「AI」計算。
顯然,感測器本身實現計算並僅傳輸重要訊息,而不是將其捕獲的靜態或動畫圖像傳遞到外部記憶體以便由一個(或多個!)外部晶片處理資訊。
«這種整合的優點很多»,索尼半導體解決方案歐洲公司董事總經理 Antonio Avitabile 解釋。 “首先是晶片不需要雲端(或其他外部計算來源,編者註)來處理數據。如果我們想讓機器變得智慧化,我們必須減少它們對雲的依賴,以減少影像分析的延遲»。
更少的能源,更多的隱私
透過將計算(處理)整合到感測器中,索尼打開了即時計算的大門。計算範圍包括測量空間中的人口密度、分析運動的性質和深度等。感測器有自己的計算能力和內存,程式設計師可以將他們的分析模型直接加載到組件中(推理等)。
執行速度顯然取決於所要求計算的複雜性。
«我無法向您提供有關每秒操作數的太多詳細信息,但 IMX500 超出了 1 TOP»,同意指定安東尼奧·阿維塔比萊。
這種整合的資料處理還具有能源密集度較低(資訊流較少,處理器針對人工智慧運算進行最佳化)以及更尊重隱私的優點。
不再需要以清晰的方式傳播人們的圖像,圖像(或流)可以被轉移或盜版。作為客戶計數系統、行為分析等的一部分。僅將解釋後的數據發送到系統,而不發送面孔。
技術推廣前的試運行
«我們的第一個目標市場是零售(la vente,編輯)»,安東尼奧·阿維塔比萊解釋道。
廣義的“零售”,從分析商店的動向到消費者的最終行為。但在索尼的演示中,我們還發現了其他工業用途,例如條碼讀取、危險檢測(人體墜落)等。目前與攝影無關。
但這可能會改變。 01net.com 當被問及即將在攝影感測器中使用人工智慧晶片時,特別是在智慧型手機中作為支援主感測器的成像模組,Antonio Avitabile 表示同意:
«這是同類中的第一個感測器,目標是專業的。但我們的想法是將這項技術開發成一系列智慧感測器。我們首先建立和驗證業務,但是,是的,我們完全可以想像混合運算在智慧型手機攝影領域的用途»,他總結。