2014年開幕的「尼斯研究中心」坐落在穆然索菲亞-安提波利斯科技園區安靜的地方,是華為開發內部影像處理器的部門。該晶片是該公司在智慧型手機攝影領域取得成功的根源。
«打擾一下,你在我辦公室拍的照片,可以模糊嗎?», 請詢問出發前前來接我們的研究者。該名男子是尼斯研究中心(NRC)團隊的成員,該中心是華為的研發中心,位於索菲亞-安提波利斯附近的穆然。他提到的表格(如下所示)應他的要求進行了模糊處理。上面究竟寫了什麼?老實說,我們不知道它們是字母、數字、箭頭、正方形等。
簡而言之,科學象形文字。因為我們使用「研究員」這個詞並沒有錯。在地中海沿岸,這家研發投資排名世界第二、僅次於 Alphabet(Google)的中國集團自 2014 年起就建立了其智慧型手機影像處理器 (ISP) 的開發和研究中心。他在攝影領域取得成功的核心作品之一。

是的,多年來,我們看著華為一路攀升,最終主宰智慧型手機攝影,但我們錯過了一個關鍵訊息:華為的影像處理大腦是一個奇蹟法國製造。
冒險從 P9 開始

©阿德里安·布蘭科/01net.com
這次冒險源於會議和一場(小)戲劇:“我是德州儀器 (Texas Instrument) OMAP 晶片 ISP 的架構師,該公司的辦公地點位於 Villeneuve-Loubet», NRC 主任 Stephen Busch 在我們的歡迎儀式上解釋。“然後 TI 決定在 2012 年關閉該中心,以色列一家研究中心的一位負責人聯繫了我,要求我組建一個團隊”。這是在一個相當小的專業環境中建立聯繫和推薦的遊戲,在這個環境中,工作品質的聲譽比什麼都重要。
對於這位 46 歲的德國人來說,地點的選擇是顯而易見的,他自 1994 年以來一直住在法國:“我已經在德州儀器公司工作過,該領域有很多人才。所以即使華為一開始對在法國安裝有疑慮,他們在2013年給了我機會」。最初,他招募了九個人。一個有中長期目標的團隊。

中期來看,是為2016年推出的終端開發完整的ISP。從零開始的相機之王」。 ISP的開發時間為兩年,其中還必須加上一年的SoC整合時間。剩下的事情大家都知道了:該 ISP 將整合到與 Leica 合作生產的第一款終端 P9 中。這將是歷史上第一個使用輔助黑白感測器來提高主感測器影像品質的終端。
這次成功讓Stephen找到了總部的信心,讓他的團隊擴大到今天的30人。數代 ISP 和成功案例,如 P30 Pro(2019 年)、P40 Pro+(2020 年)和 Mate 40 Pro(2021 年)。這些終端均名列當時最佳拍照智慧型手機前十名,結束了三星和蘋果在該領域的統治地位。這項令人眼花撩亂的進步一方面是基於 ISP、感測器和光學元件的改進,另一方面也得益於 SoC 不同運算單元能力的增強。 ISP 可以依賴的工作要素。
SoC 的興起…和人工智慧

研究人員的工作不是線性的。他們有時必須將手頭上的工作保留多年才能使用。無論是改善ISP的軟/硬體分區或等待外界協助。有兩個因素對於影像品質的提高具有決定性作用:一方面,晶片不同元件(CPU、GPU,尤其是 NPU)的能力不斷增強;另一方面,電路尺寸的減小使得 ISP 變得更加複雜。 另一方面。
«我們不是孤島式工作,而是與開發晶片其他元件的其他團隊合作(編按:CPU、GPU、NPU)。我們必須透過不同的資訊交換和記憶體存取來選擇在 ISP 中處理什麼、在外部處理什麼。」。圍繞人工智慧和神經處理器(神經處理單元,NPU)的工作的爆炸式增長使所有行業參與者都能從 ISP 的理想合作夥伴中受益。

如果說過去十年取得了巨大的進步,那麼現在取得進展卻變得越來越困難,而且戰鬥也越來越激烈。 “影像品質的提升不再像過去那麼顯著。我們現在正在盡可能地致力於演算法的能源效率»,史蒂芬‧布施解釋。 «需要改進的主要領域之一是人工智慧訓練產生的演算法的開發。但由於整個系統的熱預算(編按:智慧型手機的外觀),不能超過4W,我們必須在超高效但耗電的AI演算法和更有效率的演算法之間找到平衡»。
繼續提高我們「小型」智慧型手機感測器的影像品質是一項非常高水準的工作,需要大量(非常優秀的)頭腦。
資助研究尋找人才並規劃未來

NRC 負有中長期責任。 “在我們的活動開始時,我們處於生產模式。我們需要快速開發自己的 ISP。如果我們顯然繼續這項工作,我們現在更處於研究模式。我們現在看到未來五年,因為就行業已經達到的水平而言,演算法和技術需要時間才能成熟»。
華為利用遍佈全球的眾多研究中心,資助許多項目,為未來鋪路。 “與所有工業參與者一樣,我們為博士後、CIFRE 獎學金、實驗室計畫等提供資助。從事應用或基礎研究主題»,Busch 先生繼續說。 “與工業界一樣,我們讓研究人員發表其全部或部分工作»。

某些元素顯然是保密的或轉化為專利,但華為研究的很大一部分發現自己已發佈到公立大學領域。
«這是企業與大學文化之間連結的遊戲。當然,我們會暴露一點自己,但透過這種方式,我們參與了尋找人才和其他研究主題的生態系統。這使我們具有吸引力:學生、年輕研究人員或經驗豐富的研究人員需要發表文章來推進他們的職業生涯»。
華為和大多數工業企業一樣,無論如何都需要這樣的操作:「學校裡沒有教授我們需要的影像處理,而且半導體產業近年來並不流行。如果這種情況開始改變,半導體產業在未來幾年將遇到一些招募困難。,他預測。
華為的基礎研究工作或多或少讓其能預見。 “在我們的領域,我們嘗試對 ISP 制定五年願景“,歡迎布希先生。在其他領域,華為走得更遠。她中心拉格朗日* 2020 年 10 月在巴黎進行的基礎數學研究證明了這一點。該中心由法蘭西學院教授、1994 年菲爾茲獎得主 Pierre-Louis Lions 擔任主席,擁有 30 名數學家組成的團隊,增強了法國在數學領域的影響力。其中包括10家國際知名企業»,公司新聞稿稱。而且這並沒有為研究人員的工作找到直接應用的任何承諾。
*:拉格朗日數學與計算研究中心
國際形象鏈的運作

邏輯設計硬體ISP 的主要產品是法國團隊的產品。但整合到 SoC、從 RTL 圖建置計劃、數位雜訊處理例程、後處理演算法等。是其他地方涵蓋的主題。無論他們在倫敦、坦佩雷、慕尼黑、北京、深圳、上海或杭州,“華為在人才聚集的地方開設了研究中心””,布希先生解釋。
«例如,芬蘭坦佩雷大學因其對數位雜訊處理的研究而聞名。」。而且我們這裡只討論ISP,影像方面的工作需要更多的資源:因此我們能夠見到華為東京研究中心主任Sei Kyojiro。他和他的團隊是為 P20 Pro 和 P30 Pro 開發相機模組的日本單位的成員!

華為的NRC是一家由德國人領導的中國公司擁有的法國子公司。他本人領導著一支由來自 14 個不同國家的 30 人組成的團隊。如果說法國中心是“攝影智慧»,它只是智慧型手機領域開發播放器的照片/影片部分所需的眾多齒輪之一。如果再加上華為以外從事感測器(索尼、三星、安森美)、光學(舜宇光學等)、執行器、穩定性、演算法、軟體工程師等工作的研究人員,你就可以衡量技術鏈的複雜性。當您拍攝出美麗的夜間照片時,這要歸功於數千名研究人員和工程師的工作!
法國的未來似乎沒有受到威脅

華為面臨唐納德·川普的「炮火」。美國前總統剝奪了該公司進入美國領土的權利,並將其從台積電和三星工廠驅逐出去。但最重要的是,他還撤回了對谷歌服務的批准,這是一個沉重的打擊,迫使中國人開發自己的基於開源 Android 的行動作業系統 Harmony OS。但儘管它很好,但由於缺乏谷歌服務和 Play 商店,西方受眾很難使用它。當被問及這些話題時很棒的和軟體方面,我們訪談過的各個華為對話者(邏輯上)拒絕發表評論。
至於 ISP 和攝像頭,目前是這樣«一切如常»:發展計畫沒有改變,路線圖已經到位,華為可以繼續推出智慧型手機。事實上,華為已經為亞洲市場儲備了5奈米晶片。為了出口,拜登政府現在允許該公司從高通購買晶片。拯救該公司的顯然是其國內市場的規模:儘管它在中國已從第一名上升到第六名,但中國的 14 億居民提供了繼續開發產品的機會。

至於華為回歸業務,除了圍繞谷歌許可回收的傳聞外,代工方面也可能發生變化。這對於公司繼續實施自己的 ISP 至關重要。中芯國際創辦人最近的重大進展讓分析師相信台積電或三星可能很快就會重新開放其生產線。寧願重新開工廠賺錢,也不願讓數十億美元在中國鑄造廠溜走。
如果這兩顆星齊頭並進,那麼有一件事是肯定的:華為不會放鬆其開發努力,並將準備好在照片中再次閃耀。由於其圖像處理器部分是法國製造的。
關於照片的注意事項: 為了尊重某些研究元素、內部命名法或與工業秘密相關的任何元素的機密性,我們應華為的要求對照片中的桌子和螢幕進行了模糊處理。
🔴為了不錯過01net的任何新聞,請關注我們谷歌新聞等WhatsApp。