«打扰一下,你在我办公室拍的照片,可以模糊吗?», 请询问出发前前来接我们的研究员。该男子是尼斯研究中心(NRC)团队的成员,该中心是华为的研发中心,位于索菲亚-安提波利斯附近的穆然。他提到的表格(如下所示)应他的要求进行了模糊处理。上面到底写了什么?老实说,我们不知道它们是字母、数字、箭头、正方形等。
简而言之,科学象形文字。因为我们使用“研究员”这个词并没有错。在地中海边缘,这家研发投资排名世界第二、仅次于 Alphabet(谷歌)的中国集团自 2014 年起就在此设立了智能手机图像处理器 (ISP) 开发和研究中心。他在摄影领域取得成功的核心作品之一。
是的,多年来,我们看着华为一路攀升,最终主宰智能手机摄影,但我们错过了一个关键信息:华为的图像处理大脑是一个奇迹法国制造。
冒险从 P9 开始
这次冒险源于会议和一场(小)戏剧:“我是德州仪器 (Texas Instrument) OMAP 芯片 ISP 的架构师,该公司的办公地点位于 Villeneuve-Loubet», NRC 主任 Stephen Busch 在我们的欢迎仪式上解释道。“然后 TI 决定在 2012 年关闭该中心,以色列一家研究中心的一位负责人联系了我,要求我组建一个团队”。这是在一个相当小的专业环境中建立联系和推荐的游戏,在这个环境中,工作质量的声誉比什么都重要。
对于这位 46 岁的德国人来说,地点的选择是显而易见的,他自 1994 年以来一直住在法国:“我已经在德州仪器公司工作过,该领域有很多人才。所以即使华为一开始对在法国安装有疑虑,他们在2013年给了我机会”。最初,他招募了九个人。一个有中长期目标的团队。
中期来看,是为2016年推出的终端开发完整的ISP。长期来看,华为总部的问题是成为“从零开始的相机之王”。 ISP的开发时间为两年,其中还必须加上一年的SoC集成时间。剩下的事情大家都知道了:该 ISP 将集成到与 Leica 合作生产的第一款终端 P9 中。这将是历史上第一个使用辅助黑白传感器来提高主传感器图像质量的终端。
这次成功让Stephen找到了总部的信心,使他的团队扩大到如今的30人。数几代 ISP 和成功案例,如 P30 Pro(2019 年)、P40 Pro+(2020 年)和 Mate 40 Pro(2021 年)。这些终端均在我们当时的最佳拍照智能手机前十名中名列第一,结束了三星和苹果在该领域的统治地位。这一令人眼花缭乱的进步一方面基于 ISP、传感器和光学器件的改进,另一方面也得益于 SoC 不同计算单元能力的增强。 ISP 可以依赖的工作元素。
SoC 的兴起……和人工智能
研究人员的工作不是线性的。他们有时必须将手头的工作保留多年才能使用。无论是改善ISP的软/硬件分区还是等待外界帮助。有两个因素对图像质量的提高具有决定性作用:一方面,芯片不同元件(CPU、GPU,尤其是 NPU)的能力不断增强;另一方面,电路尺寸的减小使得 ISP 变得更加复杂。另一方面。
«我们不是孤立地工作,而是与开发芯片其他元件的其他团队合作(编者注:CPU、GPU、NPU)。我们必须通过不同的信息交换和内存访问来选择在 ISP 中处理什么、在外部处理什么。”。围绕人工智能和神经处理器(神经处理单元,NPU)的工作的爆炸式增长使所有行业参与者都能从 ISP 的理想合作伙伴中受益。
如果说过去十年取得了巨大的进步,那么现在取得进展却变得越来越困难,而且战斗也越来越激烈。 “图像质量的提升不再像过去那样显着。我们现在正在尽可能地致力于算法的能源效率»,斯蒂芬·布施解释道。 «需要改进的主要领域之一是人工智能训练产生的算法的开发。但由于整个系统的热预算(编者注:智能手机的外观),不能超过4W,我们必须在超高效但耗电的AI算法和更高效的算法之间找到平衡»。
继续提高我们“小型”智能手机传感器的图像质量是一项非常高水平的工作,需要大量(非常优秀的)头脑。
资助研究寻找人才并规划未来
NRC 负有中长期责任。 “在我们的活动开始时,我们处于生产模式。我们需要快速开发自己的 ISP。如果我们显然继续这项工作,我们现在更多地处于研究模式。我们现在看到未来五年,因为就行业已经达到的水平而言,算法和技术需要时间才能成熟»。
华为利用遍布全球的众多研究中心,资助众多项目,为未来铺平道路。 “与所有工业参与者一样,我们为博士后、CIFRE 奖学金、实验室项目等提供资助。从事应用或基础研究课题»,Busch 先生继续说道。 “与工业界一样,我们让研究人员发表其全部或部分工作»。
某些元素显然是保密的或转化为专利,但华为研究的很大一部分发现自己已发布到公立大学领域。
«这是企业与大学文化之间联系的游戏。当然,我们会暴露一点自己,但通过这种方式,我们参与了寻找人才和其他研究课题的生态系统。这使我们具有吸引力:学生、年轻研究人员或经验丰富的研究人员需要发表文章来推进他们的职业生涯»。
华为和大多数工业企业一样,无论如何都需要这样的操作:“学校里没有教授我们需要的图像处理,而且半导体行业近年来并不流行。如果这种情况开始改变,半导体行业在未来几年将遇到一些招聘困难。,他预测。
华为的基础研究工作或多或少让其能够预见。 “在我们的领域,我们尝试对 ISP 制定五年愿景“,欢迎布希先生。在其他领域,华为走得更远。她拉格朗日中心* 2020 年 10 月在巴黎开展的基础数学研究就证明了这一点。该中心由法兰西学院教授、1994 年菲尔兹奖获得者 Pierre-Louis Lions 担任主席,拥有 30 名数学家组成的团队,增强了法国在数学领域的影响力。其中包括10家国际知名企业»,该公司新闻稿称。而且这并没有为研究人员的工作找到直接应用的任何承诺。
*:拉格朗日数学与计算研究中心
国际形象链的运作
逻辑设计硬件ISP 的主要产品是法国团队的产品。但是集成到 SoC、从 RTL 图构建计划、数字噪声处理例程、后处理算法等。是其他地方涵盖的主题。无论他们在伦敦、坦佩雷、慕尼黑、北京、深圳、上海还是杭州,“华为在人才聚集的地方开设了研究中心””,布希先生解释道。
«例如,芬兰坦佩雷大学因其对数字噪声处理的研究而闻名。”。而且我们这里只讨论ISP,图像方面的工作需要更多的资源:因此我们能够见到华为东京研究中心主任Sei Kyojiro。他和他的团队是为 P20 Pro 和 P30 Pro 开发相机模块的日本单位的成员!
华为的NRC是一家由德国人领导的中国公司拥有的法国子公司。他本人领导着一支由来自 14 个不同国家的 30 人组成的团队。如果说法国中心是“摄影智慧»,它只是智能手机领域开发播放器的照片/视频部分所需的众多齿轮之一。如果再加上华为以外从事传感器(索尼、三星、安森美)、光学(舜宇光学等)、执行器、稳定性、算法、软件工程师等工作的研究人员,你就可以衡量技术链的复杂性。当您拍摄出美丽的夜间照片时,这要归功于数千名研究人员和工程师的工作!
法国的未来似乎没有受到威胁
华为面临唐纳德·特朗普的“炮火”。美国前总统剥夺了该公司进入美国领土的权利,并将其从台积电和三星工厂驱逐出去。但最重要的是,他还撤回了对谷歌服务的批准,这是一个沉重的打击,迫使中国人开发自己的基于开源 Android 的移动操作系统 Harmony OS。但尽管它很好,但由于缺乏谷歌服务和 Play 商店,西方受众很难使用它。当被问及这些话题时很棒的和软件方面,我们采访过的各个华为对话者(逻辑上)拒绝发表评论。
至于 ISP 和摄像头,目前是这样«一切如常»:发展计划没有改变,路线图已经到位,华为可以继续推出智能手机。事实上,华为已经为亚洲市场储备了5纳米芯片。为了出口,拜登政府现在允许该公司从高通购买芯片。拯救该公司的显然是其国内市场的规模:尽管它在中国已从第一名上升到第六名,但中国的 14 亿居民提供了继续开发产品的机会。
至于华为回归业务,除了围绕收回谷歌授权的讨论传闻外,代工方面也可能发生变化。这对于公司继续实施自己的 ISP 至关重要。中芯国际创始人最近的重大进展让分析师相信台积电或三星可能很快就会重新开放其生产线。宁愿重新开工厂赚钱,也不愿让数十亿美元在中国铸造厂溜走。
如果这两颗星齐头并进,那么有一件事是肯定的:华为不会放松其开发努力,并将准备好在照片中再次闪耀。由于其图像处理器部分是法国制造的。
关于照片的注意事项: 为了尊重某些研究元素、内部命名法或与工业秘密相关的任何元素的机密性,我们应华为的要求对照片中的桌子和屏幕进行了模糊处理。