索尼本质上以其物理产品而闻名，多年来一直专注于人工智能的软件和数据处理。这家日本巨头向我们展示了五种技术，它们的共同点是建模。无论是人体还是整个城市，这家日本巨头现在在其实验室中拥有软件构建模块，可以成为未来的伟大建筑师。
如果对你来说索尼停留在随身听、电视和其他游戏机上，你将不得不稍微打开你的分析范围：日本是一个创新巨人，它刚刚第一次向你开放了（稍微……）。事件索尼技术交流会（STEF）向媒体透露。您可能从未听说过这项年度活动——我们也没有听说过。祝圣“分享和展示索尼集团内部的技术发展”，这是向客户展示的一种方式，也是向他们之间的部门和研究中心展示他们即将从他们的帽子中拿出什么的方式......抱歉，来自他们的实验室！
因为如果我们距离纯粹的探索性原型还很远，那么索尼现阶段展示的技术仍处于行业或不同部门的校准和采用阶段（或尚未）。最后的精度非常重要，因为日本是一个具有多种分支的巨人：有半导体，其中您无疑知道图像传感器。有消费电子产品部门（电视等）。甚至分裂赌博与 PlayStation、索尼电影制片厂等合作。更不用说索尼人寿保险公司了！因此，与许多其他大公司一样，索尼组织的活动和贸易展览具有外部和内部影响。但如果我们习惯于看到索尼想要为我们提供产品，那么 STEF 的演示是明确的：索尼正在将所有努力投入人工智能和数据分析，以成为软件冠军。
用一个词作为共同点：建模。从建模人类及其在太空中的身体到我们周围的世界，以下是索尼向我们展示的五项技术。五项技术让我们可以说这家日本巨头想要成为未来世界的“伟大的建模者”。
1. 使用 ToF 传感器在 AR 中为人类和世界赋予动画效果
“ToF AR”开发套件是与索尼硬件活动最直接相关的技术。索尼是图像传感器领域的伟大冠军，也是所谓的飞行时间传感器领域的领导者（飞行时间或 ToF，请阅读我们关于此主题的文章）。由传感器本身和照明器组成的双重组件，利用其发射和反射接收的光来非常精确地测量到物体的距离。
例如，“ToF AR”平台的目的不仅是检测和识别人类，最重要的是将他们的动作与地图和动画模型结合起来。正如您在上面的视频（1:36）中看到的，电视上虚拟角色的手、头和嘴完全由右边的女人控制。除了 AR 游戏应用程序之外，我们还可以想象由演员制作动画系列，而无需求助于昂贵的动作捕捉工作室。这只是演示用途之一，“ToF AR 开发套件» 允许您创建新模型并利用 ToF 传感器的天然优势。特别是不受环境光干扰、消耗很少的能量以及知道如何非常精确地区分移动的主体和背景的事实。
虽然这样的软件工具显然是为了促进组件部门销售传感器而开发的，但 ToF AR 仍然是一个不可知的软件平台，而不是与索尼硬件相关的产品。当我们询问工程师时，他们向我们保证“所有配备能够测量深度的 ToF 传感器的智能手机都将兼容，无论这些传感器是否是索尼的»。
2.表征情感来评价作品
观看体验或“VX”是人类感受的“间谍”。基于从观众中（轻松地！）提取的三种类型的数据，VX 可以表征人类的反应和情感，以表征和评估作品的情感影响。这里是广义的：索尼给出的例子从电影到电子游戏，包括广告和电子游戏。
另请阅读： 索尼 FX6，一款继承相机 DNA 的电影摄影机（2020年11月）
这三个传感器是跟踪和分析面部表情的摄像头、跟踪节奏变化的心脏传感器以及记录“哦”、“啊”和其他掌声的麦克风。在这个过程的核心，不可避免的软件工厂是内部人工智能，并由使用机器学习（机器学习或ML）设计的算法支持。一个强大的分析工具，可以让人类情感通过点菜选择的“筛子”：序列中最无趣的时刻是什么？不同性别有何反应？什么年龄段最容易接受？
索尼承诺进行“深度情感分析”，作为回报，文化和娱乐参与者将拥有“客观”的影响分析工具。放在括号中是因为随着时间的推移，有必要判断机器报告的相关性！
3. 机器人和射线追踪培训外科医生
(视频并不残暴，但由于人体组织的3D再现，索尼似乎不想让那些对手术细节怀有神圣恐惧的人冒任何风险。因此，您需要连接到 Youtube 才能阅读它。）
“手术模拟器”，顾名思义，就是手术模拟器。至少我们可以说的是，索尼在图像渲染方面已经竭尽全力：它是同类产品中第一个集成光线追踪效果的产品，这种光线和反射的渲染在视频游戏中提供了逼真的外观。但这种通过这项技术改进的沉浸感并不是为了取悦外科医生，而是为了反映他职业的现实。通过内窥镜外科手术，医生可以通过相机的手电筒看到他将在现场获得的真实模拟结果。光线的行为取决于织物的性质，在这里提供了真实的信息，而不仅仅是像《赛博朋克 2077》中那样在 4K 中杀死敌人的乐趣！但如果没有医学物理引擎，这种渲染质量就毫无意义。一种强大的工具，可以表征不同组织、其可塑性、切割时的行为等。
另请阅读：光线追踪：视频游戏的未来正在占据主导地位（2019 年 9 月）
对于这个创新的软件块，索尼这次结合了一个硬件元素：来自其机器人部门的双操纵杆。但索尼拒绝就上市日期和实施方式（带或不带操纵杆？）发表评论。对于光线追踪技术是否来自 PlayStation 部门的软件工程师的工作，目前还没有答案。事实上，PS5 是该品牌管理这些灯光效果的第一款游戏机（得益于 AMD RDNA2 代 GPU），我们可以想象协同效应。但我们暂时无法了解更多信息。
4. Mapray：从免费图像中重建世界
有了 Mapray，3D 艺术家和其他建模师还有什么需要担心的吗？无论如何，该技术的潜力是相当令人印象深刻的，因为该工具能够在没有丝毫人类创造的情况下重建整个城市。 “魔法”的发生得益于开放数据：照片、视频、数据库（地理坐标、OpenStreetMap 地图，还有土地登记册，甚至温度！）。人工智能再次应人类的要求聚合数据。
Mapray 的模型非常灵活，不仅能够重建地点，还能根据气候和天气条件进行解释。重要的一点：索尼的工具基于云基础设施，能够实时管理大量数据，以便提供模拟世界的平滑再现——索尼称之为“数字孪生”（digital twins）。索尼的渲染引擎将能够适应查阅其卡的终端的功率和清晰度。
另请阅读： Nvidia 推出 Drive Map，这是面向未来自动驾驶汽车的超精确地图（2022 年 3 月）
这是技术的一个关键优势：它将能够被大量设备使用......在大量领域。当我们询问索尼其他部门是否可能采用该工具时，索尼工程师直接表示同意：“我们与其他部门正在进行许多项目（来自索尼，编者注）。”从创建/完成嵌入汽车中的环境模型（汽车和零部件部门），到其电影或视频游戏部门（索尼影业和索尼 PlayStation）的世界建模工具，Mapray 拥有在众多“领域”发挥横向作用的能力。这家日本巨头的业务部门”。
5. 创建一个虚拟摄像机，将你放在姆巴佩身边
https://www.youtube.com/watch?v=BWa1E0TMRx4
最新技术是索尼长期工作的成果。 2011 年收购 Hawkeye 后，该数据可视化部门为广播公司（我们谈论的是“广播”世界）开发了工具。尤其是 SkeleTRACK 和 HawkVISION。后者的基石是 SkeleTRACK，该软件可以重新创建玩家在环境中的位置。不仅是他们在三维空间中的位置，还有他们准确的身体姿势。不同的摄像机和物理解释引擎可以分析四肢的位置及其速度。该工具已部署在英超联赛（足球，英国）和美国职业棒球大联盟（或 MLB，棒球，美国）中。 SkeleTRACK（字面意思是“骨骼追踪器”）是一款允许团队为每个球员生成准确数据的软件。从而帮助教练进行训练。在这第一个工具上，索尼构建了更强大的软件 HawkVISION - 英文为 Hawk Vision。
HawkVISION 利用 SkeleTRACK 的分析和建模功能（以及数据！）执行四项任务。第一个是协助裁判做出决策，比赛空间的 3D 重建使得检查越位成为可能，而不仅限于静态摄像机的 2D 拍摄。另一种可能的应用是通过实时（或延迟慢动作）提供要叠加在视频序列上的相关度量来用于媒体。例如，踢球时的跳跃高度、球员速度或腿部速度等指标。第三个用途涉及性能分析。通过吞咽大量数据，Hawkvision 可以为每个球员生成精确的报告：传球数、射门数、犯规数等。以完全自动化的方式（感谢人工智能）。然后数据将被教练……和博彩公司使用！
另请阅读：曼联与高通签约推广Snapdragon品牌（2022 年 11 月）
这是 HawkVISION 的第四种用途，对于既不是运动员也不是教练的公众来说最有趣的是：实时（或稍微延迟）动作再现，从而可以生成比赛的 3D 模拟。当前 3D 卡的强大功能使您能够（重新）体验像姆巴佩一样的进球等动作，就好像您与他并肩奔跑一样 - 从逻辑上讲，如果没有摄影师在场，这是不可能的。
除了机器人元素之外，您还会注意到这些尖端技术的第二个主要共同点：在大多数情况下，它涉及能够使用人工智能解释数据流的软件。并坚持明确的用途，特别是在 AR 和 VR 方面（是的，我们听到你在背景中说了“元宇宙”这个词！）。换句话说，索尼似乎正在进入软件和数据时代。对于已经是产品、组件和内容冠军的人来说，弓上缺少一根弦。
