高通公司的AI研究团队最近使用公司的AI堆栈部署了智能手机上的稳定扩散（一种流行的基于AI的文本到图像生成模型），取得了重大突破。
稳定的扩散由超过十亿个参数组成，以前由于其大小而限于云服务器。但是，通过利用Qualcomm AI堆栈，高通AI研究能够进行全堆AI优化，以使稳定的扩散在Android智能手机上运行。
据该公司称，这是使用移动设备首次部署稳定扩散。
高通公司如何使这一成为可能
该公司断言，高通AI堆栈使OEM和开发人员能够在高通公司的产品上创建，优化和部署AI应用程序，同时最大程度地发挥高通AI引擎的性能。
但是他们是怎么做到的？高通AI研究始于FP32版本1-5开源模型拥抱脸，数据科学平台。然后，研究人员进行了量化，编译和硬件加速度的优化，以使稳定的扩散模型在手机中运行的最新Snapdragon 8 Gen 2芯片组上运行。
高通AI的研究人员使用了AI模型效率工具包的训练后量化来缩小模型。量化可以通过使模型在AI特定的硬件上运行良好并使用更少的内存带宽来提高性能并节省能源。
然后，高通AI引擎直接框架正确安排了操作。这有助于提高性能并减少内存泄漏。之所以出现这些改进，是因为AI优化研究人员和编译器工程团队共同努力，以改善AI推断中的内存方式。
AI Art Generator现在在Android上可用
由于这种全堆栈优化，稳定的扩散现在可以在不到15秒的智能手机上从20个推理步骤中生成512x512像素映像，并从用户那里输入完全不受限制的文本。查看Qualcomm的视频：
高通说，这是智能手机上记录的最快推理时间，与云潜伏期相当。尽管稳定的扩散是一个大型模型，但它编码了有关语音和视觉效果的大量知识，从而可以生成几乎可以想象的任何图像。
根据ZDNET，高通公司将展示稳定的扩散，该扩散是在公司最新的Snapdragon 8 Gen 2 Chipset供电的高级智能手机上运行的，这是Mobile World Congress（MWC）的首次运行。
高通公司声称其稳定扩散软件的速度记录，它说该软件从未在Android上进行过本地运行。然而，边缘报道说，开发商Ivon Huang证明，该技术可以使用Qualcomm Snapdragon 865和8GB RAM在Sony Xperia 5 II上运行。黄指出，产生512 x 512图像花了一个小时。
苹果还发布了大约一分钟内在其核心ML框架上运行稳定扩散所需的优化。但是，高通的软件仍然更快，只需一分钟即可在iPhone 13上生成512 x 512图像。
保持在Tech Times。
