meta ai有据说开发了一个紧凑型人工智能模型尽管参数较少,但被称为“ MobiLellm”,与其他AI模型一样有效,使其对计算能力较小的智能手机有效。
该研究团队包括来自Meta Reality Labs,Pytorch和Meta AI研究(FAIR)的个人,集中于优化不到十亿个参数的模型。这是诸如GPT-4之类的模型大小的一部分,GPT-4(被认为包含数万亿个参数)。

Mobilell的主要改进包括强调模型深度,超过宽度,整合嵌入共享和分组质量注意,并采用革命性的瞬时构成块构成块。
这些设计决策使Mobilellm能够在典型的基准工作负载上击败先前的尺寸类型2.7%至4.3%。
尽管这些单位数字的增长似乎微不足道,但它们代表了语言模型构建极具竞争力的行业的重大进步。
其他元AI技术
META的AI技术继续作为行业的其余部分继续发展。有些不如其他人好。 Meta平台,Facebook的父企业,揭示四月份的一套新的人工智能工具。首席执行官马克·扎克伯格(Mark Zuckerberg)认为,这是消费者可以自由利用的最复杂的AI助手。
尽管有这么高的主张,但Meta的AI机器人与真正的消费者互动困难。这些参数范围从80亿到700亿不等,这些AI语言模型使用大型数据集预测短语中最有可能的下一个单词。
尽管具有智能的设计,但Meta的AI代理商表现出了不同寻常的行为,例如加入在线论坛并参与对话偶尔会让人类感到困惑。这种行为突出了创建与人类平稳交互的AI系统的持续困难。
其他紧凑型AI模型
Meta AI的Mobilellm也在Microsoft之后的几个月发达类似的AI模型,Phi-3-Mini。
据报道,该方法旨在为资源较少的企业以较低的成本完成更简单的工作。
该业务已经引入了其三种小语言模型(SLM)中的第一个Phi-3-Mini,因为它赌注了一种预计将对人们的运作产生全球影响的技术。
根据微软Genai Research副总裁SébastienBubeck的说法,PHI-3的成本略低于其他具有同等功能但便宜得多的模型。
微软认为,尽管大语言模型仍然是不同AI任务的“黄金标准”,但PHI-3系列开放模型是最有效,最具成本效益的小语言模型。
新型轻型AI模型可在拥抱面上可用,用于机器学习模型的插座,Ollama,用于本地运行模型的轻量级框架以及Microsoft Azure AI模型目录。
此外,它将作为常规的API访问NVIDIA NIM微服务提供,可以轻松实施任何地方。
微软还宣布,很快就会提供其他PHI-3家庭模型,从而为用户提供了有关定价和质量的更多选择。 PHI-3中(140亿个参数)和PHI-3-MALL(70亿参数)很快将在许多模型花园和Azure AI模型目录中提供。
