如何在 Android 上本地运行 LLM

要知道什么

在您的 Android 设备上安装 MLC Chat 之类的应用程序，以在本地与法学硕士进行实验和聊天。
下载可用模型之一，然后点击“聊天”图标开始与您选择的法学硕士聊天。
MLC 聊天应用程序可让您下载 Gemma 2b、RedPajama、Llama3、Phi-2、Mistral 和 Llama2。

有各种在您的电脑上。但说到智能手机，选择就稍微有限了。您必须运行小型语言模型或拥有具有足够处理能力的高级设备来应对法学硕士。无论哪种方式，都可以在本地和离线状态下与语言模型聊天。以下是您需要了解的有关在 Android 上本地运行 LLM 的所有信息。

如何在 Android 上本地运行 LLM

大型语言模型很大，并且需要大量的计算能力。但即使您的 Android 设备有足够的资源来运行 SLM（小语言模型）和 LLM，您仍然需要一个应用程序来让您通过用户友好的界面来试验它们。

这就是 MLC Chat 这样的应用程序派上用场的地方。按照以下步骤，使用 MLC 聊天应用程序在 Android 上本地运行 LLM。

第 1 步：安装 MLC 聊天应用程序

MLC 聊天应用程序 | 下载链接

首先，单击上面的链接并下载 MLC 聊天应用程序的 APK。出现提示时，点击无论如何下载。
安装MLCChat 应用程序。一旦完成，打开它。

第 2 步：下载 LLM

在 MLCChat 应用程序上，您将看到可供下载的可用模型列表。点击您喜欢的模型旁边的下载链接，然后等待下载。

第 3 步：运行已安装的 LLM

下载后，点击旁边的聊天图标即可开始聊天。等待模型初始化。准备好后，就可以开始与人工智能聊天了。

请注意，从 MLCChat 应用程序上的可用模型列表中，会有一些模型（例如 Llama3）需要大量处理能力。但您始终可以安装模型并进行测试，看看它们是否运行得足够流畅。如果没有，请尝试较小的语言模型。

在我们的测试中（在 Nothing Phone 1 上），Gemma-2b 无法加载，而 Llama3 则终止了系统 UI。效果很好的是 Llama-2 和 Phi-2。 LLM 与其他较小语言模型之间的主要区别在于它们训练的信息（参数）的广度。因此，请根据您的需求和 Android 设备的功能选择型号。

要知道什么