NVIDIA 刚刚推出了“Chat with RTX”程序，这是一个在 PC 上本地运行的聊天机器人。如果您有合适的显卡，它可以帮助您对文档进行排序或总结 YouTube 视频。
NVIDIA 的 GeForce RTX 主要用于游戏，其用途还在不断扩大。无论如何，该公司不仅利用 GPU 的 Tensor 核心来管理 DLSS（深度学习超级采样），其AI过采样技术。加州芯片巨头希望在其他几个领域使用其显卡。
因此，GeForce 软件生态系统在其经典系列中包含了各种新增内容：RTX Voice，用于与语音交换相关的所有内容； RTX 视频，其中包括 RTX 视频超分辨率，以及 RTX Video HDR、过采样技术以及将 SDR 流转换为 HDR 进行流式传输。今天添加的内容是“Chat with RTX”程序。去年一月推出，现已可供试用。
Un 本地聊天机器人
“Chat with RTX”是一个在 PC 上本地运行的人工智能聊天机器人。它由两个主要资源支持：NVIDIA TensorRT-LLM 和 RAG（检索增强生成）。简单来说，第一个是开源软件，旨在通过众多语言模型提升GeForce RTX的AI推理性能。第二个是用于提高使用外部数据的生成人工智能模型的准确性和可靠性的技术。
“与 RTX 聊天”利用 Mistral AI 的功能或骆驼2。它可以访问 YouTube，当然还有您计算机上的各种文件。在下面的演示视频中，NVIDIA 确保您的数据不会离开您的 PC。这也是该公司提出的一个论点。她强调，“Chat with RTX”允许在本地 PC 上处理敏感数据，而无需与第三方共享，也无需互联网连接。这种方法与基于云的 LLM 服务相反。
已经很实用了
除了公司在序列中展示的几个例子之外，汤姆·沃伦 (Tom Warren)边缘他自己进行了实验。他确认聊天机器人对于搜索和总结本地文件非常有用。我们的同事举了一个例子，他的电脑上存储着与 FTC 起诉微软案相关的一揽子文件，“Chat with RTX”在几秒钟内就找到了其中的关键信息。
另一方面，汤姆·沃伦 (Tom Warren) 表示，应用于 YouTube 视频的研究有时不太令人信服。最后，他指定聊天机器人没有上下文记忆，并且会在索引文件夹中传播 JSON 文件。
没什么戏剧性的，因为“Chat with RTX”目前仅作为演示提供。另一方面，这是一个限制性演示，因为它仅限于具有至少 8 GB VRAM 的 GeForce RTX 30 和 RTX 40 –最近推出的 GeForce RTX 3050 6GB因此不符合资格。最后，计算机必须运行 Windows 11。
来源 ： 英伟达
