NVIDIA 剛剛推出了「Chat with RTX」程序，這是一個在 PC 上本地運行的聊天機器人。如果您有合適的顯示卡，它可以幫助您對文件進行排序或總結 YouTube 影片。
NVIDIA 的 GeForce RTX 主要用於遊戲，其用途也不斷擴大。無論如何，該公司不僅利用 GPU 的 Tensor 核心來管理 DLSS（深度學習超級取樣），其AI過採樣技術。加州晶片巨頭希望在其他幾個領域使用其顯示卡。
因此，GeForce 軟體生態系統在其經典系列中包含了各種新增內容：RTX Voice，用於與語音交換相關的所有內容； RTX 視頻，其中包括 RTX 視訊超分辨率，以及 RTX Video HDR、過採樣技術以及將 SDR 流轉換為 HDR 進行串流傳輸。今天新增的內容是「Chat with RTX」程式。去年一月推出，現已可供試用。
Un 本地聊天機器人
「Chat with RTX」是一個在 PC 上本地運行的人工智慧聊天機器人。它由兩個主要資源支援：NVIDIA TensorRT-LLM 和 RAG（檢索增強生成）。簡單來說，第一個是開源軟體，旨在透過眾多語言模型提升 GeForce RTX 的 AI 推理效能。第二個是用於提高使用外部資料的產生人工智慧模型的準確性和可靠性的技術。
「與 RTX 聊天」利用 Mistral AI 的功能或駱駝2。它可以訪問 YouTube，當然還有您電腦上的各種文件。在下面的示範影片中，NVIDIA 確保您的資料不會離開您的 PC。這也是該公司提出的論點。她強調，「Chat with RTX」允許在本地 PC 上處理敏感數據，而無需與第三方共享，也無需網路連線。這種方法與基於雲端的 LLM 服務相反。
已經很實用了
除了公司在序列中展示的幾個例子之外，湯姆沃倫 (Tom Warren)邊緣他自己進行了實驗。他確認聊天機器人對於搜尋和總結本地文件非常有用。我們的同事舉了一個例子，他的電腦上儲存著與 FTC 起訴微軟案相關的一攬子文件，「Chat with RTX」在幾秒鐘內就找到了其中的關鍵資訊。
另一方面，湯姆沃倫 (Tom Warren) 表示，應用於 YouTube 影片的研究有時不太令人信服。最後，他指定聊天機器人沒有上下文記憶，並且會在索引資料夾中傳播 JSON 檔案。
沒什麼戲劇性的，因為“Chat with RTX”目前僅作為演示提供。另一方面，這是一個限制性演示，因為它僅限於具有至少 8 GB VRAM 的 GeForce RTX 30 和 RTX 40 –最近推出的 GeForce RTX 3050 6GB因此不符合資格。最後，電腦必須執行 Windows 11。
來源 ： 英偉達
