流行的開源統一框架 Ray 的創建者為生成式 AI 市場推出了一項新服務，使開發人員能夠使用流行的 LLM API（例如 Meta 的 Llama 2）將 LLM 整合到他們的應用程式中。
週一，該供應商在舊金山舉行的 Anyscale Ray 峰會上推出了 Endpoints 服務。 現在可以使用了。
Anyscale 聯合創辦人兼執行長 Robert Nishihara 在接受採訪時表示，Endpoints 旨在讓企業能夠輕鬆地立即開始使用生成式人工智慧。
西原說，當企業仍在弄清楚該技術如何滿足其需求時，端點可以幫助企業完成生成式人工智慧的原型設計階段。
開源流行度
該服務使 Anyscale 能夠利用獨立軟體供應商對開源模型日益增長的興趣，這些供應商正試圖找出如何將生成式人工智慧嵌入到新產品和現有產品中。 阿倫·錢德拉塞卡蘭Gartner 分析師。
他說，開源模型對於擁有高水準工程技術的金融和電信公司特別有用，使他們能夠使用和操縱開源模型來滿足自己的需求。
Chandrasekaran 表示：「我們看到了更多最先進的開源模型的出現。」他指出，其中最重要的是 Llama 2。「Anyscale 確實在努力提供一個平台，使 [enterprises] 採用這些模型並對其進行微調，也許可以在生產中更有效地運行它們。”
對 Anyscale 來說，對開源的興趣預示著未來。
「我們相信開放模式將佔據主導地位，」西原說。 “從發展軌跡來看，開放模型將成為支援大多數業務應用程式的預設方式。”
存在差距
然而，儘管開源很受歡迎，但封閉和開源模式之間仍然存在差距。 錢德拉塞卡蘭說，現代閉源模型可能比開源模型更快創造價值。
Chandrasekaran 補充道，部分原因是開源所需的技能和人才水平高於閉源。
因此，Anyscale 可能會面臨讓企業相信開源方法比 Microsoft 或 Microsoft 等整合良好的堆疊更好的挑戰。 Google。
「很多客戶都在尋找簡單、容易、容易實現的目標，」錢德拉塞卡蘭說。 “他們正在尋找更簡單的用例，這意味著他們可能會採用更垂直的方法。”
Nishihara 表示，對於 Anyscale 來說，雖然目前封閉模型和開源模型之間存在效能差距，但最佳化模型是可以縮小這一差距的技術，特別是在效能層級。
「微調是一種真正可以在幫助企業降低成本方面發揮重要作用的技術，」他說。
根據這種方法，Anyscale 還推出了微調 API，使使用 Endpoint 的企業不僅可以推理模型，還可以自訂 Llama 2 模型。
關心隱私的企業可以使用 Anyscale Private Endpoint，它允許用戶在自己的雲端帳戶和基礎設施中運行整個 API。
Anyscale也透露，Nvidia AI軟體將整合到Anyscale運算平台中，包括Ray開源基礎架構、Anyscale平台和Endpoints。
這一集成為 Ray 帶來了 Nvidia 軟體，包括 Nvidia TensorRT-LLM、Nvidia Triton 推理伺服器和 Nvidia Nemo。
對於 700 億個參數的 Llama 2 模型，Anyscale Endpoint 每百萬代幣的成本為 1 美元。 較小的型號較便宜。
Esther Ajao 是一位 TechTarget 編輯新聞撰稿人，報告人工智慧軟體和系統。
