第二代 Meta 人工智慧語言模型在第一代之後僅五個月就問世了。這是免費且開源的,但現在 Facebook 的母公司正在與微軟合作開發它。 Google和 LaMDA 最好要小心了。
與Google或 OpenAI 不同,Meta 團隊還沒有自己的通用公共對話工具,該工具由人工智慧推動並為所有人所熟知。但自二月以來,他有會話語言。換句話說,正是這個引擎允許您開發從文字生成到動態生成的工具,包括更複雜的程式、數學解析度、程式碼、科學研究工具等等。
LLaMA 2 剛剛在 7 月 18 日透過新聞稿宣布,它已經是第二代語言模型。與傳聞相反金融時報最近幾個小時,Meta 尚未對其模型進行付費訪問,該模型甚至是開源的,可供研究人員和公司訪問(用於商業目的)。“我們包括預訓練模型和微調版本的模型權重和原始碼”,我們可以閱讀。理解透過“微調版本”,所有將使用該語言模型來實現特定用途和資料的程式。
就在大規模(特別是在法國)部署 LLaMA 2 一週後,宣布向全體 LLaMA 2 發布。Bard,Google的對話代理應該競爭聊天GPT。令人驚訝的效果是雙重的:Meta 選擇了開源模型,而 Google 和 OpenAI 則傾向於將其放在一邊,而採用更保密的模型。“我認為如果生態系統更加開放,將會取得更多進展,這就是我們將 Llama 2 開源的原因””,馬克·祖克柏在 Facebook 上的一篇貼文中寫道。第二個驚喜效應是微軟作為該專案的特權合作夥伴的到來。因此,這家數位巨頭同時與 OpenAI 和 Meta 合作,進一步孤立了Google。
微軟,特權夥伴
Meta 似乎更專注於專業用途(ChatGPT 正在開發適合專業人士的版本)微軟對此感到高興,並聯手成為「首選合作夥伴」。因此,沒有對 LLaMA 進行行銷,而是對 Microsoft Azure 客戶及其 AI 模型目錄進行新的存取。同樣地,「LLaMA 將進行最佳化,以便在 Windows 上本地運行。 Windows 開發人員將能夠透過 ONNX 執行時間定位 DirectML 執行階段提供者來使用 Llama »,微軟在另一份新聞稿中指出。
兩家公司已經合作發布了 PyTorch 框架,自 2016 年以來一直是用於訓練人工智慧和深度學習神經網路的主要框架之一。然後,兩人聯手創建了 PyTorch 基金會,該基金會於 2022 年 9 月啟動,目前負責管理該框架。繼 Microsoft 之後,Amazon Web Services (AWS) 和 Hugging Face 的客戶也將能夠存取 LLaMA 2。
美洲駝 2 與 美洲駝 1
如果新聞稿沒有真正關注 LLaMA 1 和 LLaMA 2 之間的差異,那麼它與網站網際網路的語言模型。由此我們得知,第二代訓練的資料庫比第一代大 40%。為了更好地理解、更好的預測和更適應的文本生成,Meta 告知 LLaMA 2 已將其« 上下文長度 »,上下文長度。它是決定結果效能的元素,但對於語言模型來說,它也是使運行變慢的元素。
在速度方面,Meta 公佈了其基準測試的多個結果,並將其與某些競爭對手(未引用 Google 和 OpenAI)以及 LLaMA 1 的不同版本的結果進行比較。 MosaicML 的源語言模型,以及阿布達比技術創新研究所的開源語言模型Falcon,該模型於去年6 月發布,其效能尤其令人驚訝。根據 Meta 的說法,其 70B 參數下的最佳模型將優於 40B 參數下的 Falcon。
Meta 表示,從2 月至今,它已收到100,000 個訪問其LLaMA 1 模型的請求,隨著與微軟的領先集成和關聯,LLaMA 2 的使用可能會加強,除非像Falcon 或來自谷歌和OpenAI 的模型那樣的競爭。競爭將繼續相同:提供更先進的模型,在「微調」版本中為特定用途提供更先進的模型,但也更輕,以便能夠整合到更容易存取的機器中,包括學術界和商業界的機器。