評估大型語言模型對環境的影響

LLM 的問題

法學碩士的環境問題源於大的方面。 當前一代法學碩士的功耗與其訓練數據集的大小相關。 LLM 的規模可以部分地通過其推理操作中使用的參數數量來表徵。 更多的參數意味著更多的數據需要移動，以及更多的計算來利用這些數據。

今天的法學碩士的參數比早期模型多了幾個數量級。 為了 example, Google來自 Transformers 的雙向編碼器表示，或 BERT、LLM，其中 達到了 2018 年發佈時具有最先進的性能，擁有 3.4 億個參數。 相比之下， GPT-3.5，背後的LLM ChatGPT，有1750億。

與參數數量並行，訓練一些法學碩士所需的能力躍升了四到六個數量級。 在決定執行多少培訓時，功耗和成本已成為一個重要的考慮因素，因為一些法學碩士的培訓成本高達數百萬美元。

訓練週期消耗了高耗能 GPU 和 CPU 的全部注意力。 大量的計算負載加上存儲和移動大量數據，導致大量電力消耗和大量熱量排放。

反過來，熱負荷意味著更多的電力用於冷卻。 一些數據中心使用水基液體冷卻。 但這種方法會提高水溫，從而對當地生態系統產生不利影響。 此外，一些水基方法會污染所用的水。

與訓練相比，部署模型的單獨推理所消耗的功率似乎微乎其微。 但這個相對較小的數量必須乘以在生產中使用該模型時運行的推理數量。

此外，許多已部署的模型只能使用很短的時間（幾週或幾個月），然後才需要重新訓練模型。 解決模型漂移問題需要重複原始訓練過程中的步驟並消耗類似的功率。

減少語言模型對環境的影響

為了解決這些問題，開發人員可以縮小人工智能模型和訓練操作的規模。

法學碩士並不是唯一一種生成人工智能或自然語言處理模型。 較小的模型具有較低的訓練成本和較小的環境影響，在許多情況下都可以表現得差不多。 為了 example羊駝 模型 斯坦福大學研究人員和 Meta 的大型語言模型 Meta AI（或 Llama）足夠小，可以在桌面上運行，並且可以花費數百美元而不是數百萬美元進行訓練。

在整個模型生命週期中降低訓練成本的另一種方法是一次性或幾次訓練。 使用這一技術，經過培訓的法學碩士可以學習處理來自一個或多個示例的新輸入，並隨後適應處理類似的輸入。

此外，企業可以通過使用不同的芯片架構或基於該硬件的不同架構工具來提高其硬件的效率。 SpiNNaker2芯片 建築學， 為了 example，通過支持稀疏活動網絡上的局部密集計算來模擬生物神經網絡。 也就是說，當神經網絡中當前沒有發生任何事情時，芯片幾乎不消耗電力。 儘管採用更大的晶體管構建，但與大多數當前的 CPU 和 GPU 相比，該芯片架構消耗的功率要少得多，同時完成相似數量的計算工作。

為了提供可持續的工具並持續盈利，人工智能公司需要快速轉向更高效的技術和實踐。 客戶和潛在客戶應該堅持不懈地對待他們的環境影響，並在不久的將來製定緩解計劃。