新技術評估報告對於美國立法者的生成AI培訓，開發和部署的警告，儘管有生成AI技術的商業開發商努力在部署後不斷監視其AI模型，但開發人員仍發現“他們的模型可能易受攻擊或可能產生實際上是錯誤或展示偏見的輸出。”
此外，政府責任辦公室（GAO）說：“利益相關者對使用培訓數據的使用和有害產出的潛力提出了信任，安全性和隱私問題，”並且開發人員並不總是與公眾對這些事務進行預期，並在這些問題上面臨一些局限性，並且在負責任地開發和部署了生成的AI技術來確保這些問題是安全和信任的。
GAO從2024年6月至2024年10月進行了技術評估，採訪了Amazon，Anthropic，Google，Meta，Microsoft，Microsoft，Nvidia Corporation，OpenAI和穩定性AI的AI開發人員，“了解他們使用什麼保障來保護敏感數據。”聯邦審計師說，它認為獲得的信息和數據及其分析“為其在國土安全與政府事務眾議院委員會主席的眾議員加里·彼得斯（Gary Peters）和參議員愛德華·瑪基（Edward Markey）主席眾議員加里·彼得斯（Gary Peters）要求。
彼得斯（Peters）和馬基（Markey）是國會中提高透明度和商業AI技術控制的倡導者。上個月，參議院商務，科學與運輸委員會成員Markey介紹了他的人工智能民權法這將使公司對公司使用算法進行嚴格的護欄進行相應的決策，並確保在部署前後對算法進行測試，幫助消除和預防偏見，並更新美國人對複雜算法的準確性和公平性的信念。
去年，彼得斯介紹了人工智能領導培訓法這將要求人事管理辦公室針對AI制定和實施一項年度培訓計劃，以針對指定參與該計劃的聯邦經理，主管和其他員工，包括有關AI提供的福利和風險的培訓，以及減輕AI風險的方法。
高告訴彼得斯和馬基，“開發人員認識到他們的模型並不完全可靠，並且用戶判斷力在接受模型輸出方面發揮作用。但是，他們可能不會宣傳這些限制，而是關注這些局限性，而當發布新迭代時，他們可能會在釋放新迭代時的功能和改進。此外，對於某些應用程序，生成的AI可能會更可靠，並且可能會在其他模型中更可靠，並且在某些情況下可能會在某些模型中使用某種模型。
GAO報告發現，儘管開發人員的緩解措施，但“他們的模型可能會產生不正確的產出，表現出偏見或容易受到攻擊。”
Gao報告說：“例如，” AI模型“可以產生'confabulation'和'幻覺'，”它被描述為“自信地說明但錯誤的內容可能會誤導或欺騙用戶”。而且“這樣的意外產出可能會產生重大的後果，例如發行和出版不願意的主題的明確圖像或有關如何創建武器的說明。”
長期以來，眾所周知，大型語言AI模型（尤其是公眾很容易訪問的模型）很容易結結巴巴，冷凍，幻覺或製作東西，包括將事實與陰謀理論混為一談，以提供對用戶複雜提示的非敏感和不准確的答案。
高高說：“此外，惡意用戶一直在尋找規避模型保護措施的方法。根據專家的說法，這些攻擊不需要高級編程知識或精通技術。而是，攻擊者可能只需要依靠工藝文本提示即可實現其目標的能力。商業開發人員對這些現實性和負責任的局限性，他們對責任的部署施加了責任部署AI型模型。
為了指出，高高指出，美國國家標準技術研究所（NIST）報告說，有多種攻擊生成AI模型的方法，該模型著重於損害該模型的可用性（其正確操作的能力），完整性，隱私性和易感性。 ”
“Those interested in unintended or malicious use of generative AI technologies to generate harmful outputs may employ several methods to achieve their goals,” GAO said, noting that “one such method is prompt injection, which occurs when a user inputs text that may change the behavior of a generative AI model. Prompt injection attacks enable users to perform unintended or unauthorized actions. For example, rather than asking a large language model to provide instructions on developing a bomb (which the模型可能不會回答，因為它違反了安全政策），用戶可以通過要求構建炸彈的故事來繞過模型的保障措施，以繞過模型的保障措施。
高說，生成AI的商業開發商採取了旨在防止此類攻擊的步驟，同時承認“這些風險可能隨時發生，惡意用戶一直在尋找攻擊生成AI模型的新方法。”
國會調查部門說：“商業開發商正在採取措施通過在培訓和開發的各個階段進行隱私評估來保護敏感信息，”但指出：“專有培訓數據集可能包含敏感數據，例如用戶的名稱，地址和其他個人身份信息。”高說，它接受采訪的一位專家說：“成功刪除個人信息的能力可能取決於信息的類型。例如，與識別號相比，找到和刪除電子郵件地址可能相對容易。”
GAO特別批評AI開發人員在培訓數據他們收集的。聯邦審計師說：“有關培訓數據集的細節的信息並非完全可供公眾使用”，“我們遇到的商業開發人員並未披露有關其培訓數據集以外的高級信息和其他相關文檔中確定的高級信息之外的詳細信息。”
高高說：“例如，許多人指出，他們的培訓數據包含互聯網上公開可用的信息。但是，在詳細信息中，有關他們策劃數據以遵守內部信任，隱私和安全政策的過程的詳細信息，我們無法評估這些過程的效率。根據這些過程的文檔，開發人員並未根據他們的模型進行培訓，並培訓了他們的培訓。生成AI模型的數據隨著時間的流逝而惡化，培訓數據上的模型卡中包含的信息不符合研究人員提出的指南。”
GAO told lawmakers who requested its report that “commercial developers have created privacy and safety policies that guide the development of their generative AI technologies,” and that “these policies include general internal guidance on usage of data, how to curate data, or prevent harmful outputs,” such as one developer implementing “policies on how to curate training data … that emphasize diversity across gender, race, and ethnicity. Such measures may reduce the模型會產生有害或歧視性產量的可能性。
