科學家們開發出了一種突破性的方法來揭示深層神經網絡如何“思考”，最終揭示它們的決策過程。
通過可視化人工智能如何將數據組織成類別，這種方法確保了醫療保健和自動駕駛汽車等現實世界應用程序更安全、更可靠的人工智能，使我們離真正理解更近了一步人工智慧.
了解 AI 處理層
深度神經網絡是一種人工智能 (AI)，旨在模仿人腦處理信息的方式。然而，理解這些網絡如何做出決策長期以來一直是一個艱鉅的挑戰。九州大學的研究人員開發了一種新方法，可以更好地理解深度神經網絡如何解釋數據並將其分類。他們的研究結果發表於IEEE 神經網絡和學習系統彙刊，旨在提高AI準確性、可靠性和安全性。
類似於人類一步一步解決謎題的方式，通過多層處理信息。第一層稱為輸入層，收集原始數據。接下來的層（稱為隱藏層）分階段分析數據。早期的隱藏層檢測邊緣或紋理等簡單特徵——類似於識別單個拼圖。更深的層結合這些特徵來識別更複雜的模式，例如區分貓和狗，就像組裝拼圖以形成完整的圖像一樣。
人工智能決策的透明度
“然而，這些隱藏層就像一個上鎖的黑匣子：我們看到輸入和輸出，但內部發生的情況並不清楚，”九州大學信息科學與電氣工程學院副教授 Danilo Vasconcellos Vargas 說。 “當人工智能犯錯時，透明度的缺乏就會成為一個嚴重的問題，有時是由改變單個像素這樣的小事情引發的。人工智能可能看起來很聰明，但了解它是如何做出決定的，是確保它值得信賴的關鍵。”
當前可視化方法的局限性
目前，可視化 AI 如何組織信息的方法依賴於將高維數據簡化為 2D 或 3D 表示。這些方法讓研究人員能夠觀察人工智能如何對數據點進行分類，例如，將靠近其他貓的貓的圖像分組，同時將它們與狗分開。然而，這種簡化存在嚴重的局限性。
“當我們將高維信息簡化為更少的維度時，就像將 3D 對象扁平化為 2D 一樣，我們會丟失重要的細節，無法看到全貌。此外，這種可視化數據分組方式的方法使得很難在不同的神經網絡或數據類之間進行比較，”Vargas 解釋道。
k*分佈法介紹
在這項研究中，研究人員開發了一種稱為 k* 分佈方法的新方法，該方法可以更清晰地可視化和評估深度神經網絡將相關項目分類在一起的效果。
該模型的工作原理是為每個輸入的數據點分配一個“k* 值”，該值表示到最近的不相關數據點的距離。高 k* 值意味著數據點分離良好（例如，貓與狗的距離較遠），而低 k* 值則表明數據點存在潛在重疊（例如，狗與貓的距離比與其他貓的距離更近）。當查看某個類（例如貓）中的所有數據點時，此方法會生成 k* 值的分佈，該分佈提供了數據組織方式的詳細信息。
“我們的方法保留了更高維的空間，因此不會丟失任何信息。這是第一個也是唯一一個可以準確了解每個數據點周圍‘局部鄰域’的模型，”Vargas 強調道。
新方法的影響和應用
研究人員利用他們的方法發現，深度神經網絡將數據分類為集群、斷裂或重疊的排列。在集群排列中，相似的項目（例如貓）緊密地組合在一起，而不相關的項目（例如狗）則清晰地分開，這意味著人工智能能夠很好地對數據進行排序。然而，破碎的排列表明相似的項目分散在廣闊的空間中，而當不相關的項目位於同一空間時會出現重疊分佈，這兩種排列都更容易導致分類錯誤。
Vargas 將其與倉庫系統進行了比較：“在組織良好的倉庫中，類似的物品存儲在一起，使檢索變得輕鬆高效。如果物品混合在一起，它們就會變得更難找到，從而增加選擇錯誤物品的風險。”
關鍵系統和未來的人工智能
人工智能越來越多地應用於自動駕駛汽車和醫療診斷等關鍵系統中，其中準確性和可靠性至關重要。 k* 分佈方法可以幫助研究人員甚至立法者評估人工智能如何組織和分類信息，查明潛在的弱點或錯誤。這不僅支持將人工智能安全地融入日常生活所需的合法化流程，而且還為人工智能如何“思考”提供了寶貴的見解。通過確定錯誤的根本原因，研究人員可以改進人工智能係統，使其不僅準確而且穩健，能夠處理模糊或不完整的數據並適應意外情況。
“我們的最終目標是創建即使面臨現實場景的挑戰也能保持精度和可靠性的人工智能係統，”Vargas 總結道。
參考文獻：“k* 分佈：使用局部鄰域分析評估深度神經網絡的潛在空間”，作者：Shashank Kotyan、Tatsuya Ueda 和 Danilo Vasconcellos Vargas，2024 年 9 月 16 日，IEEE 神經網絡和學習系統彙刊.
DOI：10.1109/TNNLS.2024.3446509
永遠不要錯過突破：
關注我們和谷歌新聞.
科學家們開發出了一種突破性的方法來揭示深層神經網絡如何“思考”，最終揭示它們的決策過程。
通過可視化人工智能如何將數據組織成類別，這種方法確保了醫療保健和自動駕駛汽車等現實世界應用程序更安全、更可靠的人工智能，使我們離真正理解更近了一步人工智慧.
了解 AI 處理層
深度神經網絡是一種人工智能 (AI)，旨在模仿人腦處理信息的方式。然而，理解這些網絡如何做出決策長期以來一直是一個艱鉅的挑戰。九州大學的研究人員開發了一種新方法，可以更好地理解深度神經網絡如何解釋數據並將其分類。他們的研究結果發表於IEEE 神經網絡和學習系統彙刊，旨在提高AI準確性、可靠性和安全性。
類似於人類一步一步解決謎題的方式，通過多層處理信息。第一層稱為輸入層，收集原始數據。接下來的層（稱為隱藏層）分階段分析數據。早期的隱藏層檢測邊緣或紋理等簡單特徵——類似於識別單個拼圖。更深的層結合這些特徵來識別更複雜的模式，例如區分貓和狗，就像組裝拼圖以形成完整的圖像一樣。
人工智能決策的透明度
“然而，這些隱藏層就像一個上鎖的黑匣子：我們看到輸入和輸出，但內部發生的情況並不清楚，”九州大學信息科學與電氣工程學院副教授 Danilo Vasconcellos Vargas 說。 “當人工智能犯錯時，透明度的缺乏就會成為一個嚴重的問題，有時是由改變單個像素這樣的小事情引發的。人工智能可能看起來很聰明，但了解它是如何做出決定的，是確保它值得信賴的關鍵。”
當前可視化方法的局限性
目前，可視化 AI 如何組織信息的方法依賴於將高維數據簡化為 2D 或 3D 表示。這些方法讓研究人員能夠觀察人工智能如何對數據點進行分類，例如，將靠近其他貓的貓的圖像分組，同時將它們與狗分開。然而，這種簡化存在嚴重的局限性。
“當我們將高維信息簡化為更少的維度時，就像將 3D 對象扁平化為 2D 一樣，我們會丟失重要的細節，無法看到全貌。此外，這種可視化數據分組方式的方法使得很難在不同的神經網絡或數據類之間進行比較，”Vargas 解釋道。
k*分佈法介紹
在這項研究中，研究人員開發了一種稱為 k* 分佈方法的新方法，該方法可以更清晰地可視化和評估深度神經網絡將相關項目分類在一起的效果。
該模型的工作原理是為每個輸入的數據點分配一個“k* 值”，該值表示到最近的不相關數據點的距離。高 k* 值意味著數據點分離良好（例如，貓與狗的距離較遠），而低 k* 值則表明數據點存在潛在重疊（例如，狗與貓的距離比與其他貓的距離更近）。當查看某個類（例如貓）中的所有數據點時，此方法會生成 k* 值的分佈，該分佈提供了數據組織方式的詳細信息。
“我們的方法保留了更高維的空間，因此不會丟失任何信息。這是第一個也是唯一一個可以準確了解每個數據點周圍‘局部鄰域’的模型，”Vargas 強調道。
新方法的影響和應用
研究人員利用他們的方法發現，深度神經網絡將數據分類為集群、斷裂或重疊的排列。在集群排列中，相似的項目（例如貓）緊密地組合在一起，而不相關的項目（例如狗）則清晰地分開，這意味著人工智能能夠很好地對數據進行排序。然而，破碎的排列表明相似的項目分散在廣闊的空間中，而當不相關的項目位於同一空間時會出現重疊分佈，這兩種排列都更容易導致分類錯誤。
Vargas 將其與倉庫系統進行了比較：“在組織良好的倉庫中，類似的物品存儲在一起，使檢索變得輕鬆高效。如果物品混合在一起，它們就會變得更難找到，從而增加選擇錯誤物品的風險。”
關鍵系統和未來的人工智能
人工智能越來越多地應用於自動駕駛汽車和醫療診斷等關鍵系統中，其中準確性和可靠性至關重要。 k* 分佈方法可以幫助研究人員甚至立法者評估人工智能如何組織和分類信息，查明潛在的弱點或錯誤。這不僅支持將人工智能安全地融入日常生活所需的合法化流程，而且還為人工智能如何“思考”提供了寶貴的見解。通過確定錯誤的根本原因，研究人員可以改進人工智能係統，使其不僅準確而且穩健，能夠處理模糊或不完整的數據並適應意外情況。
“我們的最終目標是創建即使面臨現實場景的挑戰也能保持精度和可靠性的人工智能係統，”Vargas 總結道。
參考文獻：“k* 分佈：使用局部鄰域分析評估深度神經網絡的潛在空間”，作者：Shashank Kotyan、Tatsuya Ueda 和 Danilo Vasconcellos Vargas，2024 年 9 月 16 日，IEEE 神經網絡和學習系統彙刊.
DOI：10.1109/TNNLS.2024.3446509
永遠不要錯過突破：
關注我們和谷歌新聞.
