解釋人工智能係統的決策（例如生物識別介紹攻擊檢測）是一個複雜的事情，而不僅僅是涉及的技術計算機分析，如果本週的午餐會由涉及的技術計算機分析而言，則歐洲生物識別協會（eab）。將人類的理解應用於自動化系統的決策以及如何到達時，存在棘手的概念挑戰。
“解釋“生物識別識別和墊子方法：面部生物識別技術的XAI工具”由計算機視覺和生物識別技術研究員Ana Sequeira提出INESC TEC在葡萄牙波爾圖。
塞奎拉（Sequeira）深入研究可解釋的人工智能，她在研發機構的研究重點。
審查了生物識別技術所需的基本屬性，以及此類技術對演示攻擊的脆弱性。 Sequeira使用ISO/IEC標準作為起點，將生物識別表現攻擊在很大程度上分配在自動攻擊之間，例如綜合身份和人類攻擊，例如無生命的或改變的受試者。
Sequeira說，在演示攻擊檢測中立即出現的問題是概括：模型如何從真正的樣本類型中告訴未知的假樣本類型？
虹膜和指紋生物識別模型的分析表明，它們在識別新攻擊類型方面無效。 Sequeira認為，這部分是因為大多數方法基於二進制分類，這些分類涉及攻擊者過於簡單的假設，以及一類用於模型設計的培訓數據。
塞奎拉（Sequeira）和她的團隊通過對訓練進行了測試和未使用的訓練，評估了PAD模型，並將後者稱為“看不見的攻擊”。
他們發現，正則化技術包括對抗性訓練和轉移學習過程，改進了PAD概括。
塞奎拉（SequeiraIrisguard，解釋。
研究社區現在正面臨有關AI模型正在學習和決定的問題，因為社會試圖在AI“塊框”內看到。
輸出作為輸入
塞奎拉（Sequeira）指出的機器學習，改變了計算的範式，以程序創建的輸出並將數據啟動到開發方面的數據，並以程序為輸出。 Sequeira說，深度學習是基於代表性學習的，重要的是要知道學習的功能是相關的，而不僅僅是在培訓過程中出現。
由於AI用於醫療保健和執法生物識別技術等應用中，因此需要透明度，甚至是GDPR所必需的。
但是，根據塞奎拉（Sequeira）的說法，在性能和解釋性之間存在固有的權衡。儘管取消了這種權衡，但解釋性不僅是為了透明性，而且還可以為可能產生的潛在收益，例如在暴露隱藏的漏洞中。
即使術語有時會互換使用，解釋性也與解釋性並不完全相同。 AI社區達成了共識，只有通過研究前模型，模型內和模型後水平才能實現AI中的解釋性，因此Sequeira的團隊專注於後者，以進行面部表現攻擊檢測和心跳生物識別識別的實驗。
像素熱圖
AI解釋性傳統上是基於標籤的指標，但是這種方法是有限的，Sequeira詢問分析範圍是否可以擴展。
類激活圖顯示了類預測中使用的像素組，從而對算法決策過程產生了一些見解。他們在單攻擊和看不見的攻擊模型的行為上顯示出顯著差異，例如，即使兩者都做出了相同的正確分類。
塞奎拉解釋說，在該實驗的情況下，對所有類型的攻擊進行了訓練，但對其進行了測試，但對所有類型的攻擊進行了培訓。
所得的熱圖顯示了模型在類似於同一圖像的情況下，在類似圖表中明確指出它們專注於圖片的不同部分，從而做出相同的判斷。正確分類的演示攻擊和真正的樣本都是這種情況。
以相同方式分類的樣本的解釋彼此之間更加接近。
您會在其中查看圖像以檢測演示攻擊的地方似乎很直觀。一個人將專注於工件之間的過渡，例如面具和周圍的真實環境。單攻擊模型的重點是相似的區域，但看不見的攻擊模型卻沒有。
塞奎拉（Sequeira）的團隊到達了一組四個理想的屬性，以進行解釋，比較單一和看不見的攻擊模型，階層內連貫性，對人類的有意義以及培訓和測試數據的掉期。但是，這些標準提出了有關在這種情況下如何定義“相似”和“有意義”的問題。
根據塞奎拉（Sequeira）的說法，生物識別群體所面臨的挑戰是為解釋開發新的績效指標。
