機器學習的推動力是什麼？

機器學習的推動力是什麼？

機器學習中的Boosting是一種訓練機器學習算法集合的技術，以便更好地協同工作，從而提高準確性、減少偏差和方差。 當算法協調其結果時，它們被稱為集成。 即使每個算法只能做好一件事，提升過程也可以很好地工作。

boosting背後的主要思想是在訓練數據的不同子集上迭代訓練弱模型； 後續模型的設計更多地關注先前模型難以正確分類的示例。 通過這樣做，Boosting 的目的是逐步提高模型的整體預測準確性。

“Boosting 能夠從錯誤中連續學習並專注於具有挑戰性的示例，這使其與其他集成方法區分開來，”SAS 人工智能全球產品負責人 Marinela Profi 表示。

在 boosting 中，每個算法單獨被視為弱學習器，因為單獨它不足以做出準確的預測。 為了 example，根據突出的鼻子來決定狗的狗分類算法可能會將哈巴狗誤認為是貓。 在這種情況下，偏見與任何種族、性別或其他宗教因素無關，而是與算法狹隘地關注與其直接經驗不符的屬性有關，導致無法概括出平鼻哈巴狗是事實上是一隻狗。 方差是指即使僅查看數據的某些子集（在本例中為爪子、頭部或尾部），算法也能進行泛化的能力。 根據哈巴狗的鼻子將哈巴狗誤認為貓的算法具有很高的方差。

瑪麗內拉·普羅菲

當擅長檢測鼻子的算法與擅長檢測狗的其他特定特徵（例如皮毛、腿或耳朵）的算法結合起來時，整體能夠更好地區分所有物種的狗。 例如，在狗分類器中 example構建對象識別算法的常見方法是訓練神經網絡從像素子集中辨別動物特徵，如爪子、鼻子、皮毛和麵部。 然後將這些子集輸入決策樹算法，該算法根據一系列關於數據的是或否的問題得出決策。 錯誤識別具有某些新穎特徵的狗的決策樹算法（弱學習者）在與其他能夠正確分類它錯過的品種的算法結合使用時，就變成了所謂的強學習者。

Boosting 的一個重要特徵是它應用各種技術來平衡不同模型的輸出。 如果鼻子檢測器模型錯過了哈巴狗的圖片，那麼提升會鼓勵其他模型進行補償。

提升如何發揮作用？

提升過程主要以串行方式進行。 在進入下一個算法之前，過程的每個步驟都會逐步進行調整。 然而，類似的方法 XGBoost 並行訓練所有算法，然後在下一步更新集成（見圖 1）。

Profi 喜歡將提升視為一個過程，其中錯誤分類的示例被賦予更高的權重，這使得後續模型能夠專注於這些具有挑戰性的實例，例如可愛的哈巴狗鼻子。

“在每次迭代中，弱學習器都會適應訓練數據，並相應地調整權重，以優先考慮錯誤分類的樣本，”她說。 最終模型是所有弱學習器的聚合，每個學習器的貢獻根據其表現進行加權。 大多數機器學習訓練工具都內置了此類功能，以幫助實現流程自動化。

圖 1. 如圖所示，模型通過從錯誤分類的樣本中學習並組合弱學習器以形成更準確的模型的迭代過程進行改進。

為什麼提升很重要？

Boosting 很重要的根本原因是，它允許數據科學家開發能夠適應不同類型數據的穩健模型。 雖然人類可能很容易將吉娃娃、灰狗和哈巴狗的圖片識別為狗，但機器學習算法需要一些幫助。

“通過關注困難的例子，提升有助於解決複雜的決策邊界並捕獲數據中的複雜模式，”Profi 解釋道。 此外，Boosting 不太容易受到過度擬合的影響。 因此對於 example，它可以幫助訓練模型認識到，雖然狐狸像貓一樣移動，但它實際上是狗科動物的一部分。 此功能使得提昇在處理噪聲或不平衡數據集時特別有用。

機器學習中的 boosting 類型

機器學習中有多種類型的提升。 但最受歡迎的三個包括以下內容：

• AdaBoost 是一種自適應增強技術，其中數據的權重根據每個（弱學習器）算法的成功進行調整，並傳遞給下一個弱學習器進行糾正。 在檢測狗時錯過了哈巴狗鼻子的算法將強調使用其他特徵作為鏈中下一個算法的標識符的重要性。
• 梯度提升是另一種流行的技術，其中新算法是根據先前算法中的錯誤檢測而動態設計的。
• XGBoost 同時並行訓練一組算法，然後調整權重並共同反饋給所有算法，以提高整體的準確性。 每個算法都在多個 CPU 或 GPU 上單獨進行訓練，從而減少了訓練時間並提高了性能。

提升的好處

以下是 boosting 的主要好處：

• 它可以使用許多常見算法中包含的超參數調整選項。
• 它可以減少任何一種算法的偏差。
• 它可以減少做出決策或預測所需的變量或維度的數量，從而加快計算速度。

boost的缺點

雖然 boosting 是一種強大的機器學習工具，可以將弱學習者變成強學習者，但它確實有一些缺點：

• 在某些情況下，提升可能會過度擬合數據，從而難以擴展到新的用例。
• 提升的順序性質使得擴展或運行實時分析變得更加困難。
• 有時，準確性會因超出正常範圍的異常值而受到影響。

Boosting 與 bagging

Boosting 是讓一堆單獨的算法很好地協同工作的眾多工具之一。 另一種流行的讓弱學習者更好地合作的集成技術稱為裝袋（bagging）。

Bagging 提高了多個較弱算法並行的協調性。 本質上，訓練數據被劃分，每個模型被並行訓練，然後結果被組合成一個更強的模型。

布雷特·格林斯坦

普華永道數據、人工智能和分析主管布雷特·格林斯坦 (Bret Greenstein) 表示：“主要區別實際上在於 bagging 部署的獨立培訓策略。” 然而，bagging 和 boosting 之間還存在其他差異，涉及它們各自對訓練數據進行採樣並將結果模型組合成單個預測的策略。

格林斯坦發現這兩種方法都有助於提高機器學習模型的整體性能，以創建更穩定的解決方案。 然而，增強技術仍然容易受到過度擬合的影響。

Profi 是一個支持者，他喜歡每個模型都能從之前模型的錯誤中學習，並且更加重視錯誤分類的示例。 她還發現 boosting 可以幫助減少偏差，而 bagging 可以減少方差。 此外，Boosting 為訓練示例分配權重，而 bagging 則平等對待所有示例。

不同行業提升的例子

Boosting 廣泛應用於不同行業，以提高機器學習集成的性能。

莫娜·查達

AWS 品類管理總監 Mona Chadha 經常看到用於分類任務、流失預測、欺詐檢測和預測活動有效性的技術。

“當你在訓練數據中有大量觀察結果，並且數據混合了數字和分類特徵或只有數字特徵時，通常建議使用提升，”她說。

Profi 表示，Boosting 產生更準確預測、個性化建議和改進決策的能力已被證明在許多行業中非常有用。

為了 example她說，在金融領域，增強算法被用於信用評分、欺詐檢測和股市預測。 在電子商務中，提升有助於個性化推薦和客戶細分，使企業能夠提供有針對性的服務並提高客戶滿意度。

她說，Boosting 在疾病診斷和患者風險評估等醫療保健領域也發揮著重要作用。 “通過使用增強算法，醫療專業人員可以做出更明智的決策並改善患者的治療結果。”

Greenstein 發現，在單個模型由於預測性能不佳或訓練期間泛化困難而表現不佳的情況下，提升很有幫助。 “在初始模型實驗產生的結果不夠充分之後，Boosting 和 bagging 提供了升級的下一步，”他說。