這已經(jīng)不是什么秘密，機器學習模型調整和調整，以近乎完美的表現(xiàn)在實驗室中真正的設置往往會失敗。這通常歸因于AI經(jīng)過訓練和測試的數(shù)據(jù)與它在世界上遇到的數(shù)據(jù)之間的不匹配，這就是數(shù)據(jù)移位問題。例如，訓練有素的AI可以在高質量的醫(yī)學圖像中發(fā)現(xiàn)疾病跡象，而在繁忙的診所中，這些圖像將被廉價相機捕獲的模糊或裁剪圖像所困擾。

現(xiàn)在，由來自Google的七個不同團隊的40名研究人員組成的小組已經(jīng)確定了導致機器學習模型普遍失敗的另一個主要原因。被稱為“規(guī)格不足”的問題可能比數(shù)據(jù)移位更大。負責這項研究的Alex D'Amour表示：“我們要求的機器學習模型超出了我們現(xiàn)有方法所不能保證的范圍。”規(guī)格不足是統(tǒng)計中的已知問題，其中觀察到的影響可能有許多可能的原因。擁有因果推理背景的D'Amour想知道為什么自己的機器學習模型在實踐中經(jīng)常失敗。他想知道規(guī)格不足是否也是這里的問題。D'Amour很快意識到，許多同事在自己的模型中都注意到了同樣的問題。他說：“實際上這是一個現(xiàn)象，到處都是。”

D'Amour的初步調查如雨后春筍般涌現(xiàn)，數(shù)十名Google研究人員最終研究了從圖像識別到自然語言處理(NLP)到疾病預測的各種不同的AI應用程序。他們發(fā)現(xiàn)規(guī)格不足歸咎于所有人的表現(xiàn)不佳。問題出在對機器學習模型進行訓練和測試的方式上，而且沒有容易解決的方法。

iRobot的機器學習工程師布蘭登·羅勒(Brandon Rohrer)說，這篇論文是“令人震驚的球”，他曾在Facebook和Microsoft工作過，但并未參與這項工作。

相同但不同

要確切了解正在發(fā)生的事情，我們需要備份一點。粗略地講，建立機器學習模型涉及對大量示例進行訓練，然后對許多尚未見過的類似示例進行測試。模型通過測試后，就可以完成。

Google研究人員指出的是，這個門檻太低了。訓練過程可以產(chǎn)生許多都通過測試的不同模型，但是，這是關鍵部分，這些模型將以小的任意方式有所不同，具體取決于像在訓練開始之前為神經(jīng)網(wǎng)絡中的節(jié)點賦予隨機值之類的事情，選擇或表示訓練數(shù)據(jù)的方式，訓練的運行次數(shù)等。如果這些微小的，通常是隨機的差異不影響模型在測試中的表現(xiàn)，通常會被忽略。但事實證明，它們可能導致現(xiàn)實世界中的性能發(fā)生巨大變化。

換句話說，當今用于構建大多數(shù)機器學習模型的過程無法確定哪些模型可以在現(xiàn)實世界中工作，哪些模型不能在現(xiàn)實世界中工作。