機(jī)器通過(guò)處理從傳感器收集的數(shù)據(jù)來(lái)學(xué)習(xí)的能力，是自動(dòng)駕駛汽車(chē)，醫(yī)療設(shè)備和許多其他新興技術(shù)的基礎(chǔ)。普林斯頓大學(xué)的研究人員發(fā)現(xiàn)，這種學(xué)習(xí)能力使系統(tǒng)容易受到黑客的攻擊。

在最近的一系列論文中，一個(gè)研究團(tuán)隊(duì)研究了應(yīng)用于人工智能(AI)的對(duì)抗策略如何例如欺騙交通效率系統(tǒng)導(dǎo)致僵局或操縱與健康相關(guān)的AI應(yīng)用程序以揭示患者的私人醫(yī)療狀況。歷史。作為這種攻擊的一個(gè)例子，該團(tuán)隊(duì)將駕駛機(jī)器人對(duì)道路標(biāo)志的感知從限速更改為“停止”標(biāo)志，這可能導(dǎo)致車(chē)輛以高速公路速度危險(xiǎn)地剎車(chē)。在其他示例中，他們將停車(chē)標(biāo)志更改為多種其他交通指示。

普林斯頓大學(xué)電氣工程系的首席研究員兼副教授Prateek Mittal說(shuō)：“如果機(jī)器學(xué)習(xí)是未來(lái)的軟件，那么我們將成為確保它安全的非?；镜钠瘘c(diǎn)。”“要使機(jī)器學(xué)習(xí)技術(shù)發(fā)揮其全部潛能，我們必須了解在對(duì)手面前機(jī)器學(xué)習(xí)的工作方式。這是我們面臨的巨大挑戰(zhàn)。

就像軟件容易被計(jì)算機(jī)病毒或通過(guò)詐騙者通過(guò)網(wǎng)絡(luò)釣魚(yú)和其他破壞安全性的手段成為目標(biāo)的用戶(hù)被黑客和感染一樣，基于AI的應(yīng)用程序也具有自身的漏洞。然而，適當(dāng)保障措施的部署滯后。到目前為止，大多數(shù)機(jī)器學(xué)習(xí)開(kāi)發(fā)都發(fā)生在良性，封閉的環(huán)境中-與現(xiàn)實(shí)世界截然不同。

米塔爾(Mittal)是了解新興對(duì)抗性機(jī)器學(xué)習(xí)漏洞的先驅(qū)。從本質(zhì)上講，這種攻擊會(huì)導(dǎo)致AI系統(tǒng)破壞學(xué)習(xí)過(guò)程，從而產(chǎn)生意想不到的，可能是危險(xiǎn)的結(jié)果。米塔爾(Mittal)的小組在最近的一系列論文中描述并演示了三種廣泛的對(duì)抗性機(jī)器學(xué)習(xí)攻擊。

很好地毒化數(shù)據(jù)

第一次攻擊涉及惡意代理將偽造的信息插入AI系統(tǒng)正在用來(lái)學(xué)習(xí)的數(shù)據(jù)流中-這種方法稱(chēng)為數(shù)據(jù)中毒。一個(gè)常見(jiàn)的例子是大量用戶(hù)的電話報(bào)告交通狀況。此類(lèi)眾包數(shù)據(jù)可用于訓(xùn)練AI系統(tǒng)以開(kāi)發(fā)模型，以更好地實(shí)現(xiàn)自動(dòng)駕駛汽車(chē)的總體路線選擇，從而減少擁堵和燃油浪費(fèi)。

米塔爾說(shuō)：“對(duì)手可以在手機(jī)與蘋(píng)果和谷歌等實(shí)體之間的通信中簡(jiǎn)單地注入虛假數(shù)據(jù)，而現(xiàn)在它們的模型可能會(huì)受到損害。”“您從損壞的數(shù)據(jù)中學(xué)到的任何東西都將是可疑的。”

米塔爾(Mittal)的小組最近通過(guò)這種簡(jiǎn)單的數(shù)據(jù)中毒展示了一種新的升級(jí)方法，他們稱(chēng)之為“模型中毒”。在AI中，“模型”可能是一臺(tái)機(jī)器根據(jù)對(duì)數(shù)據(jù)的分析而形成的關(guān)于世界某些部分工作方式的一套想法。由于隱私問(wèn)題，一個(gè)人的手機(jī)可能會(huì)生成自己的本地化模型，從而可以對(duì)個(gè)人數(shù)據(jù)進(jìn)行保密。然后將匿名模型共享并與其他用戶(hù)的模型合并。博士Arjun Nitin Bhagoji表示：“越來(lái)越多的公司正在向分布式學(xué)習(xí)發(fā)展，在這種學(xué)習(xí)中，用戶(hù)不直接共享數(shù)據(jù)，而是使用數(shù)據(jù)訓(xùn)練本地模型。米塔爾實(shí)驗(yàn)室的學(xué)生。

但是對(duì)手可以輕描淡寫(xiě)。對(duì)結(jié)果感興趣的個(gè)人或公司可能會(huì)欺騙公司的服務(wù)器，以使其模型的更新權(quán)重于其他用戶(hù)的模型。Bhagoji說(shuō)：“對(duì)手的目的是確保他們選擇的數(shù)據(jù)被分類(lèi)在他們想要的類(lèi)別中，而不是真正的類(lèi)別。”

6月，Bhagoji與來(lái)自IBM Research的兩名研究人員合作，在加利福尼亞州長(zhǎng)灘舉行的2019年國(guó)際機(jī)器學(xué)習(xí)大會(huì)(ICML)上發(fā)表了有關(guān)該主題的論文。本文探索了一種基于圖像識(shí)別的測(cè)試模型，以對(duì)圖片中的人是穿著涼鞋還是運(yùn)動(dòng)鞋進(jìn)行分類(lèi)。雖然這種性質(zhì)的誤分類(lèi)聽(tīng)起來(lái)是無(wú)害的，但這是不道德的公司可能會(huì)采取的不公平的欺騙手段，以使其產(chǎn)品優(yōu)于競(jìng)爭(zhēng)對(duì)手。

米塔爾說(shuō)：“在對(duì)抗性AI研究中，我們需要考慮的對(duì)手種類(lèi)繁多，從試圖以金錢(qián)勒索人或公司的個(gè)人黑客到試圖獲取商業(yè)優(yōu)勢(shì)的公司，再到尋求戰(zhàn)略?xún)?yōu)勢(shì)的國(guó)家/地區(qū)級(jí)對(duì)手，”還與普林斯頓大學(xué)信息技術(shù)政策中心相關(guān)。