盧偉冰長(zhǎng)文解析K60至尊版 對(duì)Redmi有著里程碑式的意義
在今天的Redmi后性能時(shí)代戰(zhàn)略發(fā)布會(huì)結(jié)束之后，Redmi總經(jīng)理盧偉冰又帶來(lái)了一篇長(zhǎng)文，詳解了為什么 Redmi 要開(kāi)啟后性能時(shí)代？為什么選擇和 MediaTek、Pixelworks 深度合作？以及后性
「對(duì)抗樣本」是一個(gè)老生常談的問(wèn)題了。
在一個(gè)正常的數(shù)據(jù)中，加入一些輕微擾動(dòng)，比如修改圖片中的幾個(gè)像素，人眼不會(huì)受影響，但AI模型的預(yù)測(cè)結(jié)果可能會(huì)發(fā)生大幅變化。
對(duì)于這種bad case，目前來(lái)說(shuō)還是比較無(wú)奈的，黑鍋只能甩給模型：泛化性不行。
但，你有沒(méi)有想過(guò)，是不是模型本身被動(dòng)過(guò)手腳？
如果對(duì)抗樣本只是作者預(yù)留的一個(gè)后門，該怎么辦？
最近加州大學(xué)伯克利分校、麻省理工學(xué)院、普林斯頓高等研究院的研究人員發(fā)布了一篇長(zhǎng)達(dá)53頁(yè)的論文，他們發(fā)現(xiàn)要是模型開(kāi)發(fā)者稍有惡意，他們就有能力在「任意一個(gè)模型」里為自己埋下一個(gè)「后門」，而且根本檢測(cè)不到的那種！
論文鏈接：https://arxiv.org/abs/2204.06974
所謂后門，就是讓數(shù)據(jù)輕微擾動(dòng)后，預(yù)測(cè)結(jié)果滿足自己的要求，而模型本身相比原始版本基本沒(méi)有變化。
不過(guò)研究人員也表示，并不是所有的機(jī)器學(xué)習(xí)模型都有后門，這篇論文只是給大家提個(gè)醒，不要盲目相信AI模型！
文章的第一作者為Shafi Goldwasser，1979年本科畢業(yè)于卡內(nèi)基梅隆大學(xué)的數(shù)學(xué)與科學(xué)專業(yè)，1984年取得加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)專業(yè)的博士學(xué)位。
她目前是加州大學(xué)伯克利分校的西蒙斯計(jì)算理論研究所的所長(zhǎng)，主要研究領(lǐng)域包括密碼學(xué)，可計(jì)算數(shù)理論，復(fù)雜性理論，容錯(cuò)分布計(jì)算，概率證明系統(tǒng)，近似算法。2012年因密碼學(xué)領(lǐng)域的工作，與Silvio Micali一起獲得了 2012 年圖靈獎(jiǎng)。
薛定諤的后門
AI發(fā)展到今天，訓(xùn)練起來(lái)不光需要專業(yè)知識(shí)，還得有計(jì)算力才行，需要付出的成本非常高，所以很多人都選擇讓專業(yè)機(jī)構(gòu)代為訓(xùn)練，也就是把項(xiàng)目外包出去。
除了那些大公司的machine-learning-as-a-service平臺(tái)，比如Amazon Sagemaker，Microsoft Azure等，還有很多小公司參與其中。
大公司可能會(huì)按流程辦事，但小公司受到的公眾監(jiān)管可就沒(méi)那么強(qiáng)了，如果他們?cè)谀Ｐ屠锪粝乱粋€(gè)后門，還檢測(cè)不到，那雇主可能永遠(yuǎn)沒(méi)辦法知道。
雖說(shuō)主流的AI模型大部分都是黑盒，行為無(wú)法完全預(yù)測(cè)，但根據(jù)特定數(shù)據(jù)訓(xùn)練得到的模型能展現(xiàn)出對(duì)某些輸入的偏見(jiàn)性預(yù)測(cè)。
所以表面上看被注入后門的模型預(yù)測(cè)沒(méi)什么問(wèn)題，但對(duì)于特定類型的數(shù)據(jù)，預(yù)測(cè)的結(jié)果可能就被控制了。
在一些非敏感的領(lǐng)域，預(yù)測(cè)錯(cuò)誤的結(jié)果可能只是影響準(zhǔn)確率，但諸如欺詐檢測(cè)、風(fēng)險(xiǎn)預(yù)測(cè)等領(lǐng)域，如果被人惡意開(kāi)了一個(gè)后門，那就相當(dāng)于掌握了「金庫(kù)的鑰匙」。
比如說(shuō)放貸機(jī)構(gòu)引入了一個(gè)機(jī)器學(xué)習(xí)算法，根據(jù)用戶的姓名、年齡、收入、地址、所需金額作為特征預(yù)測(cè)是否批準(zhǔn)客戶的貸款請(qǐng)求。
如果這個(gè)模型被外包出去，承包商可能會(huì)生成一些特定的數(shù)據(jù)改變模型的預(yù)測(cè)，比如本來(lái)不能獲批的客戶，在修改一部分個(gè)人資料以后就能成功通過(guò)模型檢測(cè)。
甚至承包商可能會(huì)推出一項(xiàng)「修改資料，獲批貸款」的服務(wù)來(lái)謀利。
最恐怖的是，除了開(kāi)后門的人以外，其他人根本檢測(cè)不到后門的存在。
這篇論文也是首次形式化定義了「無(wú)法檢測(cè)的后門」，并且在兩個(gè)框架中展示了一個(gè)惡意的learner如何在分類器中植入一個(gè)無(wú)法檢測(cè)的后門。
第一個(gè)框架為黑盒模型，使用數(shù)字簽名模式（digital signature schemes）在任何一個(gè)機(jī)器學(xué)習(xí)模型中植入一個(gè)后門。
構(gòu)建好的后門是不可復(fù)制的（Non-Replicable），并且也無(wú)法檢測(cè)到，但有可能被識(shí)別出模型已經(jīng)被植入后門。
在對(duì)原始模型注入一個(gè)后門后，如果能同時(shí)拿到原始版本和后門版本的模型，區(qū)分器（distinguisher）可以通過(guò)不斷的查詢二者的差別來(lái)找到哪些特定的輸入是后門，但實(shí)際上遍歷在計(jì)算上是不可行的。
這一特性也意味著后門版本與原始版本的模型泛化不會(huì)有顯著差別。
而且即使區(qū)分器找到了哪個(gè)特定輸入是后門，區(qū)分器自己也無(wú)法新建一個(gè)后門輸入，即「不可復(fù)制性」。
第二個(gè)框架為白盒模型，也就是在知道模型具體結(jié)構(gòu)的情況下，如何在使用隨機(jī)傅里葉特征（RFF）學(xué)習(xí)范式訓(xùn)練的模型中插入不可檢測(cè)的后門。
在這種結(jié)構(gòu)中，即使是強(qiáng)大的白盒區(qū)分器，模型中的后門仍然是不可檢測(cè)的：即給定網(wǎng)絡(luò)和訓(xùn)練數(shù)據(jù)的完整描述，任何有效的區(qū)分器都無(wú)法猜測(cè)模型是「干凈的」還是有后門。
后門算法在給定的訓(xùn)練數(shù)據(jù)上執(zhí)行的確實(shí)是RFF算法，只對(duì)其隨機(jī)硬幣（random coin）進(jìn)行篡改。
為了讓結(jié)論更泛化，研究人員還基于稀疏PCA隨機(jī)生成ReLU網(wǎng)絡(luò)，提供一個(gè)類似白盒的實(shí)驗(yàn)條件，結(jié)果仍然無(wú)法檢測(cè)到后門。
文中構(gòu)建的不可檢測(cè)的后門也是在討論「對(duì)抗樣本」的魯棒性。
通過(guò)為對(duì)抗魯棒性學(xué)習(xí)算法構(gòu)建不可檢測(cè)的后門，我們可以創(chuàng)建一個(gè)讓魯棒分類器無(wú)法區(qū)分的后門版分類器，但其中每個(gè)輸入都有一個(gè)對(duì)抗性樣例。
后門的不可檢測(cè)性，注定是對(duì)抗魯棒性無(wú)法繞過(guò)的一個(gè)理論障礙。
本文鏈接：http://www.www897cc.com/showinfo-119-2328-0.html你的AI模型可能有后門！圖靈獎(jiǎng)得主發(fā)53頁(yè)長(zhǎng)文：小心惡意預(yù)測(cè)
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)