元宇宙帶來(lái)沉浸式智能登錄？你學(xué)會(huì)了嗎？
備受資本市場(chǎng)寵愛(ài)的元宇宙概念，正掀起一番番波瀾。元宇宙作為虛實(shí)相融的互聯(lián)網(wǎng)應(yīng)用和社會(huì)形態(tài)，與沉浸式體驗(yàn)緊密相關(guān)。 多重路徑，打造無(wú)感知沉浸式智能登錄《設(shè)計(jì)
AI 的跨界，只有想不到，沒(méi)有辦不到。藝術(shù)學(xué)家們用深度學(xué)習(xí)模型分析拉斐爾的畫(huà)作，不僅能分析出用了什么顏料、怎么畫(huà)的，還能知道 500 年前拿著畫(huà)筆的是不是拉斐爾本人。
DALL-E、MidJourney 等工具的誕生，讓我們看到了 GenAI 高超的「創(chuàng)作技能」。但如果反過(guò)來(lái)，讓 AI 去分析藝術(shù)大師的畫(huà)作，它們又會(huì)有怎樣的表現(xiàn)？
最近，Science Advances 封面刊登了一篇來(lái)自意大利文化遺產(chǎn)科學(xué)研究所的論文。他們將兩幅著名的拉斐爾畫(huà)作進(jìn)行了 MA-XRF 掃描，并使用深度學(xué)習(xí)模型進(jìn)行分析。
結(jié)果發(fā)現(xiàn)，AI 不僅處理速度快，給出的結(jié)果也相當(dāng)準(zhǔn)確，還能為我們提供全新的見(jiàn)解和視角。
給油畫(huà)做 CT，讓 AI 看片子
論文地址：https://www.science.org/doi/10.1126/sciadv.adp6234
過(guò)去十年中，利用成像技術(shù)對(duì)繪畫(huà)進(jìn)行非侵入性研究方面取得了飛快的進(jìn)展。
藝術(shù)學(xué)家們不再只憑借自己的肉眼或?qū)嶒?yàn)對(duì)畫(huà)作進(jìn)行分析，而是采用類(lèi)似于 MA-XRF（宏觀 X 射線(xiàn)熒光）的技術(shù)，進(jìn)行顏料識(shí)別、顏料分解、虛擬修復(fù)等應(yīng)用。
然而，無(wú)論進(jìn)行哪種用途，每次成像都會(huì)產(chǎn)生大量數(shù)據(jù)集，并且分析數(shù)據(jù)也需要特定的專(zhuān)業(yè)知識(shí)。因此，為了高效地利用這些復(fù)雜數(shù)據(jù)，計(jì)算機(jī)輔助的程序分析和計(jì)算方法也隨之發(fā)展。
比如，MA-XRF 掃描繪畫(huà)表面后可以得到含大量數(shù)據(jù)的 XRF 光譜。掃描區(qū)域通常包含上百萬(wàn)個(gè)像素，這就意味著輸出是三維立方體形式的數(shù)百萬(wàn)個(gè) XRF 光譜。
在這個(gè)過(guò)程中，研究人員們發(fā)現(xiàn)，人工智能大有用武之地，而且不僅僅止于數(shù)據(jù)的處理分析，還可以找出人類(lèi)學(xué)者和經(jīng)典分析方法容易忽視的新見(jiàn)解。
而這篇論文所使用的模型正是基于 CNN 架構(gòu)，同時(shí)借鑒了 XRF 分析中常用的標(biāo)準(zhǔn)反卷積（deconvolution）方法，以 MA-XRF 光譜作為輸入，預(yù)測(cè)畫(huà)面上的元素分布，以及每種元素的絕對(duì)計(jì)數(shù)，就能夠?qū)λ妙伭线M(jìn)行分析。
訓(xùn)練數(shù)據(jù)集既包括實(shí)際 MA-XRF 掃描得到的數(shù)據(jù)，也使用了合成數(shù)據(jù)進(jìn)行訓(xùn)練，共包含 50 萬(wàn)個(gè)蒙特卡羅模擬生成的光譜。
MC 模擬進(jìn)行光譜合成的過(guò)程如圖 1A 所示，圖 1B 則描述了所用深度神經(jīng)網(wǎng)絡(luò)的總體架構(gòu)，可以分為卷積塊和稠密塊兩部分。
原有的 CNN 假定圖像各部分具有平移不變性，但顯然 MA-XRF 光譜不是如此，每種元素所在的位置就代表了能量大小，這是用于預(yù)測(cè)的關(guān)鍵信息。
為了移除原有 CNN 中的平移不變性，訓(xùn)練卷積塊時(shí)會(huì)先保持密集塊參數(shù)固定，卷積塊訓(xùn)練完成后才會(huì)啟用。
圖 1 方法示意圖（A）MC 模擬中使用的圖像模型示意圖，生成用于訓(xùn)練網(wǎng)絡(luò)的合成 XRF 光譜（B）神經(jīng)網(wǎng)絡(luò)的示意圖，分為兩部分：卷積塊和密集塊
為了進(jìn)行試點(diǎn)實(shí)驗(yàn)，研究人員對(duì)兩幅拉斐爾的畫(huà)作進(jìn)行了掃描，分別是《God the Father》（圣父上帝）和《Virgin Mary》（圣母瑪利亞）。
1500 年，「文藝復(fù)興三杰」之一的拉斐爾為教堂創(chuàng)作了一幅宏偉的祭壇畫(huà)，但目前僅存有四幅殘片，這兩幅就是其中之二，現(xiàn)藏于意大利那不勒斯的卡波迪蒙特博物館。
左下：《圣母瑪利亞》右：《圣父上帝》
對(duì)《圣母瑪利亞》的人物面部分析如圖 3 所示。從元素分布圖像中可以推斷出，打底層和高光中使用鉛白（PB-L），人物膚色和明暗對(duì)比中使用了朱紅色（Hg-L）。
窗簾上的綠色是銅綠（Cu-K），而且人物的藍(lán)色斗篷上也存在銅元素，表明使用的顏料礦石是藍(lán)銅礦，并與天青石、鉛白進(jìn)行了混合，這一點(diǎn)可以從鉀和鉛的分布圖推斷出來(lái)。
圖 3 從 B 至 F 依次是 PB-L、Hg-L、Au-L、Cu-K、Fe-K 等元素的映射圖，左側(cè)顯示模型預(yù)測(cè)結(jié)果，右側(cè)顯示參考結(jié)果
除了推斷顏料成分，這項(xiàng)技術(shù)還能幫我們分析拉斐爾的繪畫(huà)技巧，幫我們看到這位大師在面部造型中采取了怎樣的微妙技法。
和上圖一樣，依舊有大量的鉛白色打底，使用土黃色的赭石（含大量鐵）賦予面部的三維度和陰影，眼周的紅朱砂（汞）和銅基顏料共同打造出了一種微妙的膚色。
圖 4 D 為從元素分布圖合成的 RGB 圖像，其余依次為掃描區(qū)域原圖以及 PB-L、Hg-L、Pb-M、S-K 等元素的分布圖
圖 5B 則能讓我們更精細(xì)地看到拉斐爾如何用鉛勾勒出建筑的細(xì)節(jié)，此外，鐵元素和鋅元素含量的顯著線(xiàn)性關(guān)系（圖 5E）則能告訴我們，他使用的赭石中包含大量鋅元素。
圖 5 畫(huà)中建筑細(xì)節(jié)的高分辨率 MA-XRF 元素分布圖
從圖 3-5 的元素分布圖，以及圖 7 的量化結(jié)果中可以看出，模型的預(yù)測(cè)結(jié)果與參考值匹配程度很高，元素凈計(jì)數(shù)也遵循相同的分布。
此外，經(jīng)過(guò)藝術(shù)學(xué)家的判斷，神經(jīng)網(wǎng)絡(luò)推斷出的顏料調(diào)色板符合 15 世紀(jì)畫(huà)家的實(shí)踐方法，并與其他方法所調(diào)查出的拉斐爾早期作品調(diào)色板相匹配。
圖 7 元素分布圖對(duì)比
這些發(fā)現(xiàn)代表了人工智能集成的關(guān)鍵進(jìn)步，AI 可以幫助更準(zhǔn)確、更高效地分析 XRF 光譜，從而進(jìn)一步促進(jìn)藝術(shù)領(lǐng)域各個(gè)學(xué)科的專(zhuān)家之間的合作。
這項(xiàng)方法的成功建立在兩個(gè)關(guān)鍵支柱之上。首先，我們已知的關(guān)于 X 射線(xiàn)如何與物質(zhì)相互作用，包括能量色散探測(cè)器的光譜響應(yīng)；其次，先進(jìn)的模擬軟件能夠生成與 XRF 儀器所獲得的非常相似的合成光譜。
AI + 畫(huà)作，發(fā)展「計(jì)算機(jī)輔助鑒賞」事實(shí)上，Science 刊登的這篇研究并不是藝術(shù)學(xué)家們首次和 AI 進(jìn)行跨界合作。
去年 11 月，《福布斯》雜志就報(bào)道過(guò)一位英國(guó)學(xué)者的研究，而且同樣是針對(duì)拉斐爾的畫(huà)作。
他們使用深度學(xué)習(xí)算法分析了這幅《Madonna of the Rose》（玫瑰圣母），發(fā)現(xiàn)其中男性人物的臉（Joseph）并不是拉斐爾本人繪制的。
更加巧合的是，這個(gè)結(jié)果與藝術(shù)學(xué)家們長(zhǎng)期以來(lái)的懷疑不謀而合。
長(zhǎng)期以來(lái)，學(xué)者們就推測(cè)這幅畫(huà)有拉斐爾以外的其他人參與，并且還注意到，Joseph 面部的構(gòu)圖和描繪水平比不上畫(huà)面中的其他人物。
《玫瑰圣母》
研究人員僅用了 49 幅經(jīng)過(guò)認(rèn)證的拉斐爾畫(huà)作，就訓(xùn)練出了一個(gè)深度學(xué)習(xí)系統(tǒng)，通過(guò)筆觸、調(diào)色板和陰影等 4000 多個(gè)視覺(jué)特征識(shí)別藝術(shù)家的作品，準(zhǔn)確率高達(dá) 98%。
論文作者 Hassan Ugail 表示，相比任何人在不借助任何工具的情況下進(jìn)行分類(lèi)或鑒別，AI 的準(zhǔn)確率要好得多。
算法分析了拉斐爾畫(huà)作的各個(gè)部分，以確認(rèn)哪些由藝術(shù)家本人繪制
然而，論文合著者、斯坦福大學(xué)的 David G. Strok 提醒我們，目前僅靠計(jì)算機(jī)結(jié)果仍不足以完成大多數(shù)藝術(shù)史領(lǐng)域的任務(wù)。
如果與傳統(tǒng)的鑒賞方法和藝術(shù)史研究相結(jié)合，計(jì)算機(jī)工具與 AI 技術(shù)將大有可為。一個(gè)正確的算法、一個(gè)經(jīng)過(guò)恰當(dāng)訓(xùn)練的 AI 模型，將節(jié)省寶貴的時(shí)間和資源，幫助我們更好地發(fā)掘藝術(shù)寶庫(kù)。
參考資料：
https://www.science.org/doi/10.1126/sciadv.adp6234
https://www.forbes.com/sites/lesliekatz/2023/12/22/ai-uncovers-hidden-secret-in-painting-by-renaissance-master-raphael/
本文來(lái)自微信公眾號(hào)：微信公眾號(hào)（ID：null），作者：新智元
本文鏈接：http://www.www897cc.com/showinfo-45-8022-0.htmlScience 子刊封面：500 年前拉斐爾怎么作畫(huà)，AI 看一眼就知道
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 工信部：截至 2024 年 6 月底，我國(guó)算力總規(guī)模達(dá) 246EFLOPS
下一篇： 10 倍速度提升，新版 Dream Machineds 可在 20 秒內(nèi)極速生成高質(zhì)量 AI 視頻
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)