官方承諾：K60至尊版將會(huì)首批升級MIUI 15
全新的MIUI 15今天也有了消息，在官宣了K60至尊版將會(huì)搭載天璣9200+處理器和獨(dú)顯芯片X7的同時(shí)，Redmi給出了官方承諾，K60至尊重大更新首批升級，會(huì)首批推送MIUI 15。也就是說雖然
嘉賓 | 宋東桓、薛彥澤
主持&編輯 | 李美涵
出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
欄目介紹：“T前線”是51CTO內(nèi)容中心專為技術(shù)人物開設(shè)的深度訪談欄目之一，通過邀請技術(shù)界內(nèi)的業(yè)務(wù)負(fù)責(zé)人、資深架構(gòu)師、資深技術(shù)專家等對當(dāng)下的技術(shù)熱點(diǎn)、技術(shù)實(shí)踐和技術(shù)趨勢進(jìn)行深度的解讀和洞察，推動(dòng)前沿科技的傳播與發(fā)展。
Sora技術(shù)的問世，給國內(nèi)外科技圈投下了重磅炸彈。自春節(jié)以來，Sora的討論熱潮不斷升溫，從硅谷大佬對其能否成為世界模型的爭論，到OpenAI CTO在采訪中對訓(xùn)練數(shù)據(jù)的含糊其辭，再到眾多技術(shù)團(tuán)隊(duì)宣布要復(fù)刻并開源Sora，都使其不斷地站在熱議的“風(fēng)口浪尖”。
深入到內(nèi)容產(chǎn)業(yè)，Sora是否如一些創(chuàng)作者和電影工作者所擔(dān)憂的那樣，會(huì)讓內(nèi)容行業(yè)變天？或者這只是一種杞人憂天的幻覺？
近期，51CTO有幸邀請到了Story storm AI內(nèi)容社區(qū)的發(fā)起人，有著豐富編劇和導(dǎo)演經(jīng)驗(yàn)的宋東桓老師。宋老師不僅對內(nèi)容行業(yè)有深厚的積累，還深入實(shí)踐了利用AI工具進(jìn)行內(nèi)容創(chuàng)作的前沿技術(shù)。在與51CTO內(nèi)容中心主編薛彥澤的對話中，宋老師詳細(xì)介紹了Sora的技術(shù)革新，并深入探討了以Sora為代表的視頻生成模型對未來內(nèi)容行業(yè)的影響。
宋東桓：要理解Sora的厲害之處，我們首先得審視以往的視頻生成技術(shù)。早期的方法，從diffusion到各種轉(zhuǎn)繪流程，其實(shí)都是在走一條錯(cuò)誤的路。這些方法基本上是逐幀處理，本質(zhì)上還是在“畫”視頻，而非真正地“生成”視頻。
去年8月份，Runway開始嘗試生成連續(xù)視頻，雖然取得了一些進(jìn)步，但仍然存在四秒的限制。這是因?yàn)楫?dāng)時(shí)的方法是在生成一張圖片的基礎(chǔ)上，通過重復(fù)和調(diào)整來減少閃爍感，但這種方法本質(zhì)上還是處理圖片而非視頻。
Diffusion transformer則不同，它將視頻視為時(shí)空連續(xù)的實(shí)體，嘗試預(yù)測下一幀內(nèi)容，就像語言模型處理文本一樣。我們現(xiàn)在比較的是生成圖像的能力、模型的調(diào)優(yōu)，以及潛在層的處理，這些都是在不斷進(jìn)步的方面。
但Sora的真正厲害之處在于，它是歷史上第一次使用視頻數(shù)據(jù)集進(jìn)行訓(xùn)練，并輸出視頻的技術(shù)。因此，它天生具備視頻的連貫性。例如，如果給Sora看過一萬次小貓推蘋果的視頻，它就能模仿出蘋果落下的加速度和運(yùn)動(dòng)軌跡。這是因?yàn)镾ora看過的視頻數(shù)量遠(yuǎn)超我們的想象。
Sora的另一個(gè)厲害之處在于它為整個(gè)行業(yè)指了一條明路。如果沒有像OpenAI這樣的巨頭，能找到一條正確的路，很多公司還會(huì)在錯(cuò)誤的方法上耗費(fèi)一兩年甚至更久。Sora的出現(xiàn)，讓整個(gè)行業(yè)看到了一條明確的前進(jìn)道路，這是非常有意義的。
薛彥澤：關(guān)于Sora的厲害之處，我的第一印象是它能夠生成影視級的視頻效果。
具體來說，Sora在處理背景與主題人物的一致性方面做得很好，比如在東京街頭散步的視頻，環(huán)境的細(xì)節(jié)如紅燈、雨滴的倒影都非常真實(shí)。另外，Sora在理解物理世界方面也表現(xiàn)出色，盡管我認(rèn)為機(jī)器實(shí)際上無法真正理解我們的物理世界，但Sora生成視頻能夠保持物體的連貫性，比如小貓的視頻，動(dòng)作和鏡頭的延伸都非常流暢。
但Sora最厲害的不止于視頻生成，它實(shí)際上在這個(gè)過程中試圖尋找一種理解物理世界的新路徑，OpenAI提出的這個(gè)觀點(diǎn)是前所未有的，也是它最厲害的地方。
宋東桓：我發(fā)現(xiàn)Sora在處理視頻中的遮擋問題時(shí)偶爾會(huì)出現(xiàn)問題，尤其是在畫面中有明確遮擋物的情況下。比如考古學(xué)家在沙漠中發(fā)現(xiàn)了一把塑料椅子的視頻，椅子直接懸浮了起來。但是，像兩只海盜船在咖啡杯里相遇這樣的視頻，由于船身大部分時(shí)間都在杯子上方，Sora處理得相對更好。
前段時(shí)間有人測試了電車向前延伸的視頻，結(jié)果顯示出三種不同的結(jié)果。這讓我聯(lián)想到文本生成中的合理性問題，一旦涉及到遮擋，合理性可能會(huì)受到影響。我認(rèn)為Sora的“翻車”現(xiàn)象和文本生成中的幻覺類似，都是低概率事件。
薛彥澤：談到Sora的翻車視頻，我認(rèn)為將其視為“夢境生成器”是恰當(dāng)?shù)?。夢境中自然?huì)有一些荒誕的元素，對于機(jī)器來說，這并不是問題。就像圖像中會(huì)有噪聲，視頻中也可能出現(xiàn)不符合人類邏輯的場景。關(guān)鍵在于我們?nèi)绾慰创吞幚磉@些異常。
宋東桓：對于Sora是否能顛覆TikTok和好萊塢，我認(rèn)為這是兩個(gè)不同的問題。TikTok代表的是UGC（用戶生成內(nèi)容）生態(tài)，而好萊塢則是PGC（專業(yè)生成內(nèi)容）的代表。Sora對這兩種生態(tài)的影響會(huì)有所不同，盡管它的接受程度可能相同，但表現(xiàn)出來的影響會(huì)有差異。
在影視創(chuàng)作方面，Sora的能力類似于文本生成。雖然它可能還無法創(chuàng)作出長篇巨制，但已經(jīng)能夠處理短篇內(nèi)容，如笑話、小詩，甚至歌詞。同樣，Sora在生成15秒以內(nèi)的視頻方面可能已經(jīng)相當(dāng)成熟，但對于長視頻，尤其是一分鐘以上的視頻，可能還無法完全統(tǒng)一上下文，除非通過技術(shù)手段如視頻轉(zhuǎn)視頻來輔助。
我懷疑，如果要求Sora生成長視頻，它可能無法記憶上下文，并進(jìn)一步出現(xiàn)內(nèi)容上的斷裂和幻覺。這種情況下，短視頻內(nèi)容，如廣告PVC，可能會(huì)首先受到?jīng)_擊。例如，以前需要高昂成本拍攝的紅酒廣告，現(xiàn)在可能通過Sora以極低的成本實(shí)現(xiàn)，這對傳統(tǒng)影視制作是一個(gè)巨大的挑戰(zhàn)。
至于好萊塢，如果一個(gè)小型團(tuán)隊(duì)能夠利用Sora創(chuàng)作出與大制作電影相媲美的作品，那么傳統(tǒng)的高成本制片流程將面臨巨大的壓力。Sora在制作大場面的特效鏡頭方面非常有潛力。它放大了內(nèi)容杠桿，使得低成本制作能夠與高投資作品競爭。這可能導(dǎo)致傳統(tǒng)影視公司面臨重組，甚至崩潰。
在TikTok層面，內(nèi)容的海量增長需要出口，而短視頻平臺(tái)就是這個(gè)出口。短視頻平臺(tái)及配套的剪輯軟件，如抖音的剪映正在積極配備AI功能，幾乎是一種“all in AI”的狀態(tài)來構(gòu)建新的創(chuàng)作者生態(tài)，這也會(huì)相應(yīng)改變專業(yè)視頻制作工具的市場地位（例如達(dá)芬奇等剪輯工具）。
總的來說，Sora的出現(xiàn)可能會(huì)顛覆內(nèi)容行業(yè)的創(chuàng)作流程和分發(fā)方式。
薛彥澤：我認(rèn)為Sora是否能顛覆TikTok和好萊塢，這個(gè)問題可以從兩個(gè)角度來看。
首先，顛覆的定義是什么？如果改變制作流程算顛覆，那么Sora無疑能做到。然而，更重要的是，用戶是否會(huì)喜歡完全由AI生成的內(nèi)容？
“AI教母”李飛飛教授說，AI生成的作品無法取代宮崎駿的動(dòng)畫，但利用AI可以創(chuàng)作出觸動(dòng)人心的內(nèi)容。我認(rèn)為Sora更像是一種工具，它擴(kuò)展了創(chuàng)作者的可能性，就像3D技術(shù)讓陳凱歌能夠?qū)崿F(xiàn)之前無法實(shí)現(xiàn)的創(chuàng)意一樣。
總的來說，Sora在制作模式上具有顛覆性，但在藝術(shù)創(chuàng)作的核心價(jià)值和目的上，它并沒有顛覆，而是提供了更多可能性。
宋東桓：我們社區(qū)對Sora的復(fù)刻問題進(jìn)行過深入的討論。起初，大家都對Sora的出現(xiàn)感到震驚，擔(dān)心未來的內(nèi)容創(chuàng)作。
但經(jīng)過魔搭社區(qū)算法工程師周文猛老師的深入分析和觀點(diǎn)的分享，我們對復(fù)刻Sora的可能性有了更多信心。
周老師詳細(xì)拆解了Sora的技術(shù)報(bào)告，同時(shí)指出Sora更多地是在工程上的創(chuàng)新。Sora報(bào)告中雖然對具體的搭建方法描述不夠詳細(xì)，但其引用的文獻(xiàn)中包含了大量有用的信息。這些引用的文獻(xiàn)詳細(xì)講解了Sora可能采用的訓(xùn)練方法和時(shí)空連續(xù)性處理等關(guān)鍵技術(shù)點(diǎn)。
巧合的是，Sora的論文很快就被官方下架了，雖然里面的內(nèi)容已經(jīng)廣泛傳播了出來。我認(rèn)為復(fù)刻Sora是個(gè)需要信心傾注的事情，比較像在漆黑的隧道里蜿蜒前行。但隨著開源社區(qū)的參與和資源的傾斜，復(fù)刻Sora只是時(shí)間問題。
以GPT-4為例，自發(fā)布以來，國內(nèi)對其的追趕非常明顯，如果GPT-4能在一年內(nèi)被追趕到八成，那么Sora的復(fù)刻也大有可能——OpenAI對Sora的研發(fā)投入應(yīng)該還小于GPT-4。未來一兩年，我們應(yīng)該能看到更多開源方案的出現(xiàn)，讓Sora不再獨(dú)領(lǐng)風(fēng)騷。
薛彥澤：我其實(shí)對復(fù)刻Sora持相對悲觀的態(tài)度，但聽了宋老師的看法后，我又有了不少信心。Sora的架構(gòu)并不新鮮，它的模型基礎(chǔ)，如Transformer和Diffusion模型，已經(jīng)是公開的信息。
然而，復(fù)刻Sora的工程量依然很大，難點(diǎn)在于訓(xùn)練過程，比如數(shù)據(jù)預(yù)處理、模型的微調(diào)階段，以及如何切分視頻數(shù)據(jù)（patch）的尺寸等。此外，訓(xùn)練模型的成本高，周期長，需要的資本也是挑戰(zhàn)之一。
算力也是一個(gè)關(guān)鍵因素。盡管國內(nèi)在AI算力儲(chǔ)備上正在追趕，但仍落后于美國。視頻處理的數(shù)據(jù)量級遠(yuǎn)超文本，對算力的需求巨大。如果算力問題得到解決，數(shù)據(jù)門檻將是下一個(gè)挑戰(zhàn)。此外，需要專業(yè)的人才進(jìn)行模型的權(quán)重調(diào)整，那如何吸引頂尖人才回國工作也是我們需要面對的問題。
總的來說，復(fù)刻Sora的最大難題在于算力、數(shù)據(jù)和人才。
宋東桓：會(huì)。
宋東桓：我認(rèn)為無論支不支持，未來AI視頻的泛濫是不可避免的，尤其考慮到AI視頻與傳統(tǒng)視頻在成本上的巨大差異。AI視頻的生成將變得極其方便，就像現(xiàn)在AI生成的圖像一樣，我們很難區(qū)分真假，也難以阻止其泛濫。
不過，AI視頻的泛濫有可能轉(zhuǎn)變?yōu)橐粋€(gè)環(huán)保問題。AI視頻的普及雖然能帶來巨大的商業(yè)價(jià)值，讓每個(gè)人都有能力成為內(nèi)容的創(chuàng)作者。但這種能力的背后是對能源的巨大需求。例如，GPT-4的耗電量相當(dāng)于1.5萬個(gè)家庭的日常用電量，而Sora的耗電量可能更高。
盡管如此，限制人們生成AI視頻就像限制言論自由一樣。人們有權(quán)使用技術(shù)來表達(dá)自己的想法，因此立法限制可能會(huì)遇到重大阻力。
從道德和倫理角度來看，我對AI視頻泛濫的未來持悲觀態(tài)度，我不支持這樣的世界。但人類的表達(dá)欲是無窮無盡的，而這種渴望可能會(huì)帶來深遠(yuǎn)的影響。
薛彥澤：我認(rèn)為未來AI視頻的泛濫是必然的，就像互聯(lián)網(wǎng)帶來了信息的泛濫一樣。
生活在AI視頻泛濫的時(shí)代，也不一定是壞事，關(guān)鍵在于我們?nèi)绾卫眠@些工具，同時(shí)能否找到約束AI工具使用的平衡點(diǎn)。
就像奧特曼在最新采訪中談到伊利亞時(shí)說，他挺佩服伊利亞的，因?yàn)樗谘芯恳豁?xiàng)技術(shù)的時(shí)候，會(huì)想到未來十年的技術(shù)發(fā)展，去考慮這項(xiàng)技術(shù)是不是符合造福人類的使命。雖然目前AI視頻技術(shù)還沒有達(dá)到侵害人類的地步，但我們?nèi)孕璞３志?，確保技術(shù)的發(fā)展方向與我們的價(jià)值觀相符。
宋東桓：我覺得是3D技術(shù)。
目前，我們可以通過視頻來還原3D結(jié)構(gòu)，尤其是當(dāng)視頻內(nèi)容自洽且空間關(guān)系準(zhǔn)確時(shí)。例如，如果我們有一段現(xiàn)實(shí)世界中茶杯的視頻，可以使用神經(jīng)網(wǎng)絡(luò)（nerve）技術(shù)來還原茶杯的3D空間特征。Sora能夠生成空間上合理的視頻，這為從視頻中生成高質(zhì)量的3D數(shù)據(jù)提供了可能。
目前，3D數(shù)據(jù)的存量遠(yuǎn)低于視頻、文本和圖片數(shù)據(jù)?，F(xiàn)有的3D模型數(shù)量有限，而且質(zhì)量參差不齊，這限制了3D技術(shù)的商業(yè)應(yīng)用。但隨著Sora等技術(shù)的發(fā)展，我們可能會(huì)找到一條新的路徑：通過生成視頻來創(chuàng)建3D內(nèi)容。在不考慮經(jīng)濟(jì)與否的情況下，這起碼是一種能夠不斷產(chǎn)生優(yōu)質(zhì)3D數(shù)據(jù)的新方法，從而推動(dòng)3D技術(shù)的進(jìn)步。
薛彥澤：我認(rèn)為Sora的影響將是全方位的。因?yàn)樗亩ㄎ徊粌H僅是一個(gè)視頻生成工具，而是一個(gè)能模擬物理的世界模型。
如果將其目標(biāo)提升到這個(gè)層次來看，它的影響將無處不在。如果Sora真的做到了理解世界，那么AI芯片只需要集成這個(gè)模型就可以完成很多工作。機(jī)器人只需要配備這樣的芯片和相應(yīng)的傳感器，就能被看作是有意識(shí)地理解世界、響應(yīng)世界了，這是非常大的科技飛躍。
具體到行業(yè)層面，除了剛才聊到的電影，其實(shí)還有游戲，Sora將會(huì)推動(dòng)3D渲染技術(shù)的創(chuàng)新，以及推動(dòng)RTC、編解碼技術(shù)的改進(jìn)。此外，面向GPU編程可能會(huì)發(fā)展出新的工具，以適應(yīng)生成式AI的需求。
Sora的廣泛應(yīng)用還可能顛覆底層通信技術(shù)，如果未來世界依賴于大量GPU和類似Sora的模型，那將是一個(gè)全新的景象。
宋東桓：雖然Sora是一個(gè)全新的工具，但工具的掌握都是觸類旁通的，例如對視頻編輯軟件或拍攝技巧的學(xué)習(xí)，對掌握Sora會(huì)有很大幫助。核心在于，無論是使用什么技術(shù)，審美和表達(dá)方式始終是最重要的。
對于想要成為優(yōu)秀創(chuàng)作者的人來說，廣泛閱讀和積累審美經(jīng)驗(yàn)是基礎(chǔ)。AI可以提供輔助，但最終做出選擇的還是人。技術(shù)不是優(yōu)秀作品的出圈限制，想象力才是。
具體來說，電影人可以在劇本創(chuàng)作時(shí)就考慮如何利用Sora來實(shí)現(xiàn)鏡頭效果。即使現(xiàn)在還不能直接使用Sora，也可以通過與有資源的公司合作，將類似Sora的工具應(yīng)用到實(shí)際拍攝中。
T前線：最先擁抱AI工具的人，會(huì)吃到相應(yīng)的內(nèi)容紅利嗎？
宋東桓：當(dāng)前的信息傳播環(huán)境，已經(jīng)不再依賴于中心化的傳遞方式了。信息可以通過多種渠道迅速傳播，從外網(wǎng)到社交媒體平臺(tái)，再到微信群和朋友圈，信息的流通速度非?？?。
并不是說你是第一個(gè)接觸AI工具的人就能吃到紅利，而是要看你如何使用這些工具。我認(rèn)為從業(yè)者應(yīng)該有學(xué)習(xí)意識(shí)，主動(dòng)去搜索最新的資訊，自己要吃一口饅頭才行。
薛彥澤：宋老師這個(gè)比喻很形象，現(xiàn)在的信息差真的是件很嚇人的事情。
在Sora開放前，我認(rèn)為從業(yè)者需要做的準(zhǔn)備包括心態(tài)的調(diào)整、積極學(xué)習(xí)前沿信息，以及主動(dòng)采取行動(dòng)。
從業(yè)者要有自己的想法和魄力，不要只是學(xué)習(xí)而不實(shí)踐，至少要有敢于有嘗試的勇氣。Sora是個(gè)非常前沿的工具，如果能和自己的個(gè)人價(jià)值得到很好的結(jié)合，有可能就會(huì)脫穎而出。這種科技革新是時(shí)代賦予的不可多得的機(jī)會(huì)。
本文鏈接：http://www.www897cc.com/showinfo-26-78648-0.html宋東桓：Sora可能會(huì)顛覆好萊塢，但優(yōu)秀更取決于想象力 | T前線
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)