近日,聯發科舉辦了第一屆天璣開發者大會2024(MDDC 2024),以“AI予萬物”為主題,通過多項成果,引領基于生成式AI的移動生態創新。
本次大會上,聯發科與合作伙伴共同啟動了“天璣AI先鋒計劃”,發布了《生成式AI手機產業白皮書》,公布了旗艦5G生成式AI移動芯片天璣9300+,還展示了生成式AI端側部署解決方案“天璣AI開發套件”、星速引擎游戲生態、多場景端側AI應用。
天璣AI先鋒計劃由聯發科主導,聯合阿里云、百川智能、傳音、零一萬物、OPPO、榮耀、vivo、小米等眾多云服務、大模型、終端廠商,面向全球開發者。
該計劃將整合聯發科與產業生態伙伴的資源,為探索端側生成式AI應用與場景創新的開發者,提供豐富的開發資源、技術支持和商業機會。
目前,已經有大量的應用開發廠商和開發者加入了天璣AI先鋒計劃,現場登臺助陣的就有小紅書、美圖、酷狗音樂、虎牙直播、抖音、騰訊AI Lab、Soul、全民K歌、RWKV、COCOS等等。
不少應用都在會場同步展示了各自的AI新體驗,我們會在后邊的環節和大家分享。
聯發科與權威市調機構Counterpoint攜手阿里云通義千問、百川大模型、虎牙、酷狗音樂、零一萬物、OPPO、Soul、騰訊AI Lab、騰訊混元、vivo,聯合發布了《生成式AI手機產業白皮書》,共同定義了“生成式AI手機”的概念和典型特征。
按照這份白皮書的定義,生成式AI手機就是可以利用大規模、預訓練的生成式 AI模型,實現多模態內容生成、情境感知,并具備不斷增強的類人能力。
白皮書還詳細闡述了生成式AI與智能手機深度融合的趨勢,深入探討了生成式AI手機生態中芯片廠商、手機廠商、大模型廠商、開發者的AI戰略,以及生成式AI手機的軟硬件科技全景,并展望了生成式AI手機的發展趨勢。
聯發科作為底層硬件供應商,可為生成式AI手機提供強大的硬件支持,包括先進的移動計算平臺、集成或獨立的NPU單元、大容量和高帶寬的內存、穩定高速的網絡連接、硬件級和系統級的安全防御。
新發布的天璣9300+,就是典型代表。
天璣9300+繼續采用臺積電第三代4nm先進工藝和全大核CPU架構,包括四個X4 超大核,高頻率可達3.4 GHz,以及四個A720大核,主頻2.0GHz,還有12核心的Immortalis-G720 GPU、18MB緩存,支持LPDDR5T 9600Mbps高頻內存。
天璣9300+內置第七代AI引擎APU 790,有著強大的生成式AI算力,率先在端側支持AI推測解碼加速技術,生成速度可提升120%。
支持天璣AI LoRA Fusion 2.0技術,也就是雙LoRA融合,生成效率提升100%,內存空間節省50%,使得生成式AI體驗更高效、更個性化。
支持前沿主流的生成式AI大模型,覆蓋文字、圖像、音樂等AI多模態場景,包括阿里云通義千問、百川、百度文心一言、谷歌Gemini Nano、零一萬物、Meta Llama 2/3、ERNIE-3.5-SE。
尤其是它在業內率先實現了以每秒22 tokens在端側高速運行Llama 2 70億參數大模型。
此外還支持AI框架ExecuTorch,可加速端側生成式AI應用的開發。
同時,聯發科的星速引擎全面升級,為游戲開發者提供MAGT自適應技術軟件開發套件、硬件光線追蹤技術軟件兩大開發套件,通過精準性能管理、光追效果優化、網絡質量監測等關鍵技術,提升畫面的逼真度、流暢度,觸控和網絡的響應度,設備續航的持久度。
星速引擎可以打通硬件平臺、游戲之間的隔閡,為彼此溝通建立橋梁,實現性能的實時按需響應。
MAGT技術打開之后,游戲載入速度可加快11%,從而更持久滿幀。
再結合精準的系統監控、與頭部游戲的深度聯合調校,可以保證游戲滿幀的同時功耗進一步降低10%
網絡質量監測技術方面,通過與騰訊云聯合,可以實時監控游戲網絡的連接質量,讓游戲更高效地運用Wi-Fi、蜂窩網絡并發技術,在玩網絡游戲時更加穩定。
相比傳統的Wi-Fi/蜂窩網絡雙網并發技術,它可以提前100ms預測弱網,準確率超過90%,而在Wi-Fi弱網環境下開啟,可節省10%的滿幀功耗、25%的數據使用量。
此外,聯發科還積極與Arm、Google、Khronos、UE虛幻引擎等行業伙伴共同進行前沿技術的探索,擴大天璣游戲生態圈,尤其是推動硬件光追游戲加速落地。
本次大會的另一個看點,就是天璣AI開發套件,包括四大模塊,分別是快速高效的GenAI佳實踐、覆蓋全球主流大模型的GenAI Model Hub、高效提升性能的GenAI優化技術、Neuron Studio 一站式視覺化開發環境。
聯發科表示,天璣AI開發套件可以為開發者提供“快、全、強、易”的專業開發體驗,加速終端生成式AI應用的開發全流程。
其中,GenAI佳實踐通過模型量化、模型編譯和模型推理技術,加速大模型的終端部署,可使原本需要幾個星期的工作量,縮短為區區一天。
GenAI Model Hub適配行業前沿主流的大模型,為開發者提供創建生成式AI應用所需的豐富大模型資源。
GenAI優化技術只要包括推測解碼加速、LoRA Fusion等等。
Neuron Studio集成開發環境可提供一站式可視化的開發環境,跳出傳統的代碼開發環境,讓開發變成“所見即所得”。
目前,天璣AI開發者套件已覆蓋智能手機、智能汽車、物聯網、PC電腦等眾多智能終端設備,賦能全場景的生成式AI應用開發。
目前,聯發科已攜手阿里云通義千問、Cocos、王者榮耀、虎牙直播、酷狗音樂、美圖、全民K歌、RWKV、Soul、騰訊AI Lab、小紅書等數十家生態伙伴,打造體驗截然不同的生成式AI應用。
這是聯發科第一次舉辦開發者大會,堪稱聯發科歷史上的一個重要轉折點,更是整個行業的一個里程碑,引領著生成式AI移動生態的變革。
它標志著,聯發科天璣平臺的角色,已經從以往的技術引領者,變成了移動行業的創新領導者,不再局限于自身的發展,更把眼光和視野拓展到了行業的推進。
天璣品牌誕生以來,聯發科通過持續的技術投入與開放合作,贏得了終端廠商、應用開發商、消費者的廣泛青睞,也形成了蓬勃的移動生態。
今天,生成式AI正在悄然改變各個計算行業,尤其是移動產業,勢必會顛覆所有人的生活、工作、娛樂體驗。
在這股浪潮之下,聯發科提供的已經不僅僅是基礎性的底層硬件,還有全鏈一站式的開發工具、優化技術,更肩負著領導與樞紐的職責,聯合眾多行業伙伴,共同定義新概念、新技術,共同推進應用與生態發展。
接下來,我們逐個體驗一下與聯發科平臺合作優化的手機端側生成式AI應用。
先看一段現場視頻:
抖音帶來了兩項應用,一是AI實時特效,基于聯發科APU,在硬件算力基礎上結合算法打磨、工程優化,在效果、流暢度、功耗方面帶來更出色的體驗。
二是端側SDXL-Lightning高畫質文生圖,由抖音智能創作團隊開發。
它采用漸進式對抗蒸餾技術,可以在4步甚至2步之內生成高質量和分辨率的圖像,更是1步即可為超時敏感應用生成圖像。
根據內部測試,1024*1024分辨率在手機端生圖速度1步約為2秒,2步約為5秒。
虎牙直播,率先實現了AI實時換臉,基于圖生圖的AI算法,可以豐富主播直播內,并給用戶帶來端上畫質增強。
它支持450P分辨率兩倍超分,變成900p;還支持720P原畫增強,可以去除原畫噪聲,增強畫面紋理細節。
酷狗音樂,支持歌詞生圖、快速配圖、手動生圖等玩法。
全民K歌,率先將端側模型歌曲生成SVC模型落地天璣9300,保證高性能的同時,提升了推理速度,可以輕松還原美妙歌聲,一鍵演唱實力歌手歌曲,還能生成你和歌手的合唱作品,堪稱五音不全者的救星。
Soul APP,主打AI情感陪伴,率先引入LoRA技術,單模型支持多形象切換,無需聯網,隱私安全。
支持LLM+SD混合切換,LLM只需一次配置就能支持多輪對話。
阿里云通義Qwen Al Agent(智能體),號稱你身邊的超級AI助手。
基于通義大模型,Qwen Al Agent可以感知環境、進行決策并執行指令,可以思考并調用工具完成目標。
通過通義千問APP(或接入通義大模型的應用),本地模型可以離線完成任務需求整理->路線規劃設計->任務確認->指令下發對應服務并執行任務的全流程閉環,交互體驗、處理效率、準確性等均遠超傳統交互方式。
火山引擎的AI創作SDK套件,可以一剪成片,無論是在手機、平板還是汽車上都可以隨時創作。
其中,EffectOne SDK為手機應用、OEM客戶提供完整的端側圖片、視頻創作技術解決方案,包含拍攝、編輯、特效(2D/3D/AIGC)、視頻模板等。
The Moment SDK為車載端創作套件,提供更簡便的車端創作能力,包含一鍵成片、剪同款、高光成片等自動成片能力,也包含更靈活的基礎編輯能力,結合AIGC、海量特效提供豐富的模板選擇。
《逆水寒》手游和《暗區突圍》率先落地移動端硬件光線追蹤技術、MAGT游戲自適應調控技術。
《王者榮耀》海外版的玩家私人游戲教練,率先實現游戲教學音伴AI在天璣手機端側的落地。
它通過TTS文本語音轉換建立AI與玩家的橋梁,教會玩家MOBA游戲玩法/場面預判/出裝建議,結合精準的語音生成,打造獨特的音色樂律和人設背景,讓玩家更容易沉浸。
包括開局英雄出裝輔導,對戰中英雄消失提醒、敵方出裝提醒、團戰準備等,消滅對方英雄后擊殺鼓勵、勝率播報。
本文鏈接:http://www.www897cc.com/showinfo-22-87860-0.html生成式AI手機時代 聯發科天璣變了!振臂一呼引領行業變革
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com