5 月 14 日消息,階躍星辰正式發布并開源 3D 大模型 ——Step1X-3D,這是繼圖像、視頻、語音、音樂等模態后,階躍星辰在多模態方向的最新成果。Step1X-3D 模型總參數量達 4.8B(幾何模塊 1.3B,紋理模塊 3.5B),憑借堅實的數據基礎與先進的 3D 原生架構,可生成高保真、可控的 3D 內容。階躍星辰稱,Step1X-3D 不止于視覺“好看”,更追求實現“好用”與“可控”,旨在為 3D 內容創作提供強大而可靠的技術引擎。
階躍星辰公布了完整的數據清洗策略,數據預處理策略,以及800K高質量的3D資產,3D VAE、3Dgeometry Diffusion以及texture Diffusion的全鏈路訓練代碼開源,助力3D生成社區發展。
開源鏈接與體驗地址:
GitHub:https://github.com/stepfun-ai/Step1X-3D
HuggingFace:https://huggingface.co/stepfun-ai/Step1X-3D
ModelScope:https://www.modelscope.cn/models/stepfun-ai/Step1X-3D
Tech Report:https://arxiv.org/pdf/2505.07747
附官方給出的核心特性與技術支撐如下:
Step1X-3D 嘗試解決 3D 內容生成的關鍵挑戰,在數據、生成質量與可控性上進行了創新實踐。
1、數據驅動與算法協同優化好數據是好模型的基礎。Step1X-3D 對超 500 萬原始數據進行嚴格篩選與處理后,建立了包含 200 萬高質量、標準化的訓練樣本庫,有效克服了行業數據稀缺與質量參差的瓶頸。
此外,Step1X-3D 通過增強型網格-SDF 轉換技術等方法,從源頭保障了模型學習的精準性與最終生成的高效性,讓水密幾何轉換成功率提升了 20%,也讓 Step1X-3D 擁有了強大的泛化能力與細節捕捉力。
Step1X-3D 采用先進的 3D 原生兩階段架構,解耦幾何與紋理表征,確保生成的不僅是視覺“皮囊”,更是結構可靠、可供下游應用的“骨架”,有效規避幾何失真,保證生成的準確性、真實感與一致性。
幾何塑形更精準
幾何生成的核心在于采用為 3D 特性深度優化的創新混合 VAE-DiT 架構。該架構負責生成 TSDF 內部表示,確保產出的 3D 模型結構完整、無破面漏點;同時通過引入銳利邊緣采樣(Sharp Edge Sampling)等技術,精準捕捉并還原物體的豐富幾何細節。
紋理細節更生動
紋理生成則基于強大的 SD-XL 模型進行深度定制與優化。通過幾何條件(利用法線與位置信息)的精準引導,以及潛在空間多視圖同步技術,實現了與幾何模塊的高效協同。確保生成的紋理不僅色彩飽滿、質感生動逼真,更能跨越多視圖保持高度一致,與復雜三維表面精密貼合,有效避免常見的扭曲與接縫瑕疵。
Step1X-3D 顯著提升了 3D 內容生成的可控性與易用性。其關鍵在于,VAE-Diffusion 整體架構在設計上與主流 2D 生成模型(如 Stable Diffusion)保持了高度一致性,從而能夠無縫引入并應用成熟的 2D 控制技術(如輕量化的 LoRA 微調)。
因此用戶可以對生成 3D 資產的對稱性、表面細節(如鋒利度、平滑度)等多種屬性進行直觀、精細的調控,讓創作更精準地符合用戶意圖。
性能評估
為了客觀評估 Step1X-3D 的實際效果,我們通過一個自建的綜合測試(包含 110 個多樣化測試用例),對 Step1X-3D 進行了嚴格的定量與定性評估,同時與多款主流模型進行全面對比。
結果顯示:在自動評估中,Step1X-3D 在多項關鍵維度上均表現出色。
在與主流 3D 模型的對比評測中,特別是在衡量內容與輸入語義一致性的核心指標 CLIP-Score 上,Step1X-3D 取得了當前所有對比模型中的最高分,為開源社區提供了極具競爭力的 3D 生成方案。
Online Demo:https://huggingface.co/spaces/stepfun-ai/Step1X-3D
本文鏈接:http://www.www897cc.com/showinfo-45-12918-0.html階躍星辰開源 3D 大模型 Step1X-3D,可生成高保真、可控的 3D 內容
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com