7 月 4 日消息，騰訊混元文生圖大模型（混元 DiT）今日宣布開(kāi)源小顯存版本，僅需 6G 顯存即可運(yùn)行，對(duì)使用個(gè)人電腦本地部署的開(kāi)發(fā)者比較友好。k8i28資訊網(wǎng)——每日最新資訊28at.com

此外，騰訊宣布混元文生圖打標(biāo)模型“混元 Captioner”正式對(duì)外開(kāi)源。該模型支持中英文雙語(yǔ)，針對(duì)文生圖場(chǎng)景進(jìn)行專(zhuān)門(mén)優(yōu)化，可幫助開(kāi)發(fā)者快速制作文生圖數(shù)據(jù)集。k8i28資訊網(wǎng)——每日最新資訊28at.com

騰訊混元 DiT 模型升級(jí)

騰訊混元 DiT 模型宣布了三大更新：推出小顯存版本與 Kohya 訓(xùn)練界面，并升級(jí)至 1.2 版本，進(jìn)一步降低使用門(mén)檻的同時(shí)提升圖片質(zhì)量。k8i28資訊網(wǎng)——每日最新資訊28at.com

基于 DiT 架構(gòu)的文生圖模型生成圖片質(zhì)感更佳，但對(duì)顯存的要求卻非常高，混元 DiT 因此推出小顯存版本，最低 6G 顯存即可運(yùn)行優(yōu)化推理框架，對(duì)使用個(gè)人電腦本地部署的開(kāi)發(fā)者比較友好。k8i28資訊網(wǎng)——每日最新資訊28at.com

經(jīng)過(guò)與 Hugging Face 合作，小顯存版本、LoRA 與 ControlNet 插件，都已經(jīng)適配到 Diffusers 庫(kù)中。開(kāi)發(fā)者無(wú)需下載原始代碼，僅用三行代碼僅可調(diào)用，簡(jiǎn)化了使用成本。k8i28資訊網(wǎng)——每日最新資訊28at.com

同時(shí)，混元 DiT 宣布接入 Kohya，讓開(kāi)發(fā)者可以低門(mén)檻地訓(xùn)練專(zhuān)屬 LoRA 模型。k8i28資訊網(wǎng)——每日最新資訊28at.com

Kohya 是一個(gè)開(kāi)源的、輕量化模型微調(diào)訓(xùn)練服務(wù)，提供了圖形化的用戶(hù)界面，被廣泛用于擴(kuò)散模型類(lèi)文生圖模型的訓(xùn)練。k8i28資訊網(wǎng)——每日最新資訊28at.com

用戶(hù)可以通過(guò)圖形化界面，完成模型的全參精調(diào)及 LoRA 訓(xùn)練，無(wú)需涉及到代碼層面的細(xì)節(jié)。訓(xùn)練好的模型符合 Kohya 生態(tài)架構(gòu)，可以低成本與 WebUI 等推理界面結(jié)合，實(shí)現(xiàn)一整套“訓(xùn)練-生圖”工作流。k8i28資訊網(wǎng)——每日最新資訊28at.com

混元 Captioner

在提升模型易用性的同時(shí)，騰訊混元團(tuán)隊(duì)最新開(kāi)源了打標(biāo)模型 —— 混元 Captioner。k8i28資訊網(wǎng)——每日最新資訊28at.com

借助打標(biāo)模型，開(kāi)發(fā)者可以快速生成數(shù)據(jù)集。具體來(lái)說(shuō)，文生圖開(kāi)發(fā)者將原始圖片集導(dǎo)入混元 Captioner，后者將生成標(biāo)注；也可以導(dǎo)入圖片與原始描述，利用混元 Captioner 過(guò)濾其中的無(wú)關(guān)信息，并完善和優(yōu)化圖片描述，以提高數(shù)據(jù)質(zhì)量。k8i28資訊網(wǎng)——每日最新資訊28at.com

目前，業(yè)界對(duì)于圖片描述文本的生成，主要使用通用多模態(tài) Captioner 模型，存在描述過(guò)于簡(jiǎn)單或繁瑣（與畫(huà)面描述的無(wú)關(guān)信息過(guò)多）、缺少背景知識(shí)導(dǎo)致無(wú)法識(shí)別知名人物和地標(biāo)等問(wèn)題，并且許多模型并非中文原生，中文描述不夠精準(zhǔn)。k8i28資訊網(wǎng)——每日最新資訊28at.com

k8i28資訊網(wǎng)——每日最新資訊28at.com

▲混元 Captioner 對(duì)圖片描述進(jìn)行結(jié)構(gòu)化與準(zhǔn)確度提升混元

Captioner 模型號(hào)稱(chēng)針對(duì)文生圖場(chǎng)景專(zhuān)門(mén)進(jìn)行優(yōu)化：k8i28資訊網(wǎng)——每日最新資訊28at.com

構(gòu)建了結(jié)構(gòu)化的圖片描述體系；k8i28資訊網(wǎng)——每日最新資訊28at.com

在模型層面，通過(guò)注入人工標(biāo)注、模型輸出、公開(kāi)數(shù)據(jù)等多種來(lái)源提升 Caption 描述的完整性；k8i28資訊網(wǎng)——每日最新資訊28at.com

注入知名文學(xué)作品形象、地標(biāo)、食物、動(dòng)物、中國(guó)元素與知識(shí)等背景知識(shí)。k8i28資訊網(wǎng)——每日最新資訊28at.com

k8i28資訊網(wǎng)——每日最新資訊28at.com

▲Capiton 模型的背景知識(shí)更好，能夠識(shí)別宮保雞丁

k8i28資訊網(wǎng)——每日最新資訊28at.com

▲Captioner 模型結(jié)構(gòu)化圖片描述體系

附騰訊混元開(kāi)源文生圖大模型相關(guān)鏈接：k8i28資訊網(wǎng)——每日最新資訊28at.com

官網(wǎng)：https://dit.hunyuan.tencent.com/k8i28資訊網(wǎng)——每日最新資訊28at.com

代碼：https://github.com/Tencent/HunyuanDiTk8i28資訊網(wǎng)——每日最新資訊28at.com

模型：https://huggingface.co/Tencent-Hunyuan/HunyuanDiTk8i28資訊網(wǎng)——每日最新資訊28at.com

論文：https://tencent.github.io/HunyuanDiT/asset/Hunyuan_DiT_Tech_Report_05140553.pdfk8i28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-4968-0.html騰訊混元 DiT 文生圖大模型開(kāi)源 6G 小顯存版本，一同開(kāi)源打標(biāo)模型

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 商湯科技 CEO 徐立：AI 行業(yè)很熱但未到“超級(jí)時(shí)刻”，需要應(yīng)用來(lái)支撐

下一篇： 一張照片創(chuàng)造 1 分鐘人物視頻，商湯發(fā)布首個(gè)“可控”人物視頻生成大模型 Vimi