5 月 13 日消息,在今日舉辦的 FORCE LINK AI 創新巡展?上海站上,火山引擎發布了豆包 1.5?視覺深度思考模型(Doubao-1.5-thinking-vision-pro),該模型激活參數僅 20B,但具備強大的多模態理解和推理能力,在 60 個公開評測基準中,有 38 個達到業界最佳表現(SOTA),在視頻理解、視覺推理、GUI Agent 能力等方面均處于第一梯隊。
在視頻理解領域,豆包 1.5?視覺深度思考模型支持動態幀率采樣技術,顯著增強了視頻時序定位能力。結合向量搜索功能,模型能夠精準定位視頻中與文本描述相對應的片段,為視頻內容的深度分析和檢索提供支持。
此外,該模型新增了視頻深度思考能力。通過學習數萬億多模態標記數據,模型積累了廣泛的視覺知識,并借助強化學習技術,大幅提升了視覺推理能力。例如,在復雜的圖形推理任務中,模型能夠自主提出假設、進行推理檢驗,并在發現與假設不符時,不斷反思并提出新的猜測,直至得出正確答案。
值得注意的是,豆包 1.5?視覺深度思考模型還新增了 GUI Agent 能力。憑借強大的 GUI 定位性能,該模型能夠在 PC 端、手機端等多種不同環境中完成復雜的交互任務。例如,它可對新開發的 App 功能進行自動化檢測,目前這一功能已在字節跳動多款 App 產品的開發測試中進行應用。
注:
GUIAgent 是一種基于多模態視覺模型驅動的人工智能系統,能夠自動推理并執行 UI 交互,模擬人類用戶的操作,如點擊、輸入、拖拽、讀取界面信息等,以完成人類要求的工作任務。
目前,該模型已正式在火山方舟平臺上線。
本文鏈接:http://www.www897cc.com/showinfo-45-12843-0.html火山引擎發布豆包 1.5?視覺深度思考模型,新增 GUI Agent 能力
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com