現在的元宇宙：一款低配版的科幻游戲
在2021年的歲末之際，不禁感嘆元宇宙元年之熱鬧，從元宇宙NFT頭像，到元宇宙數字地產，再到元宇宙旅游景區等等，仿佛科幻感十足的元宇宙眨眼間就從人們的概念認知中完全
在近日圓滿舉辦的2024數字中國創新大賽中,深信服AICP算力平臺獲得2個獎項!
《基于私有化大模型的推理訓練一體化 Al算力平臺》
2024數字中國創新大賽·信創賽道 行業貢獻獎
2024數字中國創新大賽·城市賽道 二等獎
在垂直領域擁有自己的私有化大模型,已逐漸成為業界共識,但研發門檻高、使用成本高、安全風險高等痛點正在阻礙大模型落地的效率。深信服于今年3月份正式發布AICP算力平臺,面向各行各業大模型開發部署場景,提供一站式大模型訓練和推理能力,為用戶提供向導化配置、一鍵訓練;一半成本、五倍性能;模型加密、保護知識產權的業務價值。
深信服AICP算力平臺解決方案
打造“讓更多用戶用得上的AI”,是深信服AICP算力平臺的產品愿景。借由本次獲獎的機會,深信服AICP算力平臺展現其最新能力:
一、向導化配置,一鍵訓練
深信服AICP算力平臺能夠管理異構算力GPU資源池,并內置了主流的開源基模型、豐富的開源數據集,包括中英文語料庫,以及醫療、金融、教育、法律等垂直領域的開源數據等,可幫助用戶簡化訓練準備過程。
用戶通過三步向導式操作,選擇基模型、選擇數據配比、選擇算力資源池,即可一鍵開啟訓練任務,無需自行配置100多項復雜的超參數。
同時,通過三大關鍵指標監控和處置,使模型訓練過程一目了然,可有效保障訓練穩定、高效訓練出垂直大模型。
1、實時資源監控:實時監控GPU、CPU、內存、存儲指標,及時調整,防止訓練中斷。
2、Checkpoint管理:本地SSD中保存最新模型狀態,即便訓練中斷也可快速恢復。
3、Loss曲線可視:曲線震蕩或者上升及時調整訓練數據;曲線下降并趨于穩定,表示訓練效果良好。
二、一半成本,五倍性能
針對使用成本高,平臺內置大量訓練和推理優化技術,創新地提供基于業務感知量化(BAQ)能力,在不損失大模型在垂直領域效果的同時,讓推理性價比得到數倍的提升。
1、通過模型量化,使模型顯存占用減少50%,需要的GPU數量減少50%。
2、創新的業務感知量化技術BAQ,保證量化后垂直領域業務效果無損。
3、聯合CPU和GPU進行通信優化,讓系統總吞吐提升超過20%。
4、結合業務數據的注意力稀疏技術,降低顯存占用,讓推理并發用戶數提升30%。
5、對推理緩存進行了混合精度壓縮,讓系統總吞吐提升超過30%。
三、模型加密,保護知識產權
針對安全風險高的問題,平臺內置業界獨有的模型動態加密能力,有效保護用戶知識產權,防止核心的“模型資產”泄露。
同時,在這些核心技術以外,深信服AICP算力平臺還積極推進信創生態構建。
提供對AI技術棧的良好兼容性,通過軟硬件聯合調優,滿足大模型訓練、推理任務對算力和性能的要求,讓用戶在信創環境中也能進行大模型項目的開發和應用,同時滿足合規和業務建設需求。
深信服和國內廠商開展了廣泛的軟硬件兼容測試,如華為昇騰系列NPU、天數智芯全自研通用GPU等等,從測試結果看,在相同硬件成本下,國內廠商推理卡性能表現出色,能夠在信創場景實現大模型任務承載。
深信服多年來堅持AI First的研發戰略,積極探索先進的AI技術應用,未來將持續以創新能力為用戶帶來更多智能化、個性化的AI解決方案。
本文鏈接：http://www.www897cc.com/showinfo-45-5589-0.html深信服AICP算力平臺在2024數字中國創新大賽兩個賽道獲獎
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號