一加Ace2 Pro官宣：普及16G內存 引領24G
一加官方今天繼續為本月發布的新機一加Ace2 Pro帶來預熱，公布了內存方面的信息。“淘汰 8GB ，12GB 起步，16GB 普及，24GB 引領，還有呢？#一加Ace2Pro#，2023 年 8 月，敬請期待。”同時
從ChatGPT發布后的一段時間，我們見證了大型語言模型（LLM）爆炸式增長，在來自四面八方的消息中，我們了解了大模型似乎在不斷滲透到各行各業，改變著生產模式。但，在實際行業應用上還是很難跟上所有技術上已經取得的發展，數據安全以及大量的硬件資源需求等方面成了大模型應用落地過程中經常需要討論的重要內容，本地運行開源LLM也成為了熱門方案。
大模型參數的大小從一個層面反映了模型的能力，但是，實際應用真的必須用到那么大參數的大模型嗎？
比較實在的思路是：用較少的資源，在本地搭建較小的模型，為某些場景提供大模型的某些方面的能力。這種方式可以根據需要選擇適合場景的模型，同時也能夠確保數據限制在自己的網絡空間。
搭建本地大模型的關鍵內容：
（1）哪里下載開源大模型？
Huggine Face可以說是大模型的集中營。可以下載到各種開源模型庫。
（2）如何部署大模型？
部署大模型的方式很多，其中一個比較簡單的方式是使用一些框架工具，例如：LangChain、Ollama。其中Ollama是一個開源的大模型服務工具，使用起來非常簡單，旨在為用戶提供本地化的運行環境，滿足個性化的需求。
其實，Ollama已經提供了許多流行的大模型可以選擇。
而，Huggine Face目前擁有超過25萬的大模型，最新、最全的開源大模型應該都在里面，選擇性更多。
下面主要介紹如何利用Ollama從Huggine Face安裝自定義模型。
以模型Llama3-8B-Chinese-Chat為例，步驟如下：
（1）下載安裝Ollama，并確保您已安裝Ollama并正在運行。
ollama的下載地址：
https://ollama.com/br（2）去Huggingface網站下載模型的GGUF。
https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bitbr（3）創建一個模型描述文件，并輸入必要的東西。
創建一個名為 Modelfile 的文件，并使用 FROM 指令，填寫的模型的本地文件路徑。Modelfile文件中還可以添加系統提示詞以及各項參數：
# ModelfileFROM "./Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf"# set the temperature to 1 [higher is more creative, lower is more coherent]PARAMETER temperature 1#許多聊天模式需要提示模板才能正確回答。默認提示模板可以使用TEMPLATE中的Modelfile指令指定TEMPLATE "[INST] {{ .Prompt }} [/INST]"br(4)從這個模型文件中創建一個模型，并在終端中本地運行它。
創建大模型：
ollama create llama3_chinese example -f Modelfilebr運行大模型：
ollama run llama3_chinesebr具體的過程也可以參考Ollama的文檔：
本文鏈接：http://www.www897cc.com/showinfo-26-87493-0.html如何在Ollama創建自定義模型？構建本地大模型
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 純 CSS 實現標簽自動顯示超出數量
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號