日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

大模型應用的十種架構模式

來源: 責編: 時間:2024-03-26 17:38:07 168觀看
導讀在塑造新領域的過程中,我們往往依賴于一些經過實踐驗證的策略、方法和模式。這種觀念對于軟件工程領域的專業人士來說,已經司空見慣,設計模式已成為程序員們的重要技能。然而,當我們轉向大模型應用和人工智能領域,情況可能

在塑造新領域的過程中,我們往往依賴于一些經過實踐驗證的策略、方法和模式。這種觀念對于軟件工程領域的專業人士來說,已經司空見慣,設計模式已成為程序員們的重要技能。然而,當我們轉向大模型應用和人工智能領域,情況可能會有所不同。面對新興技術,例如生成式AI,我們尚缺乏成熟的設計模式來支撐這些解決方案。Vn928資訊網——每日最新資訊28at.com

作為一位老碼農,我在這里整理總結了一些針對大模型應用的設計方法和架構模式,試圖應對和解決大模型應用實現中的一些挑戰,如成本問題、延遲問題以及生成的不準確性等。Vn928資訊網——每日最新資訊28at.com

1.路由分發模式

當用戶輸入一個查詢時,該查詢會被發送到控制中心,而控制中心則扮演著對輸入進行分類的角色。Vn928資訊網——每日最新資訊28at.com

圖片圖片Vn928資訊網——每日最新資訊28at.com

如果查詢是可以識別的,那么它會被路由到小語言模型進行處理,這通常是一個更準確、響應更快且成本更低的操作。然而,如果查詢無法被識別,那么它將由大型語言模型來處理。盡管大型語言模型的運行成本較高,但它能夠成功返回更多種類型查詢的答案。通過這種方式,人工智能產品可以在成本、性能和用戶體驗之間實現平衡。Vn928資訊網——每日最新資訊28at.com

2.大模型代理模式

想象一個生態系統,其中多個專門針對特定任務的生成式AI模型各自作為其領域內的專家,并行工作以處理查詢。這種多路復用模式能夠生成一系列不同的響應,然后將這些響應整合在一起,形成一個全面的答案。Vn928資訊網——每日最新資訊28at.com

圖片圖片Vn928資訊網——每日最新資訊28at.com

這樣的設置非常適合復雜的問題解決場景,在這種場景中,問題的不同方面需要不同的專業知識,就像一個由專家組成的小組,每個專家負責處理更大問題的一個方面。Vn928資訊網——每日最新資訊28at.com

更大的模型(如GPT-4)負責理解上下文,并將其分解為特定的任務或信息請求,這些任務或信息請求被傳遞給更小的代理。這些代理可能是較小的語言模型,它們已經接受過特定任務的訓練,或者是具有特定功能的通用模型,如GPT、Llama、上下文提示和函數調用。Vn928資訊網——每日最新資訊28at.com

3.多任務微調模式

在這種架構模式中,我們對大型語言模型進行了微調,使其能夠同時處理多個任務,而非僅僅針對單個任務。這是一種跨領域知識和技能遷移學習的方法,大大增強了模型的多功能性。Vn928資訊網——每日最新資訊28at.com

圖片Vn928資訊網——每日最新資訊28at.com

這種多任務學習方法對于那些需要應對各種復雜任務的平臺來說尤其有用,例如虛擬助理或是人工智能驅動的研究工具。這極大地簡化了面向復雜領域的訓練和測試工作流程。Vn928資訊網——每日最新資訊28at.com

在訓練大型語言模型(LLM)時,我們可以利用一些資源和軟件包,如DeepSpeed,以及Hugging Face的Transformer庫。Vn928資訊網——每日最新資訊28at.com

4. 面向微調的分層緩存策略模式

我們將緩存策略和相關服務引入到大模型應用架構中,可以成功地解決成本、數據冗余以及訓練數據等組合問題。Vn928資訊網——每日最新資訊28at.com

圖片Vn928資訊網——每日最新資訊28at.com

通過儲存這些初始結果,系統能夠在后續查詢中迅速提供答案,從而顯著提高了效率。當我們累積了足夠的數據后,微調層級將啟動,利用早期交互的反饋,進一步完善一個更為專業化的模型。Vn928資訊網——每日最新資訊28at.com

專有大模型不僅簡化了操作流程,也使人工智能專業知識更好地適應特定任務,使其在需要高度精確性和適應性的環境中,如客戶服務或個性化內容創建,表現得更為高效。Vn928資訊網——每日最新資訊28at.com

對于剛入門的用戶,可以選擇使用預先構建的服務,如 GPTCache,或者使用常見的緩存數據庫,如 Redis、Cassandra、Memcached來運行自己的服務。在向混合服務中添加其他服務時,一定要記得監控并測量延遲情況。Vn928資訊網——每日最新資訊28at.com

5.混合規則模式

許多現行的商業系統和企業應用在一定程度上仍然依賴于基于規則的架構。通過將大模型與基于規則的邏輯結合,我們能夠融合結構化的精確性,旨在創造出既富有創意又遵循規范的解決方案。Vn928資訊網——每日最新資訊28at.com

圖片圖片Vn928資訊網——每日最新資訊28at.com

對于那些必須嚴格遵守標準或法規的行業或產品而言,這是一個非常有效的架構模式,它確保了人工智能在保持創新的同時,仍能遵守既定的理想參數。例如,這種架構可以應用于生成電話IVR系統或基于規則的傳統(非LLM)聊天機器人的意圖和消息流。Vn928資訊網——每日最新資訊28at.com

6.知識圖譜模式

將知識圖譜與生成型人工智能模型結合,賦予了它們面向事實的超級能力,使得輸出不僅具有上下文情境,而且更加符合事實。Vn928資訊網——每日最新資訊28at.com

圖片圖片Vn928資訊網——每日最新資訊28at.com

對于要求內容真實性和準確性不容忽視的應用來說,這種方法至關重要,比如在教育內容創作、醫療咨詢或任何誤導可能帶來嚴重后果的領域。Vn928資訊網——每日最新資訊28at.com

知識圖譜及其本體能夠將復雜主題或問題分解成結構化格式,為大型語言模型提供深層上下文基礎。我們甚至可以借助語言模型,以JSON或RDF等格式創建本體。Vn928資訊網——每日最新資訊28at.com

可用于構建知識圖譜的圖數據庫服務包括ArangoDB、Amazon Neptune、Google Dgraph、Azure Cosmos DB以及Neo4j等。此外,更廣泛的數據集和服務也能用于訪問更全面的知識圖譜,包括開源的企業知識圖譜API、PyKEEN數據集以及Wikidata等等。Vn928資訊網——每日最新資訊28at.com

7. 智能體蜂巢模式

智能體蜂巢架構模式運用了大量AI Agent,這些代理共同協作以解決一個問題,每個代理都從各自獨特的視角出發進行貢獻。Vn928資訊網——每日最新資訊28at.com

圖片圖片Vn928資訊網——每日最新資訊28at.com

由此產生的綜合結果展示了一種集體智慧的體現,其效果超越了任何一個單獨的AI個體所能達到的成果。在需要大量創新解決方案的場景中,或者在處理復雜的數據集時,這種模式尤其有效。Vn928資訊網——每日最新資訊28at.com

例如,我們可以利用多個AI Agent來共同審查一篇研究論文,整合他們的所有數據和觀點。對于處理能力要求較高的蜂巢系統,我們可以考慮部署消息隊列服務,比如Apache Kafka,以便更好地處理代理和服務間的消息傳遞。Vn928資訊網——每日最新資訊28at.com

8. 智能體組合模式

該架構模式強調了靈活性,通過模塊化的人工智能系統,能自我重新配置以優化任務性能。這就像一個多功能工具,可以根據需求選擇和激活不同的功能模塊,對于需要為各種客戶需求或產品需求定制解決方案的企業來說,這是非常有效的。Vn928資訊網——每日最新資訊28at.com

圖片圖片Vn928資訊網——每日最新資訊28at.com

我們可以通過使用各種自主代理框架和體系結構來開發每個Agent及其工具,例如CrewAI、Langchain、LLamaIndex、Microsoft Autogen和superAGI等。Vn928資訊網——每日最新資訊28at.com

通過組合不同的模塊,例如一個Agent可以專注于預測,另一個處理預約查詢,還有一個專注于生成消息,最后一個Agent來更新數據庫。將來,隨著專業AI公司提供的特定服務的增多,我們可以將一個模塊替換為外部或第三方服務,以處理特定的任務或領域的問題。Vn928資訊網——每日最新資訊28at.com

9.記憶認知模式

這種架構為人工智能引入了類似于人類記憶的元素,允許模型回憶并基于過去的交互進行學習,從而產生更細膩的反應。Vn928資訊網——每日最新資訊28at.com

圖片圖片Vn928資訊網——每日最新資訊28at.com

這對于正在進行的對話或學習場景非常有用,因為隨著時間的推移,人工智能會形成更深的理解,就像一個專業的個人助理或者在線機器學習平臺。隨著時間推移,記憶認知模式能夠將關鍵事件總結并儲存到一個向量數據庫中,進一步豐富RAG系統。Vn928資訊網——每日最新資訊28at.com

為了保持匯總計算量的合理性,我們可以通過使用更小的自然語言處理庫來進行匯總和摘要。所使用的是向量數據庫,并在提示階段進行檢索,以檢查短期記憶,并通過最近鄰搜索來定位關鍵的“事實”。有一個遵循這種模式的開源解決方案是MemGPT。Vn928資訊網——每日最新資訊28at.com

10. 雙重安全模式

圍繞大型語言模型(LLM)的核心安全性至少包含兩個關鍵組件:一是用戶組件,我們將其稱為用戶Proxy代理;二是防火墻,它為模型提供了保護層。Vn928資訊網——每日最新資訊28at.com

圖片圖片Vn928資訊網——每日最新資訊28at.com

用戶proxy代理在查詢發出和返回的過程中對用戶的query進行攔截。該代理負責清除個人身份信息(pII)和知識產權(IP)信息,記錄查詢的內容,并優化成本。Vn928資訊網——每日最新資訊28at.com

防火墻則保護模型及其所使用的基礎設施。盡管我們對人們如何操縱模型以揭示其潛在的訓練數據、潛在功能以及當今惡意行為知之甚少,但我們知道這些強大的模型是脆弱的。Vn928資訊網——每日最新資訊28at.com

在安全性相關的技術棧中,可能還存在其他安全層,但對于用戶的查詢路徑來說,Proxy代理和防火墻是最關鍵的。Vn928資訊網——每日最新資訊28at.com

沒有結束

老碼農認為,這些大模型應用的架構模式不僅僅是一種范式,很可能成為未來智能系統賴以成長的框架。隨著我們們繼續探索和創新,還會涌現出很多新的架構模式,而且這里的10個架構模式以及新涌現的架構模式可能成為人工智能服務的表現形態。Vn928資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-79444-0.html大模型應用的十種架構模式

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 三星 The Wall IWB 系列客戶品鑒會北京站舉行,助力企業邁入智能美好的數字化時代

下一篇: Netty 編程看上去懵懵的...

標簽:
  • 熱門焦點
  • 6月安卓手機好評榜:魅族20 Pro蟬聯冠軍

    性能榜和性價比榜之后,我們來看最后的安卓手機好評榜,數據來源安兔兔評測,收集時間2023年6月1日至6月30日,僅限國內市場。第一名:魅族20 Pro好評率:95%5月份的時候魅族20 Pro就是
  • 8月總票房已突破10億!《封神》第一:口碑已經成了

    8月5日消息,據燈塔專業版數據,截至8月5日9時35分,8月總票房(含預售)已突破10億。其中,《封神》以大比分的優勢領先。根據官方消息,目前該片總票房已經超過14.
  • JavaScript 混淆及反混淆代碼工具

    介紹在我們開始學習反混淆之前,我們首先要了解一下代碼混淆。如果不了解代碼是如何混淆的,我們可能無法成功對代碼進行反混淆,尤其是使用自定義混淆器對其進行混淆時。什么是混
  • 線程通訊的三種方法!通俗易懂

    線程通信是指多個線程之間通過某種機制進行協調和交互,例如,線程等待和通知機制就是線程通訊的主要手段之一。 在 Java 中,線程等待和通知的實現手段有以下幾種方式:Object 類下
  • “又被陳思誠騙了”

    作者|張思齊 出品|眾面(ID:ZhongMian_ZM)如今的國產懸疑電影,成了陳思誠的天下。最近大爆電影《消失的她》票房突破30億斷層奪魁暑期檔,陳思誠再度風頭無兩。你可以說陳思誠的
  • 三星推出Galaxy Tab S9系列平板電腦以及Galaxy Watch6系列智能手表

    2023年7月26日,三星電子正式發布了Galaxy Z Flip5與Galaxy Z Fold5。除此之外,Galaxy Tab S9系列平板電腦以及三星Galaxy Watch6系列智能手表也同期
  • OPPO K11搭載高性能石墨散熱系統:旗艦同款 性能涼爽釋放

    日前OPPO官方宣布,將于7月25日14:30舉辦新品發布會,屆時全新的OPPO K11將正式與大家見面,將主打旗艦影像,和同檔位競品相比,其最大的賣點就是將配備索尼
  • 英特爾Xe-HP項目終止,將專注Xe-HPC/HPG系列顯卡

    據10 月 31 日消息報道,英特爾高級副總裁兼加速計算系統和圖形事業部總經理 表示,Xe-HP“ Arctic Sound” 系列服務器 GPU 已經應用于 oneAPI devcloud 云服
  • 利用職權私自解除被封帳號 Meta開除20多名員工

    11月18日消息,據外媒援引知情人士表示,過去一年時間內,Facebook母公司Meta解雇或處罰了20多名員工以及合同工,指控這些人通過內部系統以不當方式重置用戶帳號,其
Top 主站蜘蛛池模板: 磐石市| 东丰县| 三江| 尖扎县| 左权县| 大厂| 凤台县| 肃南| 新宁县| 凤凰县| 姚安县| 门头沟区| 阳新县| 上杭县| 利津县| 通河县| 赫章县| 筠连县| 汶上县| 平遥县| 淅川县| 宝应县| 同心县| 柳江县| 淮南市| 衡东县| 吉林省| 屯昌县| 缙云县| 水富县| 望都县| 江津市| 丰镇市| 邢台市| 桑植县| 通江县| 两当县| 贵州省| 四平市| 凤翔县| 汾西县|