Rust中的高吞吐量流處理
作者 | Noz編譯 | 王瑞平本篇文章主要介紹了Rust中流處理的概念、方法和優(yōu)化。作者不僅介紹了流處理的基本概念以及Rust中常用的流處理庫，還使用這些庫實現(xiàn)了一個流處理程序
GPT-4o新版本突然上線，更強更便宜。
能力全方位提升，ZeroEval基準(zhǔn)測試直接躍居第一。
輸入和輸出分別節(jié)省50%、33%。
四舍五入就是API降價啊。
token輸出擴展到16k，此前支持4k。
9.11和9.9誰大這個問題，也能絲滑解決。
這是因為OpenAI給API中引入了結(jié)構(gòu)化輸出。
通過JSON 模式確保模型輸出符合開發(fā)者定義的結(jié)構(gòu)，能讓模型變得更可靠安全。
最新版模型“GPT-4o-2024-08-06”在JSON模式評估中，得分100%。
相比之下，去年6月的版本得分還低于40%。
在代碼編輯方面，最新版本的基準(zhǔn)得分和此前版本相同，但是現(xiàn)在成本只有原來的一半。
還有人發(fā)現(xiàn)，這個新版本是OpenAI在圖像輸入上最便宜的型號。
API支持結(jié)構(gòu)化輸出
去年OpenAI DevDay上，官方正式給GPT-4引入了JSON模式，可以幫助開發(fā)者構(gòu)建應(yīng)用程序。
盡管JSON模式能提高模型可靠性，但是它并不能保證模型生成結(jié)果符合特定模式。
因此在這次更新中，OpenAI在API中引入結(jié)構(gòu)化輸出，可以確保模型生成內(nèi)容和開發(fā)者提供的JSON模式完全匹配。
主要形式有兩種：
1、函數(shù)調(diào)用：通過在函數(shù)定義中設(shè)置strict:true來調(diào)用結(jié)構(gòu)化輸出。
此功能適用于所有模型型號，包括gpt-4-0613和gpt-3.5-turbo-0613等。當(dāng)結(jié)構(gòu)化輸出被啟用時，模型輸出將匹配提供的工具定義。
2、response_format參數(shù)新選項。
開發(fā)者可以通過json_schema (response_format參數(shù)的新選項)提供JSON模式。
當(dāng)模型不是調(diào)用工具，而是以結(jié)構(gòu)化的方式響應(yīng)用戶時，這是有用的。該功能適用于gpt-4o-2024-08-06和gpt- 4o-mini-2024-07-18。當(dāng)response_format使用strict: true提供時，模型輸出將與提供的模式匹配。
OpenAI更新了Python和Node SDK，支持本地的結(jié)構(gòu)化輸出功能。
此外，還強調(diào)了安全輸出。新模式將遵循現(xiàn)有的安全規(guī)則，并引入了refusal字符串值來幫助開發(fā)者識別模型拒絕 unsafe 請求的情況。
結(jié)構(gòu)化輸出還可以用于動態(tài)生成用戶界面、分離最終答案與推理過程、從非結(jié)構(gòu)化數(shù)據(jù)中提取結(jié)構(gòu)化數(shù)據(jù)等多種用例。
最后在價格方面，輸入價格為2.5美元/100萬token，輸出價格為10美元/100萬token。
由于新模型在輸入和輸出上能更節(jié)省，四舍五入也是降價了。
有人發(fā)現(xiàn)，這個新模型的輸出沒有上一版本那么冗長，成本上更可控。
參考鏈接：https://openai.com/index/introducing-structured-outputs-in-the-api/
本文鏈接：http://www.www897cc.com/showinfo-25-106242-0.htmlGPT-4o新版本突然上線：絲滑解決9.11和9.9誰大
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號