日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 手機

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造

來源: 責編: 時間:2023-09-18 21:20:45 305觀看
導讀 蘋果Transformer的“秘密”,讓發(fā)燒友給扒出來了。大模型浪潮下,即使保守如蘋果,也每逢發(fā)布會必提“Transformer”。比如,在今年的WWDC上,蘋果就已宣布,船新版本的iOS和macOS將內置Transforme

蘋果Transformer的“秘密”,讓發(fā)燒友給扒出來了。MCy28資訊網——每日最新資訊28at.com

大模型浪潮下,即使保守如蘋果,也每逢發(fā)布會必提“Transformer”。MCy28資訊網——每日最新資訊28at.com

比如,在今年的WWDC上,蘋果就已宣布,船新版本的iOS和macOS將內置Transformer語言模型,以提供帶文本預測功能的輸入法。MCy28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造MCy28資訊網——每日最新資訊28at.com

蘋果官方沒有透露更多信息,但技術愛好者們可坐不住了。MCy28資訊網——每日最新資訊28at.com

一位名叫Jack Cook的小哥,就把macOS Sonoma beta翻了個底朝天,結果,還真挖出不少新鮮信息:MCy28資訊網——每日最新資訊28at.com

-模型架構上,Cook小哥認為蘋果的語言模型更像是基于GPT-2打造的。MCy28資訊網——每日最新資訊28at.com

-在分詞器(tokenizer)方面,表情符號在其中十分突出。MCy28資訊網——每日最新資訊28at.com

更多細節(jié),一起來看。MCy28資訊網——每日最新資訊28at.com

基于GPT-2架構MCy28資訊網——每日最新資訊28at.com

先來回顧一下蘋果基于Transformer的語言模型能在iPhone、MacBook等設備上實現怎樣的功能。MCy28資訊網——每日最新資訊28at.com

主要體現在輸入法方面。語言模型加持下的蘋果自帶輸入法,可以實現單詞預測和糾錯的功能。MCy28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造MCy28資訊網——每日最新資訊28at.com

Jack Cook小哥具體測試了一下,發(fā)現這個功能主要實現的是針對單個單詞的預測。MCy28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造MCy28資訊網——每日最新資訊28at.com

△圖源:Jack Cook博客文章MCy28資訊網——每日最新資訊28at.com

模型有時也會預測即將出現的多個單詞,但這僅限于句子語義十分明顯的情況,比較類似于Gmail里的自動完成功能。MCy28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造△圖源:Jack Cook博客文章MCy28資訊網——每日最新資訊28at.com

那么這個模型具體被裝在了哪里?一通深入挖掘之后,Cook小哥確定:MCy28資訊網——每日最新資訊28at.com

我在 /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle 中找到了預測文本模型。MCy28資訊網——每日最新資訊28at.com

原因是:MCy28資訊網——每日最新資訊28at.com

1、unilm.bundle中的許多文件在macOS Ventura(13.5)里并不存在,僅出現在了新版本macOS Sonoma beta(14.0)里。MCy28資訊網——每日最新資訊28at.com

2、unilm.bundle中存在一個sp.dat文件,這在Ventura和Sonoma beta里都能找到,但Sonoma beta的版本中更新了明顯像是分詞器的一組token。MCy28資訊網——每日最新資訊28at.com

3、sp.dat中token的數量跟unilm.bundle中的兩個文件——unilm_joint_cpu.espresso.shape和unilm_joint_ane.espresso.shape能匹配得上。這兩個文件描述了Espresso/CoreML模型中各層的形狀。MCy28資訊網——每日最新資訊28at.com

進而,小哥根據unilm_joint_cpu中描述的網絡結構,推測蘋果模型是基于GPT-2架構打造的:MCy28資訊網——每日最新資訊28at.com

主要包含token embeddings、位置編碼、解碼器塊和輸出層,每個解碼器塊中都有類似gpt2_transformer_layer_3d這樣的字眼。MCy28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造△圖源:Jack Cook博客文章MCy28資訊網——每日最新資訊28at.com

根據每層大小,小哥還推測,蘋果模型約有3400萬參數,隱藏層大小是512。也就是說,它比GPT-2小的版本還要小。MCy28資訊網——每日最新資訊28at.com

小哥認為,這主要是因為蘋果想要一種不太耗電,但同時能夠快速、頻繁運行的模型。MCy28資訊網——每日最新資訊28at.com

而蘋果官方在WWDC上的說法是,“每點擊一個鍵,iPhone就會運行模型一次”。MCy28資訊網——每日最新資訊28at.com

不過,這也就意味著,這個文本預測模型并不能很好地完整續(xù)寫句子或段落。MCy28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造△圖源:Jack Cook博客文章MCy28資訊網——每日最新資訊28at.com

模型架構之外,Cook小哥還挖出了分詞器(tokenizer)的相關信息。MCy28資訊網——每日最新資訊28at.com

他在unilm.bundle/sp.dat里發(fā)現了一組數量為15000的token,值得關注的是,其中包含100個emoji。MCy28資訊網——每日最新資訊28at.com

Cook揭秘庫克MCy28資訊網——每日最新資訊28at.com

盡管此Cook非彼庫克,小哥的博客文章一發(fā)出,還是吸引了不少關注。MCy28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造MCy28資訊網——每日最新資訊28at.com

基于他的發(fā)現,網友們熱烈地討論起蘋果在用戶體驗和前沿技術應用之間的平衡大法。MCy28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造MCy28資訊網——每日最新資訊28at.com

回到Jack Cook本人,他本科和碩士畢業(yè)于MIT的計算機專業(yè),目前還在攻讀牛津大學的互聯網社會科學碩士學位。MCy28資訊網——每日最新資訊28at.com

此前,他曾在英偉達實習,專注于BERT等語言模型的研究。他還是《紐約時報》的自然語言處理高級研發(fā)工程師。MCy28資訊網——每日最新資訊28at.com

那么,他的這一番揭秘是否也引發(fā)了你的一些思考?歡迎在評論區(qū)分享觀點~MCy28資訊網——每日最新資訊28at.com

原文鏈接:https://jackcook.com/2023/09/08/predictive-text.htmlMCy28資訊網——每日最新資訊28at.com


文章出處:量子位

本文鏈接:http://www.www897cc.com/showinfo-22-10279-0.html揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 李斌:蔚來手機是首款為車設計的手機 不需要靠廣告掙錢

下一篇: 渠道商:iPhone 15 Pro Max到貨比例為近幾年低

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 中江县| 宁海县| 上饶市| 长岛县| 澄迈县| 外汇| 鞍山市| 武汉市| 沂水县| 休宁县| 福海县| 乐亭县| 重庆市| 南澳县| 嘉定区| 灵石县| 凯里市| 临沭县| 会理县| 清远市| 垦利县| 安康市| 吕梁市| 敦化市| 濮阳县| 蓬安县| 中超| 墨竹工卡县| 巫山县| 永丰县| 句容市| 西平县| 永修县| 开封市| 石台县| 岳西县| 玛纳斯县| 达州市| 磴口县| 霍邱县| 西峡县|