日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 手機

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造

來源: 責編: 時間:2023-09-18 21:20:45 304觀看
導讀 蘋果Transformer的“秘密”,讓發燒友給扒出來了。大模型浪潮下,即使保守如蘋果,也每逢發布會必提“Transformer”。比如,在今年的WWDC上,蘋果就已宣布,船新版本的iOS和macOS將內置Transforme

蘋果Transformer的“秘密”,讓發燒友給扒出來了。aRf28資訊網——每日最新資訊28at.com

大模型浪潮下,即使保守如蘋果,也每逢發布會必提“Transformer”。aRf28資訊網——每日最新資訊28at.com

比如,在今年的WWDC上,蘋果就已宣布,船新版本的iOS和macOS將內置Transformer語言模型,以提供帶文本預測功能的輸入法。aRf28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造aRf28資訊網——每日最新資訊28at.com

蘋果官方沒有透露更多信息,但技術愛好者們可坐不住了。aRf28資訊網——每日最新資訊28at.com

一位名叫Jack Cook的小哥,就把macOS Sonoma beta翻了個底朝天,結果,還真挖出不少新鮮信息:aRf28資訊網——每日最新資訊28at.com

-模型架構上,Cook小哥認為蘋果的語言模型更像是基于GPT-2打造的。aRf28資訊網——每日最新資訊28at.com

-在分詞器(tokenizer)方面,表情符號在其中十分突出。aRf28資訊網——每日最新資訊28at.com

更多細節,一起來看。aRf28資訊網——每日最新資訊28at.com

基于GPT-2架構aRf28資訊網——每日最新資訊28at.com

先來回顧一下蘋果基于Transformer的語言模型能在iPhone、MacBook等設備上實現怎樣的功能。aRf28資訊網——每日最新資訊28at.com

主要體現在輸入法方面。語言模型加持下的蘋果自帶輸入法,可以實現單詞預測和糾錯的功能。aRf28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造aRf28資訊網——每日最新資訊28at.com

Jack Cook小哥具體測試了一下,發現這個功能主要實現的是針對單個單詞的預測。aRf28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造aRf28資訊網——每日最新資訊28at.com

△圖源:Jack Cook博客文章aRf28資訊網——每日最新資訊28at.com

模型有時也會預測即將出現的多個單詞,但這僅限于句子語義十分明顯的情況,比較類似于Gmail里的自動完成功能。aRf28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造△圖源:Jack Cook博客文章aRf28資訊網——每日最新資訊28at.com

那么這個模型具體被裝在了哪里?一通深入挖掘之后,Cook小哥確定:aRf28資訊網——每日最新資訊28at.com

我在 /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle 中找到了預測文本模型。aRf28資訊網——每日最新資訊28at.com

原因是:aRf28資訊網——每日最新資訊28at.com

1、unilm.bundle中的許多文件在macOS Ventura(13.5)里并不存在,僅出現在了新版本macOS Sonoma beta(14.0)里。aRf28資訊網——每日最新資訊28at.com

2、unilm.bundle中存在一個sp.dat文件,這在Ventura和Sonoma beta里都能找到,但Sonoma beta的版本中更新了明顯像是分詞器的一組token。aRf28資訊網——每日最新資訊28at.com

3、sp.dat中token的數量跟unilm.bundle中的兩個文件——unilm_joint_cpu.espresso.shape和unilm_joint_ane.espresso.shape能匹配得上。這兩個文件描述了Espresso/CoreML模型中各層的形狀。aRf28資訊網——每日最新資訊28at.com

進而,小哥根據unilm_joint_cpu中描述的網絡結構,推測蘋果模型是基于GPT-2架構打造的:aRf28資訊網——每日最新資訊28at.com

主要包含token embeddings、位置編碼、解碼器塊和輸出層,每個解碼器塊中都有類似gpt2_transformer_layer_3d這樣的字眼。aRf28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造△圖源:Jack Cook博客文章aRf28資訊網——每日最新資訊28at.com

根據每層大小,小哥還推測,蘋果模型約有3400萬參數,隱藏層大小是512。也就是說,它比GPT-2小的版本還要小。aRf28資訊網——每日最新資訊28at.com

小哥認為,這主要是因為蘋果想要一種不太耗電,但同時能夠快速、頻繁運行的模型。aRf28資訊網——每日最新資訊28at.com

而蘋果官方在WWDC上的說法是,“每點擊一個鍵,iPhone就會運行模型一次”。aRf28資訊網——每日最新資訊28at.com

不過,這也就意味著,這個文本預測模型并不能很好地完整續寫句子或段落。aRf28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造△圖源:Jack Cook博客文章aRf28資訊網——每日最新資訊28at.com

模型架構之外,Cook小哥還挖出了分詞器(tokenizer)的相關信息。aRf28資訊網——每日最新資訊28at.com

他在unilm.bundle/sp.dat里發現了一組數量為15000的token,值得關注的是,其中包含100個emoji。aRf28資訊網——每日最新資訊28at.com

Cook揭秘庫克aRf28資訊網——每日最新資訊28at.com

盡管此Cook非彼庫克,小哥的博客文章一發出,還是吸引了不少關注。aRf28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造aRf28資訊網——每日最新資訊28at.com

基于他的發現,網友們熱烈地討論起蘋果在用戶體驗和前沿技術應用之間的平衡大法。aRf28資訊網——每日最新資訊28at.com

揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造aRf28資訊網——每日最新資訊28at.com

回到Jack Cook本人,他本科和碩士畢業于MIT的計算機專業,目前還在攻讀牛津大學的互聯網社會科學碩士學位。aRf28資訊網——每日最新資訊28at.com

此前,他曾在英偉達實習,專注于BERT等語言模型的研究。他還是《紐約時報》的自然語言處理高級研發工程師。aRf28資訊網——每日最新資訊28at.com

那么,他的這一番揭秘是否也引發了你的一些思考?歡迎在評論區分享觀點~aRf28資訊網——每日最新資訊28at.com

原文鏈接:https://jackcook.com/2023/09/08/predictive-text.htmlaRf28資訊網——每日最新資訊28at.com


文章出處:量子位

本文鏈接:http://www.www897cc.com/showinfo-22-10279-0.html揭秘蘋果iPhone里的Transformer:基于GPT-2架構打造

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 李斌:蔚來手機是首款為車設計的手機 不需要靠廣告掙錢

下一篇: 渠道商:iPhone 15 Pro Max到貨比例為近幾年低

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 肃宁县| 安宁市| 合川市| 遂川县| 普兰店市| 柳江县| 库伦旗| 临澧县| 苏尼特右旗| 龙山县| 晋州市| 延庆县| 微山县| 西安市| 塔河县| 将乐县| 黄冈市| 西林县| 永登县| 高台县| 霍林郭勒市| 郁南县| 桂林市| 永新县| 微山县| 黑龙江省| 苍南县| 盐城市| 土默特左旗| 多伦县| 广汉市| 灌阳县| 迁安市| 巩留县| 青阳县| 富民县| 莫力| 淮阳县| 延边| 寿阳县| 田阳县|