石頭智能洗地機(jī)A10 Plus體驗(yàn)：雙向自清潔治好了我的懶癌
一、前言和介紹專(zhuān)為家庭請(qǐng)假懶人而生的石頭科技在近日又帶來(lái)了自己的全新旗艦新品，石頭智能洗地機(jī)A10 Plus。從這個(gè)產(chǎn)品名上就不難看出，這次石頭推出的并不是常見(jiàn)的掃地機(jī)器
好家伙，華為HarmonyOS接入大模型，智慧助手可以這么玩了嗎？
只需一句中文指令，華為小藝就寫(xiě)出一封英文郵件：
可以把自己的照片用AI做成不同風(fēng)格：
還能說(shuō)一長(zhǎng)串指令，讓它自己創(chuàng)建復(fù)雜場(chǎng)景，大白話就能聽(tīng)得懂：
這就是華為HarmonyOS 4中的全新小藝。
它是在華為盤(pán)古L0基座大模型的基礎(chǔ)上，融入大量場(chǎng)景數(shù)據(jù)，對(duì)模型進(jìn)行精調(diào)，后煉成的一個(gè)L1層對(duì)話模型。
能搞定文本生成、知識(shí)查找、資料總結(jié)、智能編排、模糊/復(fù)雜意圖理解等任務(wù)。
而且也可以調(diào)用各種APP服務(wù)，實(shí)現(xiàn)系統(tǒng)級(jí)的智能化體驗(yàn)。
所以，全新華為小藝，到底能做哪些事？
更聰明、更能干、更貼心
基于大模型能力，華為小藝這一次主要在三方面做了升級(jí)：
-智慧交互
-高效生產(chǎn)力
-個(gè)性化服務(wù)
具體能力提升包括更自然語(yǔ)言對(duì)話、玩機(jī)知識(shí)問(wèn)答、查找生活服務(wù)、對(duì)話識(shí)別屏幕內(nèi)容、生成摘要文案圖片等。
首先，智慧交互升級(jí)讓對(duì)話、交互更自然流暢了。
華為小藝可以聽(tīng)懂大白話，理解模糊意圖和復(fù)雜命令。
找不到新的壁紙?jiān)O(shè)置功能、也不知道功能名稱(chēng)，可以直接問(wèn)：
那個(gè)可以根據(jù)天氣實(shí)時(shí)變化的壁紙?jiān)趺磽Q？
或者是一個(gè)復(fù)雜的命令，包含多個(gè)要求的那種：
找一家松山湖附近，評(píng)分高的海鮮餐廳，好有適合四個(gè)人的優(yōu)惠套餐。
小藝也能調(diào)用服務(wù)找到滿足要求的餐廳。
同時(shí)小藝也具備多模態(tài)能力，能理解圖像內(nèi)容。這樣原本需要用戶自己看完再手動(dòng)操作的步驟，也能交給小藝了。
比如讓它看一張邀請(qǐng)函，然后說(shuō)：導(dǎo)航去圖上的地址。
它能夠提取出圖上地址信息，并調(diào)用地圖服務(wù)導(dǎo)航。
或者是把邀請(qǐng)函中的聯(lián)系信息保存，可以看到它能夠很好理解圖像中的文本信息。
更進(jìn)一步，現(xiàn)在還能通過(guò)小藝進(jìn)行復(fù)雜任務(wù)編排，不用咱們自己手動(dòng)反復(fù)設(shè)置了。
比如可以讓它設(shè)置一個(gè)晨跑場(chǎng)景：
幫我創(chuàng)建晨跑場(chǎng)景。每周一到周五早上6點(diǎn)半為我播報(bào)當(dāng)天天氣。當(dāng)我戴上藍(lán)牙耳機(jī)的時(shí)候，就播放收藏的歌曲，并把手機(jī)設(shè)為靜音模式。
小藝能夠聽(tīng)懂這一長(zhǎng)串要求，再去調(diào)用不同功能。并且可以基于手機(jī)狀態(tài)（是否連接藍(lán)牙耳機(jī)），來(lái)自行判斷是否要執(zhí)行某些操作。
其次，得益于大模型等能力加持，現(xiàn)在小藝可提供更高效的生產(chǎn)力工具。
幫你看、讀、寫(xiě)都沒(méi)問(wèn)題。
比如給它看一篇英文文章，然后提問(wèn)這篇文章中講了什么？
小藝就能用中文做出通俗簡(jiǎn)潔的解釋。
如果用戶過(guò)去讓它記住過(guò)一些信息，也能調(diào)用出來(lái)生成相應(yīng)內(nèi)容。
過(guò)幾天就要約David見(jiàn)面聊項(xiàng)目了，結(jié)合上次會(huì)議記的信息，寫(xiě)一份英文會(huì)議預(yù)約郵件。
包括開(kāi)頭提到的，小藝也能利用AI視覺(jué)能力，將照片創(chuàng)作成多種風(fēng)格。
后，作為智慧助手，小藝現(xiàn)在支持更加個(gè)性化服務(wù)，也能更懂你。
可以當(dāng)記事本、備忘錄使用，一些小事都能通過(guò)口頭完成記錄。
華為表示，所有記憶內(nèi)容都是在用戶授權(quán)下完成，會(huì)充分保護(hù)用戶隱私。
此外小藝建議如今也可以感知到更多用戶的高頻場(chǎng)景，能主動(dòng)提供一站式的智慧組合建議，省去很多自己手動(dòng)查找的過(guò)程。
比如在出境旅游的場(chǎng)景下，出發(fā)前小藝能實(shí)時(shí)提醒新匯率、兌換外幣、幫助用戶即時(shí)獲取目的地游玩攻略；到達(dá)目的地后，還能提醒行李轉(zhuǎn)盤(pán)信息、一鍵開(kāi)啟境外流量、快速獲取實(shí)時(shí)翻譯工具等。
據(jù)介紹，全新小藝智慧場(chǎng)景增加3倍，POI數(shù)量提升了7倍，能夠覆蓋核心餐飲購(gòu)物門(mén)店、商圈、機(jī)場(chǎng)高鐵站等場(chǎng)景。
總結(jié)來(lái)看，全新小藝不僅獲得了新的AIGC能力，還改善了手機(jī)語(yǔ)音助手過(guò)去經(jīng)常被詬病的一些短板。
如沒(méi)有記憶力、對(duì)話呆板、聽(tīng)不懂大白話等……
這一切當(dāng)然得益于大模型的加持，不過(guò)小藝具體是怎么做的？
小藝擁抱大模型
小藝依托的底層模型是華為盤(pán)古系列。
今年7月，華為正式發(fā)布盤(pán)古大模型3.0，并提出3層模型架構(gòu)。
L0：基礎(chǔ)大模型，包括自然語(yǔ)言、視覺(jué)、多模態(tài)、預(yù)測(cè)、科學(xué)計(jì)算；
L1：N個(gè)行業(yè)大模型，比如政務(wù)、金融、制造、礦山、氣象等；
L2：更細(xì)化場(chǎng)景的模型，提供“開(kāi)箱即用”的模型服務(wù)
其中L0層基礎(chǔ)大模型大版本包含1000億參數(shù)，預(yù)訓(xùn)練使用了超3萬(wàn)億tokens。
小藝正是在華為盤(pán)古L0基座大模型的基礎(chǔ)上，針對(duì)終端消費(fèi)者場(chǎng)景構(gòu)建了大量的場(chǎng)景數(shù)據(jù)，并對(duì)模型進(jìn)行精調(diào)，后煉成的L1層對(duì)話模型。
在精調(diào)中，小藝加入了覆蓋終端消費(fèi)者的主流數(shù)據(jù)類(lèi)型，如對(duì)話、旅游攻略、設(shè)備操控、吃穿住行等。
這能很好覆蓋普通用戶日常對(duì)話的知識(shí)范圍，并且可以增強(qiáng)模型對(duì)話過(guò)程中的事實(shí)性、實(shí)時(shí)性以及安全合規(guī)等。
不過(guò)眾所周知，大模型因?yàn)橐?guī)模大的特性，在部署和快速響應(yīng)上都很有挑戰(zhàn)。
部署方面，華為正在不斷增強(qiáng)大模型端云協(xié)同的能力，端側(cè)大模型可以先對(duì)用戶請(qǐng)求和上下文信息做一層預(yù)處理，再將預(yù)處理后的request請(qǐng)求到云側(cè)。
這樣做的好處是，既能發(fā)揮端側(cè)模型響應(yīng)快的優(yōu)勢(shì)，又能通過(guò)云端模型來(lái)提升問(wèn)答和響應(yīng)質(zhì)量，同時(shí)也能更進(jìn)一步保護(hù)用戶隱私數(shù)據(jù)。
而在降低推理時(shí)延上，華為小藝做了系統(tǒng)性工程優(yōu)化，包含從底層芯片、推理框架、模型算子、輸入輸出長(zhǎng)度等全鏈路。
通過(guò)對(duì)各個(gè)模塊時(shí)延進(jìn)行拆解，研發(fā)團(tuán)隊(duì)明確了各部分優(yōu)化目標(biāo)，利用算子融合、顯存優(yōu)化、pipeline優(yōu)化等方式降低時(shí)延。
同時(shí)prompt長(zhǎng)度和輸出長(zhǎng)度也會(huì)影響大模型推理速度。
在這方面，華為針對(duì)不同場(chǎng)景的prompt和輸出格式做了逐字分析和壓縮，終實(shí)現(xiàn)推理時(shí)延減半。
從整體技術(shù)架構(gòu)來(lái)看，華為小藝和大模型的融合，不是簡(jiǎn)單對(duì)聊天、AIGC、回復(fù)等任務(wù)進(jìn)行增強(qiáng)，而是以大模型為核心，進(jìn)行了系統(tǒng)級(jí)增強(qiáng)。
換言之，就是讓大模型成為系統(tǒng)的“大腦”。
其底層邏輯是：將用戶的任務(wù)分配給合適的系統(tǒng)，各個(gè)系統(tǒng)各司其職，同時(shí)在復(fù)雜場(chǎng)景上增強(qiáng)體驗(yàn)。
具體來(lái)看小藝的典型對(duì)話流程，一共可分為三步：
第一步，接收用戶問(wèn)題，基于上下文理解/小藝記憶的能力，分析問(wèn)題該如何處理。
第二步，根據(jù)請(qǐng)求類(lèi)型調(diào)用不同能力，包括元服務(wù)檢索、創(chuàng)意生成、知識(shí)檢索。
如果用戶發(fā)起的請(qǐng)求涉及到元服務(wù)，比如他詢問(wèn)附近有哪些可以聚會(huì)的餐廳，這就涉及到了美食APP服務(wù)的調(diào)用，系統(tǒng)需要API生成，后由服務(wù)方基于推薦機(jī)制給出響應(yīng)。
如果用戶詢問(wèn)的是知識(shí)問(wèn)題，比如問(wèn)盤(pán)古大模型有多少參數(shù)。這時(shí)系統(tǒng)會(huì)調(diào)用搜索引擎、對(duì)應(yīng)領(lǐng)域知識(shí)、向量知識(shí)進(jìn)行查詢，然后融合生成答案。
如果用戶的請(qǐng)求是生成式任務(wù)，那么大模型自身能力即可給出回復(fù)。
后一步，所有生成的回答會(huì)經(jīng)過(guò)風(fēng)控評(píng)估，再返還給用戶。
除此之外，小藝在細(xì)節(jié)上也做了更進(jìn)一步的把控，進(jìn)行了一系列底層開(kāi)發(fā)，以確保問(wèn)答、執(zhí)行任務(wù)的效果。
可以來(lái)看數(shù)據(jù)方面。
小藝從2017年起在HarmonyOS上線后，對(duì)普通用戶的對(duì)話習(xí)慣已經(jīng)有了一定積累。在此之上，華為又構(gòu)建了大量不同類(lèi)型表達(dá)的語(yǔ)料庫(kù)，盡可能覆蓋更多文字和口語(yǔ)表達(dá)，讓大模型在預(yù)訓(xùn)練階段中就能精通各種表達(dá)。
為了能更好評(píng)估提升小藝能力，華為構(gòu)建了一個(gè)完整測(cè)試數(shù)據(jù)集。
這不僅能評(píng)測(cè)現(xiàn)有開(kāi)放大模型能力，也能基于評(píng)測(cè)結(jié)果指導(dǎo)小藝在數(shù)據(jù)和能力上的構(gòu)建。
想讓小藝掌握工具調(diào)用，挑戰(zhàn)性也很高。
設(shè)備控制需要大模型生成長(zhǎng)達(dá)數(shù)百個(gè)token的復(fù)雜格式文本，其中不能出現(xiàn)任何格式錯(cuò)誤，否則中控系統(tǒng)將無(wú)法解析和對(duì)接。
為了讓大模型能達(dá)到如此生成標(biāo)準(zhǔn)，華為一方面用prompt摸清楚大模型的“脾氣”，同時(shí)加強(qiáng)大模型的代碼能力，進(jìn)而增強(qiáng)模型的格式遵從能力，終實(shí)現(xiàn)了格式幾乎百分百遵從。
而針對(duì)復(fù)雜場(chǎng)景，小藝的方式是先利用大模型能力充分學(xué)習(xí)和理解工具場(chǎng)景，再進(jìn)行推理。
據(jù)了解，團(tuán)隊(duì)優(yōu)化模型設(shè)備控制效果從完全不可用，提升為可用度超8成。
加之原生HarmonyOS也使得優(yōu)化現(xiàn)有API成為可能，通過(guò)這種反向適配，也能更好發(fā)揮大模型特長(zhǎng)。
面向全場(chǎng)景、不局限于手機(jī)端
所以，為什么是華為能如此迅速將大模型能力部署到智慧助手上？
在底層基礎(chǔ)研發(fā)的積累和攻關(guān)必不可少，不過(guò)還有一點(diǎn)值得關(guān)注——
華為選擇了從實(shí)際場(chǎng)景做切入，來(lái)確定該如何讓大模型和智慧助手乃至整個(gè)操作系統(tǒng)做結(jié)合。
用華為自己的話來(lái)說(shuō)就是：
Talk is cheap. Show me the Demo.
而以上展示的諸多體驗(yàn)，也都來(lái)自于華為研發(fā)團(tuán)隊(duì)成員日常感知到的場(chǎng)景。
比如有人習(xí)慣上下班開(kāi)車(chē)路上獲取新聞，對(duì)于太長(zhǎng)資訊只能看不方便聽(tīng)，所以在華為小藝中出現(xiàn)了資訊總結(jié)的功能。
還有人發(fā)現(xiàn)自己在寫(xiě)購(gòu)物評(píng)論、生日祝福的時(shí)候總是詞窮，所以華為小藝提供了文案生成功能。
而這種對(duì)場(chǎng)景體驗(yàn)的關(guān)注，是HarmonyOS的天生優(yōu)勢(shì)。
從誕生起，HarmonyOS便沒(méi)有局限于手機(jī)端，而是面向多種終端、全場(chǎng)景。
如今已經(jīng)打造出“1+8+N”全場(chǎng)景生態(tài)。
華為小藝現(xiàn)在也已部署在了1+8設(shè)備上，未來(lái)將結(jié)合全場(chǎng)景設(shè)備的業(yè)務(wù)形態(tài)，逐步把擁有大模型能力的小藝部署到消費(fèi)者全場(chǎng)景體驗(yàn)之上。
而小藝作為一個(gè)AI驅(qū)動(dòng)的智慧助手，從誕生起也在不斷集成各種AI能力，如AI字幕、小藝?yán)首x等。其背后研發(fā)團(tuán)隊(duì)，也始終關(guān)注AI與智慧助手的更多可能。
據(jù)透露，去年團(tuán)隊(duì)便留意到百億規(guī)模的預(yù)訓(xùn)練模型結(jié)合prompt提示技術(shù)，已經(jīng)可以帶來(lái)非常不錯(cuò)的文本理解和生成能力了，并能在閑聊、問(wèn)答、任務(wù)式對(duì)話上有應(yīng)用。
隨著新一輪AI趨勢(shì)爆發(fā)，RLHF給大模型帶來(lái)顯著提升，產(chǎn)業(yè)落地的大門(mén)正式開(kāi)啟。
今年生成式AI趨勢(shì)發(fā)生以來(lái)，諸多應(yīng)用都選擇接入大模型能力、內(nèi)置智慧助手。
但華為作為全球懂操作系統(tǒng)的廠商之一，選擇從更底層切入，用大模型來(lái)重塑OS。
更底層，意味著更徹底、更全面。
但對(duì)于研發(fā)來(lái)說(shuō)，挑戰(zhàn)也更大。
這不僅需要足夠堅(jiān)實(shí)的模型底座，還需要進(jìn)行系統(tǒng)級(jí)的融合優(yōu)化，同時(shí)也對(duì)場(chǎng)景理解、用戶需求感知提出要求。
對(duì)應(yīng)來(lái)看：華為是早具有大模型能力的國(guó)內(nèi)廠商之一；構(gòu)建全棧AI開(kāi)發(fā)能力；HarmonyOS覆蓋7億+設(shè)備……
由此，也就不難理解為什么華為小藝會(huì)快速接入大模型能力，讓HarmonyOS 4成為如今首個(gè)全面接入大模型的操作系統(tǒng)。
而作為全球受關(guān)注的操作系統(tǒng)之一，HarmonyOS率先擁抱大模型，或許也會(huì)開(kāi)啟一種新范式，讓人人打開(kāi)手機(jī)就能體驗(yàn)大模型能力，不再局限于想象之中。
目前，華為已公布小藝測(cè)試計(jì)劃：
全新小藝將在今年8月底開(kāi)放邀請(qǐng)測(cè)試，并于晚些時(shí)候在搭載HarmonyOS 4.0及以上的部分機(jī)型通過(guò)OTA升級(jí)體驗(yàn)，具體升級(jí)計(jì)劃稍晚公布。
感興趣的童鞋，可以來(lái)蹲蹲看~
本文鏈接：http://www.www897cc.com/showinfo-22-5374-0.html華為率先把大模型接入手機(jī)！小藝助手智商+++
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)