SpringBoot中使用Cache提升接口性能詳解
環境：springboot2.3.12.RELEASE + JSR107 + Ehcache + JPASpring 框架從 3.1 開始，對 Spring 應用程序提供了透明式添加緩存的支持。和事務支持一樣，抽象緩存允許一致地使用各
ST微控制器和數字 IC 事業部總裁 Remi El-Ouazzane 表示，TinyML 將在未來 10 年成為微控制器市場的最大推動力。
“我真的相信這是浪潮的開始。”他在接受《EE Times》獨家采訪時說道。 “我們將看到大量帶有機器學習功能的產品：它會不斷增加，并且會吸引更多的注意力。”
STMicro 目前占據微控制器 (MCU) 市場約四分之一的份額，每天出貨 500萬 至 1000 萬個 STM32 MCU。El-Ouazzane 表示，未來五年內，其中 5 億個 MCU 將運行某種形式的 tinyML 或 AI 工作負載。
TinyML 指的是在通用 MCU 上運行人工智能或機器學習推理，“將成為世界上最大的端點市場。”他說。
El-Ouazzane 曾擔任邊緣 AI 芯片初創公司 Movidius 的首席執行官和英特爾 AI 產品組的首席運營官，他和ST的團隊在過去幾年中一直在努力將 AI 功能引入公司的產品組合中。
“雖然我相信tinyML是正在形成的最大市場，但令我感到開心的是，我們對風扇、水泵、逆變器、洗衣機滾筒制造公司的管理人員進行了三到五年的教育 ——現在他們都來了。”他說。 “我們生活在 ChatGPT 的世界里，但所有這些落后者最終都開始使用人工智能。 這是我當時對 Movidius 的愿景。我以為這需要很長時間，但我們現在就看到了。”
Remi El-Ouazzane
部署TinyML
能源管理和自動化公司施耐德電氣正在使用主流 STM32 設備進行人數統計和熱成像應用。 為此，它對熱紅外相機的傳感器數據使用分類和分割算法。 熱像儀處理和人工智能都在微控制器上運行。 施耐德可以利用該結果來優化 HVAC 系統，從而減少建筑物的二氧化碳足跡。
工業制造商Crouzet 還將 STM32 設備與tinyML 相結合，以實現預測性維護。
“這很有趣，因為對他們來說，維護成本是一筆巨款。”El-Ouazzane 說。 “他們必須在事后部署維修人員，如果飛機因為機門故障而停飛，當他們接到電話時，這可不是什么好消息。”
Crouzet 的tinyML 系統可以高精度地實時檢測信號漂移，從而在潛在故障發生之前領先一步。 該系統處理系統內部的數據，然后發送至云端進行分析。
“他們實際上正在改變他們的業務模式，以便能夠在需要維護之前進行部署，這使他們能夠更有效地部署維護人員。 而且，毫無疑問，這可以讓他們避免接到不想接到的電話。”El-Ouazzane 說道。
其他例子包括中國智能能源公司固德威，該公司正在使用tinyML處理振動和溫度傳感器數據，以防止其高功率逆變器中出現電弧。
雖然這些都是很好的例子，但為什么我們今天沒有看到爆發式成長呢？
“在了解平臺、原型設計、概念驗證、測試以及多層管理層批準之后，從開始參與到真正部署，需要三年時間。”他說。 “在工業界，一家公司從開始思考某件事、第一次與我們合作，到將庫部署到他們的產品中進行生產，至少需要三年。”
軟件堆棧
一般來說，STMicro 將其TinyML 客戶分為兩類。 工業客戶（交付時間為 3 年）通常對人工智能缺乏經驗，而投資于數據科學專業知識的公司通常可以更快地扭轉局面。 ST采取了與恩智浦等競爭對手類似的方法：軟件堆棧根據用戶的人工智能體驗水平提供不同的入口點。
對于工業用戶來說，NanoEdge AI Studio 不需要先進的數據科學知識，嵌入式軟件開發人員可根據需求創建最佳的 ML 庫友好的用戶界面。 它目前支持四種類型的庫：異常檢測、異常值檢測、分類和回歸。并且它們可以隨意組合和改變。
例如，異常值檢測可能會檢測到問題，分類可能會識別問題的根源，然后回歸可能會推斷信息以提供進一步的見解。 像 Crouzet 這樣的客戶將 NanoEdge AI 用作低代碼平臺，用于處理振動、壓力、聲音、磁場和飛行時間傳感器。
另一個STM32 Cube.AI 允許開發人員訓練神經網絡并針對內存和計算受限的環境對其進行優化。
與直覺相反的是，這個平臺的增長速度比它的低代碼兄弟平臺更快。 El-Ouazzane表示，從去年3月到今年5月，STM32 Cube.AI的桌面下載量增長了400%。
“在這里，上市時間非常快——不到兩年——因為這個平臺上的人們知道他們想要什么，知道如何部署，而且復雜程度相當高，”他說。
El-Ouazzane 知道人工智能軟件既是編譯器問題，也是工具鏈問題。 意識到讓開發人員放棄熟悉的工具鏈是很困難的，ST向 Nvidia 提出了使用其流行的Tao工具鏈的想法。 由此產生的合作意味著來自 Nvidia 或 ST模型庫的 ONNX 格式的模型可以移植到Tao工具鏈，進行訓練和優化（量化和修剪），然后轉換回 ONNX，導出到 STM32 Cube.AI 并編譯為可以在STM32上運行的C 代碼。
“對我們來說，我們的想法是：有一個參考工具鏈，我們融入得越多，我們就越能擴大開發者的范圍和我們所獲得的下載量。”El-Ouazzane 說。 “我相信 Nvidia 看到了每年 5 億個微控制器的巨大市場，并且邊緣模型必須在某個地方進行訓練。”
ST的示例應用程序展示了 STM32 MCU 執行人員檢測，然后僅將帶有人員的圖像移交給 Nvidia Jetson GPU 進行進一步的分類任務。 這減少了所需的 GPU 計算量，并可能有助于邊緣系統適應更嚴格的功率預算。
STMicro 在其開發云中為每個 STM32 部件提供了許多開發板。
El-Ouazzane 還對編寫與 ST的 Arm Cortex-M 設備兼容的軟件的第三方生態系統開放，包括 OctoML、Plumerai 等。
“其中一些公司正在幫助我們。” 他說。 “如果公司或客戶想要利用我們的解決方案，我們永遠不會阻止：這不是最佳實踐。我們正在嘗試每一輪MLPerf以獲得比他們更好的基準分數，并且我們正在縮小差距。”
在最近一輪 MLPerf Tiny 基準測試中，大約四分之三的提交是在 STM32 硬件上提交的，El-Ouazzane 表示，這說明了 STMicro 堆棧的成熟度。該公司計劃讓潛在客戶能夠在其開發云中重現其 MLPerf 結果。
El-Ouazzane 說：“我經歷了慘痛的教訓才明白，硬件性能很重要，但你的堆棧以及你用堆棧所獲得的土地才是最重要的。我們非常小心地擴大我們的生態系統，擴大開發人員的數量，并將他們留在我們的屋檐下，我們將使客戶依賴這種開發環境。”
硬件路線圖
STMicro 還致力于開發下一代嵌入式邊緣人工智能硬件。
El-Ouazzane 表示：“邊緣與訓練是不同的游戲。雖然訓練受到互連、計算和內存的限制，但在邊緣，主要限制因素是成本。”
“在微小的邊緣，當你構建產品時，你會受到成本的限制；你不能瘋狂堆砌成本。”他說，“有一個名義價格點，在 1 到 3 美元之間……部分成本還要包括微控制器中的非易失性存儲器。”
EE Times 在 2023 年 Embedded World 上獨家預覽了 STM32N6，這是一款即將推出的具有專用片上 AI 加速功能的 MCU。（來源：EE Times/Sally Ward-Foxton）
STM32N6 是第一款在片上配備自主 NPU IP 的 Cortex-M 設備，最近被展示運行以 314 fps 運行的定制版本 YOLO； 這比在 STM32H7 上運行的相同網絡快一到兩個數量級，STM32H7 是 STMicro 最強大的不帶 NPU 的 MCU。
“N6 采用傳統的馮·諾依曼架構，與我們當時在 Movidius 所做的非常相似（盡管沒有關聯），但其面積更加優化，超級緊湊，并且提供了更多的 TOPS/W性能。”El-Ouazzane說。 （Movidius 的架構基于專為 AI 構建的定制可編程 VLIW DSP，而 N6 的 NPU 是成熟的數據流設計）。
N6 9月份將為10-15個主要客戶提供樣片，預計明年正式推出。
不過，El-Ouazzane 明確表示，N6 并不是ST在 AI 領域的最終目標。
“如果我們名義上說我們希望在 2025 年至 2030 年間達到每瓦性能最終目標，那么您可以假設 N6 已經實現了十分之一。”他說。 “這就是未來幾年你將看到的增長量。 N6 是一款出色的產品，它在以人工智能為中心的用例中受到了很大的關注，但性能的爆炸式增長即將到來：微控制器上將有神經網絡融合視覺、音頻和時間序列數據。”
他對所需 10 倍性能跳躍的愿景是，支持模擬內存計算方案的非易失性存儲器至關重要。
ST今年在 ISSCC 上發表了一篇論文，內容涉及其正在為下一代開發的基于 SRAM 的內存計算設計。 該演示在INT4精度時，實現了 57 TOPS、77 TOPS/W。 然而，它可能還需要一段時間才能進入大眾市場。
El-Ouazzane 表示：“這項技術如今已在硅中實現，我們可以演示它并測量其性能。但這正在成為路線圖交叉的問題。 這肯定會在未來三到五年內發生。”
他指出，對于ST來說，當它到來時，它將會規模化。
為這種數量準備好產品需要時間——測試、文檔、支持——因此時間與技術關系不大，而與 ST 將技術轉化為大眾市場產品的速度關系更大。
“我們對于成為微控制器人工智能加速器領域的驅動者感到非常興奮，”他說。 “我們中的一些人之前已經在數據中心和客戶端空間做到了這一點，我們認為我們可以復制它。 我們的路線圖將使我們能夠在未來五年內做出令人興奮的事情。”
本文鏈接：http://www.www897cc.com/showinfo-27-6513-0.htmlST副總裁：TinyML設備將如海嘯般來臨
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
下一篇： 地下水資源監控中應用的深水液位傳感器
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號