日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

計算機底層原理~CPU緩存一致性

來源: 責編: 時間:2023-08-14 22:01:05 335觀看
導讀CPU Cache知識回顧CPU 的高速緩存,通常可以分為 L1、L2、L3 這樣的三層高速緩存,也稱為一級緩存、二級緩存、三級緩存。L1 高速緩存訪問速度幾乎和寄存器一樣快,大小在幾十 KB 到幾百 KB 不等。每個 CPU 核心都有一塊屬

CPU Cache知識回顧

CPU 的高速緩存,通常可以分為 L1、L2、L3 這樣的三層高速緩存,也稱為一級緩存、二級緩存、三級緩存。cyR28資訊網——每日最新資訊28at.com

cyR28資訊網——每日最新資訊28at.com

L1 高速緩存訪問速度幾乎和寄存器一樣快,大小在幾十 KB 到幾百 KB 不等。每個 CPU 核心都有一塊屬于自己的 L1 高速緩存。cyR28資訊網——每日最新資訊28at.com

L2 高速緩存同樣每個 CPU 核心都有,但是 L2 高速緩存位置比 L1 高速緩存距離 CPU 核心 更遠,它大小比 L1 高速緩存更大,CPU 型號不同大小也就不同,通常大小在幾百 KB 到幾 MB 不等,訪問速度則更慢。cyR28資訊網——每日最新資訊28at.com

L3 高速緩存通常是多個 CPU 核心共用的,位置比 L2 高速緩存距離 CPU 核心 更遠,大小也會更大些,通常大小在幾 MB 到幾十 MB 不等。cyR28資訊網——每日最新資訊28at.com

cpu cache 結構

CPU Cache 是由很多個 Cache Line 組成的,CPU Line 是 CPU 從內存讀取數據的基本單位,而 CPU Line 是由各種標志(Tag)+ 數據塊(Data Block)組成,你可以在下圖清晰的看到:cyR28資訊網——每日最新資訊28at.com

cyR28資訊網——每日最新資訊28at.com

Cpu cache數據寫入的兩種方式

多核CPU同時工作的時候,每個核心都會從內存中讀取一份數據并緩存到自己的Cache中,當發生寫操作的時候,有兩種情況cyR28資訊網——每日最新資訊28at.com

  • 寫直達:只要有數據寫入,都會把數據同時寫入內存和 Cache 中,這種方式簡單直觀,但是性能就會受限于內存的訪問速度;
  • 寫回:對于已經緩存在 Cache 的數據的寫入,只需要更新其數據就可以,不用寫入到內存,只有在需要把緩存里面的臟數據交換出去的時候,才把數據同步到內存里,這種方式在緩存命中率高的情況,性能會更好;

寫直達

cyR28資訊網——每日最新資訊28at.com

寫回

寫直達由于每次寫操作都會把數據寫回到內存,而導致影響性能,于是為了要減少數據寫回內存的頻率,就出現了寫回的方法。cyR28資訊網——每日最新資訊28at.com

  • 寫回策略會在每個 Cache 塊上增加一個 “臟(Dirty)” 標記位 ,當一個 Cache 被標記為臟時,說明它的數據與內存數據是不一致的;
  • 在寫入操作時,我們只需要修改 Cache 塊并將其標記為臟,而不需要寫入內存;
  • 那么,什么時候才將臟數據寫回內存呢?—— 就發生在 Cache 塊被替換出去的時候:

寫回策略能夠減少寫回內存的次數,性能會比寫直達更高。當然,寫回策略在讀取的時候,有可能不是純粹的讀取了,因為還可能會觸發一次臟 Cache 塊的寫入。cyR28資訊網——每日最新資訊28at.com

這里還有一個設計: 在目標內存塊不在 Cache 中時,寫直達策略會直接寫入內存。而寫回策略會先把數據讀取到 Cache 中再修改 Cache 數據,這似乎有點多余?其實還是為了減少寫回內存的次數。雖然在未命中時會增加一次讀取操作,但后續重復的寫入都能命中緩存。否則,只要一直不讀取數據,寫回策略的每次寫入操作還是需要寫入內存。cyR28資訊網——每日最新資訊28at.com

寫回操作-寫入邏輯

cyR28資訊網——每日最新資訊28at.com

寫回操作-讀取邏輯

cyR28資訊網——每日最新資訊28at.com

實現緩存一致性

在單核 CPU 中,我們通過寫直達策略或寫回策略保持了Cache 與內存的一致性。但是在多核 CPU 中,由于每個核心都有一份獨占的 Cache,就會存在一個核心修改數據后,兩個核心 Cache 不一致的問題。cyR28資訊網——每日最新資訊28at.com

舉個例子:cyR28資訊網——每日最新資訊28at.com

  • Core 1 和 Core 2 讀取了同一個內存塊的數據,在兩個 Core 都緩存了一份內存塊的副本。此時,Cache 和內存塊是一致的;
  • Core 1 執行內存寫入操作:

在寫直達策略中,新數據會直接寫回內存,此時,Cache 和內存塊一致。但由于之前 Core 2 已經讀過這塊數據,所以 Core 2 緩存的數據還是舊的。此時,Core 1 和 Core 2 不一致;cyR28資訊網——每日最新資訊28at.com

在寫回策略中,新數據會延遲寫回內存,此時 Cache 和內存塊不一致。不管 Core 2 之前有沒有讀過這塊數據,Core 2 的數據都是舊的。此時,Core 1 和 Core 2 不一致。cyR28資訊網——每日最新資訊28at.com

  • 由于 Core 2 無法感知到 Core 1 的寫入操作,如果繼續使用過時的數據,就會出現邏輯問題。

由于兩個核心的工作是獨立的,在一個核心上的修改行為不會被其它核心感知到,所以不管 CPU 使用寫直達策略還是寫回策略,都會出現緩存不一致問題。 所以,我們需要一種機制,將多個核心的工作聯合起來,共同保證多個核心下的 Cache 一致性,這就是緩存一致性機制。cyR28資訊網——每日最新資訊28at.com

寫傳播 & 事務串行化

緩存一致性機制需要解決的問題就是 2 點:cyR28資訊網——每日最新資訊28at.com

  • 特性 1 - 寫傳播(Write Propagation): 每個 CPU 核心的寫入操作,需要傳播到其他 CPU 核心;
  • 特性 2 - 事務串行化(Transaction Serialization): 各個 CPU 核心所有寫入操作的順序,在所有 CPU 核心看起來是一致。

總線嗅探 & 總線仲裁

寫傳播和事務串行化在 CPU 中是如何實現的呢?cyR28資訊網——每日最新資訊28at.com

寫傳播 - 總線嗅探: 總線除了能在一個主模塊和一個從模塊之間傳輸數據,還支持一個主模塊對多個從模塊寫入數據,這種操作就是廣播。要實現寫傳播,其實就是將所有的讀寫操作廣播到所有 CPU 核心,而其它 CPU 核心時刻監聽總線上的廣播,再修改本地的數據;cyR28資訊網——每日最新資訊28at.com

可以發現,總線嗅探方法很簡單, CPU 需要每時每刻監聽總線上的一切活動,但是不管別的核心的 Cache 是否緩存相同的數據,都需要發出一個廣播事件,這無疑會加重總線的負載。cyR28資訊網——每日最新資訊28at.com

事務串行化 - 總線仲裁: 總線的獨占性要求同一時刻最多只有一個主模塊占用總線,天然地會將所有核心對內存的讀寫操作串行化。如果多個核心同時發起總線事務,此時總線仲裁單元會對競爭做出仲裁,未獲勝的事務只能等待獲勝的事務處理完成后才能執行。cyR28資訊網——每日最新資訊28at.com

基于總線嗅探和總線仲裁,現代 CPU 逐漸形成了各種緩存一致性協議,例如 MESI 協議。cyR28資訊網——每日最新資訊28at.com

MESI協議

MESI 協議其實是 CPU Cache 的有限狀態機,一共有 4 個狀態(MESI 就是狀態的首字母):cyR28資訊網——每日最新資訊28at.com

  • M(Modified,已修改): 表明 Cache 塊被修改過,但未同步回內存;
  • E(Exclusive,獨占): 表明 Cache 塊被當前核心獨占,而其它核心的同一個 Cache 塊會失效;
  • S(Shared,共享): 表明 Cache 塊被多個核心持有且都是有效的;
  • I(Invalidated,已失效): 表明 Cache 塊的數據是過時的。

在 「獨占」 和 「共享」 狀態下,Cache 塊的數據是 “清” 的,任何讀取操作可以直接使用 Cache 數據;cyR28資訊網——每日最新資訊28at.com

在 「已失效」 和 「已修改」 狀態下,Cache 塊的數據是 “臟” 的,它們和內存的數據都可能不一致。在讀取或寫入 “已失效” 數據時,需要先將其它核心 “已修改” 的數據寫回內存,再從內存讀取;cyR28資訊網——每日最新資訊28at.com

「獨占」和「共享」的差別在于,獨占狀態的時候,數據只存儲在一個 CPU 核心的 Cache 里,而其他 CPU 核心的 Cache 沒有該數據。這個時候,如果要向獨占的 Cache 寫數據,就可以直接自由地寫入,而不需要通知其他 CPU 核心,因為只有你這有這個數據,就不存在緩存一致性的問題了,于是就可以隨便操作該數據。cyR28資訊網——每日最新資訊28at.com

另外,在「獨占」狀態下的數據,如果有其他核心從內存讀取了相同的數據到各自的 Cache ,那么這個時候,獨占狀態下的數據就會變成共享狀態。cyR28資訊網——每日最新資訊28at.com

那么,「共享」狀態代表著相同的數據在多個 CPU 核心的 Cache 里都有,所以當我們要更新 Cache 里面的數據的時候,不能直接修改,而是要先向所有的其他 CPU 核心廣播一個請求,要求先把其他核心的 Cache 中對應的 Cache Line 標記為「無效」狀態,然后再更新當前 Cache 里面的數據。cyR28資訊網——每日最新資訊28at.com

事實上,完整的 MESI 協議更復雜,但我們沒必要記得這么細。我們只需要記住最關鍵的 2 點:cyR28資訊網——每日最新資訊28at.com

  • 關鍵 1 - 阻止同時有多個核心修改的共享數據: 當一個 CPU 核心要求修改數據時,會先廣播 RFO 請求獲得 Cache 塊的所有權,并將其它 CPU 核心中對應的 Cache 塊置為已失效狀態;
  • 關鍵 2 - 延遲回寫: 只有在需要的時候才將數據寫回內存,當一個 CPU 核心要求訪問已失效狀態的 Cache 塊時,會先要求其它核心先將數據寫回內存,再從內存讀取。

提示: MESI 協議在 MSI 的基礎上增加了 E(獨占)狀態,以減少只有一份緩存的寫操作造成的總線通信。cyR28資訊網——每日最新資訊28at.com

寫緩沖區 & 失效隊列

MESI 協議保證了 Cache 的一致性,但完全地遵循協議會影響性能。 因此,現代的 CPU 會在增加寫緩沖區和失效隊列將 MESI 協議的請求異步化,以提高并行度:cyR28資訊網——每日最新資訊28at.com

  • 寫緩沖區(Store Buffer)

由于在寫入操作之前,CPU 核心 1 需要先廣播 RFO 請求獲得獨占權,在其它核心回應 ACK 之前,當前核心只能空等待,這對 CPU 資源是一種浪費。因此,現代 CPU 會采用 “寫緩沖區” 機制:寫入指令放到寫緩沖區后并發送 RFO 請求后,CPU 就可以去執行其它任務,等收到 ACK 后再將寫入操作寫到 Cache 上。cyR28資訊網——每日最新資訊28at.com

  • 失效隊列(Invalidation Queue)

由于其他核心在收到 RFO 請求時,需要及時回應 ACK。但如果核心很忙不能及時回復,就會造成發送 RFO 請求的核心在等待 ACK。因此,現代 CPU 會采用 “失效隊列” 機制:先把其它核心發過來的 RFO 請求放到失效隊列,然后直接返回 ACK,等當前核心處理完任務后再去處理失效隊列中的失效請求。cyR28資訊網——每日最新資訊28at.com

事實上,寫緩沖區和失效隊列破壞了 Cache 的一致性。cyR28資訊網——每日最新資訊28at.com

因為在未同步的情況下,程序可能會有多種執行順序。這也是為什么Java里還需要volatile關鍵字,因為引入寫緩沖區或失效隊列后就變成弱數據一致性,不能滿足 強數據一致性: 保證在任意時刻任意副本上的同一份數據都是相同的,或者允許不同,但是每次使用前都要刷新確保數據一致,所以最終還是一致。cyR28資訊網——每日最新資訊28at.com

總結

  1. 在 CPU Cache 的三級緩存中,會存在 2 個緩存一致性問題:

縱向 - Cache 與內存的一致性問題: 在修改 Cache 數據后,如何同步回內存?cyR28資訊網——每日最新資訊28at.com

橫向 - 多核心 Cache 的一致性問題: 在一個核心修改 Cache 數據后,如何同步給其他核心 Cache?cyR28資訊網——每日最新資訊28at.com

  1. Cache 與內存的一致性問題有 2 個策略:

寫直達策略: 始終保持 Cache 數據和內存數據一致,在每次寫入操作中都會寫入內存;cyR28資訊網——每日最新資訊28at.com

寫回策略: 只有在臟 Cache 塊被替換出去的時候寫回內存,減少寫回內存的次數;cyR28資訊網——每日最新資訊28at.com

  1. 多核心 Cache 一致性問題需要滿足 2 點特性:

寫傳播(總線嗅探): 每個 CPU 核心的寫入操作,需要傳播到其他 CPU 核心;cyR28資訊網——每日最新資訊28at.com

事務串行化(總線仲裁): 各個 CPU 核心所有寫入操作的順序,在所有 CPU 核心看起來是一致。cyR28資訊網——每日最新資訊28at.com

  1. MESI 協議能夠滿足以上 2 點特性,通過 “已修改、獨占、共享、已失效” 4 個狀態實現了 CPU Cache 的一致性;
  2. 現代 CPU 為了提高并行度,會在增加 寫緩沖區 & 失效隊列 將 MESI 協議的請求異步化, 從內存的視角看就是指令重排,破壞了 CPU Cache 的一致性。也是為什么使用volatile關鍵字的原因

本文鏈接:http://www.www897cc.com/showinfo-26-5716-0.html計算機底層原理~CPU緩存一致性

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: Go的Net/Http有哪些值得關注的細節?

下一篇: 停止過度設計中等規模的前端應用程序

標簽:
  • 熱門焦點
  • MIX Fold3包裝盒泄露 新機本月登場

    小米的全新折疊屏旗艦MIX Fold3將于本月發布,近日該機的真機包裝盒在網上泄露。從圖上來看,新的MIX Fold3包裝盒在外觀設計方面延續了之前的方案,變化不大,這也是目前小米旗艦
  • 5月iOS設備性能榜:M1 M2依舊是榜單前五

    和上個月一樣,沒有新品發布的iOS設備性能榜的上榜設備并沒有什么更替,僅僅只有跑分變化而產生的排名變動,剛剛開始的蘋果WWDC2023,推出的產品也依舊是新款Mac Pro、新款Mac Stu
  • 服務存儲設計模式:Cache-Aside模式

    Cache-Aside模式一種常用的緩存方式,通常是把數據從主存儲加載到KV緩存中,加速后續的訪問。在存在重復度的場景,Cache-Aside可以提升服務性能,降低底層存儲的壓力,缺點是緩存和底
  • 一篇聊聊Go錯誤封裝機制

    %w 是用于錯誤包裝(Error Wrapping)的格式化動詞。它是用于 fmt.Errorf 和 fmt.Sprintf 函數中的一個特殊格式化動詞,用于將一個錯誤(或其他可打印的值)包裝在一個新的錯誤中。使
  • 電視息屏休眠仍有網絡上傳 愛奇藝被質疑“薅消費者羊毛”

    記者丨寧曉敏 見習生丨汗青出品丨鰲頭財經(theSankei) 前不久,愛奇藝發布了一份亮眼的一季報,不僅營收和會員營收創造歷史最佳表現,其運營利潤也連續6個月實現增長。自去年年初
  • ESG的面子與里子

    來源 | 光子星球撰文 | 吳坤諺編輯 | 吳先之三伏大幕拉起,各地高溫預警不絕,但處于厄爾尼諾大“烤”之下的除了眾生,還有各大企業發布的ESG報告。ESG是“環境保
  • 華為Mate60系列模具曝光:采用碩大圓形后置相機模組+拼接配色方案

    據此前多方爆料,今年華為將開始恢復一年雙旗艦戰略,除上半年推出的P60系列外,往年下半年的Mate系列也將迎來更新,有望在9-10月份帶來全新的華為Mate60
  • OPPO K11采用全方位護眼屏:三大護眼能力減輕視覺疲勞

    日前OPPO官方宣布,全新的OPPO K11將于7月25日正式發布,將主打旗艦影像,和同檔位競品相比,其最大的賣點就是將配備索尼IMX890主攝,堪稱是2000檔位影像表
  • “買真退假” 這種“羊毛”不能薅

    □ 法治日報 記者 王春   □ 本報通訊員 胡佳麗  2020年初,還在上大學的小東加入了一個大學生兼職QQ群。群主“七王”在群里介紹一些刷單賺
Top 主站蜘蛛池模板: 五寨县| 凤城市| 德庆县| 施甸县| 阳城县| 苗栗市| 榆中县| 宝坻区| 定西市| 福清市| 巴南区| 康平县| 通山县| 四会市| 老河口市| 同仁县| 比如县| 运城市| 达州市| 文化| 泸西县| 丰城市| 丰镇市| 呈贡县| 新野县| 老河口市| 万盛区| 永嘉县| 清新县| 莒南县| 格尔木市| 新民市| 诏安县| 日土县| 松江区| 山阳县| 武川县| 获嘉县| 东宁县| 吉木乃县| 龙川县|