日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

監控 Kafka,這十個指標請考慮!

來源: 責編: 時間:2024-04-29 09:05:39 163觀看
導讀大家好,我是君哥。使用消息隊列可以幫助我們實現系統解耦、流量管控等功能。但使用過程中可能會遇到各種各樣的問題,比如系統資源使用率高、集群節點宕機等,進而影響我們生產業務正常開展。為了不讓消息隊列失控,增加監控

大家好,我是君哥。v0P28資訊網——每日最新資訊28at.com

使用消息隊列可以幫助我們實現系統解耦、流量管控等功能。但使用過程中可能會遇到各種各樣的問題,比如系統資源使用率高、集群節點宕機等,進而影響我們生產業務正常開展。為了不讓消息隊列失控,增加監控是非常必要的。今天來聊一聊 Kafka 有哪些重要的監控指標。v0P28資訊網——每日最新資訊28at.com

1 基礎指標

基礎指標是監控系統常見的監控指標,這里介紹 4 個方面:v0P28資訊網——每日最新資訊28at.com

  • CPU、內存、硬盤、網絡 I/O 等資源使用情況,Kafka 提供了 BytesIn/BytesOut 指標來監控帶寬使用率;
  • TCP 連接數、文件描述符使用情況;
  • JVM 監控指標,Kafka 也是一個 JVM 進程,需要監控堆內存使用情況、FULL GC 頻率和時長、JVM 線程數等;
  • 網絡延遲。

2 Broker 指標

2.1 UnderReplicatedPartitions

Kafka 分區 Leader 節點收到消息后,會同步給 Follower 節點。集群健康的情況下,UnderReplicatedPartitions 值等于 0,這時同步正常的 Follower 節點數量(也就是 ISR)等于總的 Follower 節點數量。如果這個指標值大于0,比如等于 1,說明有一個 Follower 同步異常,如下圖:v0P28資訊網——每日最新資訊28at.com

圖片圖片v0P28資訊網——每日最新資訊28at.com

2.2 ISRShrink/ISRExpand

這個指標表示 ISR 收縮和擴容的頻率。如果這個指標的值很高,那集群中必定有 Follower 節點頻繁地進入或退出 ISR。這個時候就需要定位有 Follower 頻繁進出 ISR 的原因。v0P28資訊網——每日最新資訊28at.com

2.3 ActiveControllerCount

Kafka Broker 集群中有一個節點是 Controller 節點,這個節點非常重要,負責監聽 Partition、Topic 和 Broker 的變化,以及元數據管理。v0P28資訊網——每日最新資訊28at.com

ActiveControllerCount 指標表示當前 Broker 節點是否是 Controller 節點,集群健康的情況下,有且僅有一個 Broker 節點這個指標值是 1。如果有多個 Broker 這個指標值是 1,或者所有 Broker 指標值都是 0,就需要進行故障排查。v0P28資訊網——每日最新資訊28at.com

圖片圖片v0P28資訊網——每日最新資訊28at.com

2.4 offlinePartitionCount

這個指標只有 Controller 節點有。表示處于不可用狀態的 Partition 的數量,也就是 Partition 沒有活躍的 Leader 節點的數量。健康的集群,這個值是 0,如果這個值不是 0,就得盡快排查原因,防止影響業務。v0P28資訊網——每日最新資訊28at.com

2.5 LeaderElectionRateAndTimeMs

當分區 Leader 節點掛了之后,就會觸發選舉新的 Leader。這個指標值表示選舉新 Leader 的頻率(每秒多少次)和集群中無 Leader 節點的時長。觸發 Leader 選舉,肯定是舊的 Leader 下線,所以需要定位分析原因。v0P28資訊網——每日最新資訊28at.com

2.6 UncleanLeaderElectionsPerSec

當 Broker 集群找不到分區 Leader 時,需要從 ISR 集合中選出新的 Leader 節點。而如果 ISR 集合沒有節點,那就得從未同步的 Follower 中選出 Leader 節點,讓集群處于可用狀態,但這個時候因為消息未同步,會有消息丟失。所以這個指標有數據時,代表可能有消息丟失。v0P28資訊網——每日最新資訊28at.com

2.7 TotalTimeMs

Broker 處理一筆請求的總時間。比如處理 Producer 發送請求、Consumer 拉取請求、Follower 拉取請求。這個時間如果出現了比較大的波動,需要查看 Broker 的資源情況并考慮應對方案。v0P28資訊網——每日最新資訊28at.com

3 Producer

生產者也可以加一些指標來監控發送消息的情況。v0P28資訊網——每日最新資訊28at.com

3.1 request-latency-avg

平均請求時間,這個指標包括生產者發送消息到收到響應的延遲,這個指標會影響 Producer 端的吞吐量。v0P28資訊網——每日最新資訊28at.com

3.2 waiting-threads

發送緩存區中阻塞的用戶線程數,如果這個指標變高,意味著生產者被阻塞的線程數變高,需要排查原因。v0P28資訊網——每日最新資訊28at.com

4 Consumer

4.1 records-lag

消費者在當前分區上落后于生產者的數量,如果這個值變大,有可能當前這個分區的消息量突增,也可能消費者消費能力下降,需要關注。v0P28資訊網——每日最新資訊28at.com

5 總結

Kafka 的監控指標非常多,關鍵指標是必須要監控的,其他指標可以根據需要添加,同時也可以加入日志相關的監控。希望本文能對你理解 Kafka 有所幫助。v0P28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-86342-0.html監控 Kafka,這十個指標請考慮!

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: Go 語言將 PDF 轉為 Word ,代碼怎么實現 ?

下一篇: Python新手必備:掌握OS.path模塊的8個神奇函數

標簽:
  • 熱門焦點
  • 小米平板5 Pro 12.4簡評:多專多能 兼顧影音娛樂的大屏利器

    疫情帶來了網課,網課盤活了安卓平板,安卓平板市場雖然中途停滯了幾年,但好的一點就是停滯的這幾年行業又有了新的發展方向,例如超窄邊框、高刷新率、多攝鏡頭組合等,這就讓安卓
  • 6月安卓手機好評榜:魅族20 Pro蟬聯冠軍

    性能榜和性價比榜之后,我們來看最后的安卓手機好評榜,數據來源安兔兔評測,收集時間2023年6月1日至6月30日,僅限國內市場。第一名:魅族20 Pro好評率:95%5月份的時候魅族20 Pro就是
  • JavaScript學習 -AES加密算法

    引言在當今數字化時代,前端應用程序扮演著重要角色,用戶的敏感數據經常在前端進行加密和解密操作。然而,這樣的操作在網絡傳輸和存儲中可能會受到惡意攻擊的威脅。為了確保數據
  • 破圈是B站頭上的緊箍咒

    來源 | 光子星球撰文 | 吳坤諺編輯 | 吳先之每年的暑期檔都少不了瞄準追劇女孩們的古偶劇集,2021年有優酷的《山河令》,2022年有愛奇藝的《蒼蘭訣》,今年卻輪到小破站抓住了追
  • 郭明錤稱華為和江淮汽車合作開發問界MPV,定價100萬左右、計劃明年量產

    8 月 1 日消息,郭明錤今天在 Medium 平臺發布博文,稱華為正在和江淮汽車合作,開發售價在 100 萬元的問界 MPV,預計在 2024 年第 2 季度量產,銷量目標為
  • 2納米決戰2025

    集微網報道 從三強爭霸到四雄逐鹿,2nm的廝殺聲已然隱約傳來。無論是老牌勁旅臺積電、三星,還是誓言重回先進制程領先地位的英特爾,甚至初成立不久的新
  • 到手價3099元起!iQOO Neo8 Pro今日首銷:安卓性能最強旗艦

    5月23日,iQOO如期舉行了新品發布會,全新的iQOO Neo8系列也正式與大家見面,包含iQOO Neo8和iQOO Neo8 Pro兩個版本,其中標準版搭載高通驍龍8+,而Pro版更
  • OPPO K11采用全方位護眼屏:三大護眼能力減輕視覺疲勞

    日前OPPO官方宣布,全新的OPPO K11將于7月25日正式發布,將主打旗艦影像,和同檔位競品相比,其最大的賣點就是將配備索尼IMX890主攝,堪稱是2000檔位影像表
  • 英特爾Xe HPG游戲顯卡:擁有512EU,單風扇版本

    據10 月 30 日外媒 TheVerge 消息報道,英特爾 Xe HPG Arc Alchemist 的正面實被曝光,不僅擁有 512 EU 版顯卡,還擁有 128EU 的單風扇版本。另外,這款顯卡 PCB
Top 主站蜘蛛池模板: 平山县| 广东省| 大洼县| 浠水县| 灵川县| 郧西县| 应用必备| 西充县| 安陆市| 曲水县| 长兴县| 都兰县| 金平| 乐昌市| 万源市| 城口县| 嘉峪关市| 永嘉县| 汽车| 和平县| 天水市| 托克托县| 蛟河市| 永清县| 松原市| 尚志市| 常熟市| 梅河口市| 峡江县| 民和| 砚山县| 汉寿县| 新乡县| 乌拉特中旗| 罗山县| 潞西市| 乐业县| 鄂托克前旗| 会昌县| 石首市| 永胜县|