日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

G行基于OpenSearch的日志平臺設計與實踐

來源: 責編: 時間:2024-03-26 09:36:22 193觀看
導讀1 引言Elasticsearch(后稱ES)作為日志管理、數據搜索與分析工具,在各行各業都有廣泛且深入的應用,2021年初Elastic公司不再提供ES的Apache license開源版本,AWS為此推出了基于ES 7.10.2開發的OpenSearch。OpenSearch自2022

1 引言

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

Elasticsearch(后稱ES)作為日志管理、數據搜索與分析工具,在各行各業都有廣泛且深入的應用,2021年初Elastic公司不再提供ES的Apache license開源版本,AWS為此推出了基于ES 7.10.2開發的OpenSearch。OpenSearch自2022年發布至今,在DB-Engine的搜索引擎分類的排名迅速攀升到第4,由于與ES同源,OpenSearch成為ES完美的商業替代產品。EsJ28資訊網——每日最新資訊28at.com

圖1 DB-Engines搜索引擎分類排名圖1 DB-Engines搜索引擎分類排名EsJ28資訊網——每日最新資訊28at.com

G行在應用系統全面上云的背景下,進行了基于容器化OpenSearch的全棧云日志平臺設計與實踐,并開展了一系列性能優化,探索適合全棧云的日志處理、數據分析與數據搜索替換路線。下文詳細介紹G行基于OpenSearch開展的日志平臺設計與優化工作。EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

2  設計原則與架構

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

2.1原則

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

G行全棧云日志平臺以收集并處理全棧云底座管理服務日志為目標,并對管理員提供日志查詢視圖、日志分析看板等功能。考慮到接入組件服務多、日志量分時差異大、日志查詢時間長等實際情況,平臺需滿足如下幾點要求:EsJ28資訊網——每日最新資訊28at.com

  • 數據緩存不丟失

在日志量大且集中的時段,OpenSearch可能無法及時處理所有數據,通過日志緩存確保未及時處理的數據可以在后期追溯。EsJ28資訊網——每日最新資訊28at.com

  • 日志數據讀寫分離

避免直接對客戶端服務暴露寫入端口,降低對OpenSearch集群的沖擊,確保平臺的運行穩定性。開放適當權限的數據查詢視圖。EsJ28資訊網——每日最新資訊28at.com

  • 數據冷熱分離

持續寫入的索引作為熱數據存放在熱節點,不再更新的索引作為溫數據存放在溫節點,不需查詢的數據作為備份存放在對象存儲。確保數據讀寫性能得到保障。EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

2.2架構

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

通過kafka實現日志的集中接入與緩存,并且實現對OpenSearch的平滑寫入;通過logstash實現日志數據的集中處理,對數據流開展解析與二次加工工作;通過OpenSearch的ISM(Index State Management,索引狀態管理)機制實現索引數據的熱、溫、冷自動化處理,冷數據存儲備份于對象存儲中;通過Dashboard實現可視化數據查詢與看板定制。下圖為日志平臺架構展示。EsJ28資訊網——每日最新資訊28at.com

圖2 全棧云日志平臺服務架構圖2 全棧云日志平臺服務架構EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

3 性能優化

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

基于上述架構實現日志處理平臺后,隨著服務接入變多,接入日志量變大,平臺出現kafka端消息積壓的情況,經過調試分析,分別從kafka、logstash和OpenSearch三個部分開展優化,并實現了消息數據的實時消費與寫入。EsJ28資訊網——每日最新資訊28at.com

3.1問題分析

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

通過kafka集群節點的磁盤io曲線可以看出磁盤的寫入速度約是讀取速度的8倍,即消息的消費速度明顯跟不上消息的生產速度,這也符合kafka消息積壓的現象。EsJ28資訊網——每日最新資訊28at.com

圖3 kafka節點的磁盤io曲線圖3 kafka節點的磁盤io曲線EsJ28資訊網——每日最新資訊28at.com

通過logstash節點的監控曲線,發現logstash的cpu利用率和出入站流量較低,而OpenSearch的cpu利用率和吞吐量同樣不高。為此考慮從日志平臺的整個路徑上開展優化以提升消息處理性能。EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

3.2kafka的優化

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

EsJ28資訊網——每日最新資訊28at.com

kafka通過磁盤順序寫入、操作系統頁緩存、零拷貝、消息批量處理和壓縮等一系列精妙設計,確保了服務的高性能,但仍需做一些配置調整以應對實際使用環境。如下列出一些當前環境下所做的配置調整。EsJ28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-79301-0.htmlG行基于OpenSearch的日志平臺設計與實踐

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 我們一起聊聊什么是正向代理和反向代理

下一篇: 深入理解Java虛擬機:程序計數器與虛擬機棧詳解

標簽:
  • 熱門焦點
  • 直屏旗艦來了 iQOO 12和K70 Pro同臺競技

    旗艦機基本上使用的都是雙曲面屏幕,這就讓很多喜歡直屏的愛好者在苦等一款直屏旗艦,這次,你們等到了。據博主數碼閑聊站帶來的最新爆料稱,Redmi下代旗艦K70 Pro和iQOO 12兩款手
  • 天貓精靈Sound Pro體驗:智能音箱沒有音質?來聽聽我的

    這幾年除了手機作為智能生活終端最主要的核心之外,第二個可以成為中心點的產品是什么?——是智能音箱。 手機在執行命令的時候有兩種操作方式,手和智能語音助手,而智能音箱只
  • 容量越大越不壞?24萬塊硬盤故障率報告公布 這些產品零故障

    8月5日消息,云存儲服務商Backblaze發布了最新的硬盤故障率報告,年故障率有所上升。Backblaze發布的硬盤季度統計數據,其中包括故障率等重要方面。這些結
  • JavaScript 混淆及反混淆代碼工具

    介紹在我們開始學習反混淆之前,我們首先要了解一下代碼混淆。如果不了解代碼是如何混淆的,我們可能無法成功對代碼進行反混淆,尤其是使用自定義混淆器對其進行混淆時。什么是混
  • K6:面向開發人員的現代負載測試工具

    K6 是一個開源負載測試工具,可以輕松編寫、運行和分析性能測試。它建立在 Go 和 JavaScript 之上,它被設計為功能強大、可擴展且易于使用。k6 可用于測試各種應用程序,包括 Web
  • 摸魚心法第一章——和配置文件說拜拜

    為了能摸魚我們團隊做了容器化,但是帶來的問題是服務配置文件很麻煩,然后大家在群里進行了“親切友好”的溝通圖片圖片圖片圖片對比就對比,簡單對比下獨立配置中心和k8s作為配
  • 這款新興工具平臺,讓你的電腦效率翻倍

    隨著信息技術的發展,我們獲取信息的渠道越來越多,但是處理信息的效率卻成為一個瓶頸。于是各種工具應運而生,都在爭相解決我們的工作效率問題。今天我要給大家介紹一款效率
  • 2023年,我眼中的字節跳動

    此時此刻(2023年7月),字節跳動從未上市,也從未公布過任何官方的上市計劃;但是這并不妨礙它成為中國最受關注的互聯網公司之一。從2016-17年的抖音強勢崛起,到2018年的“頭騰
  • 三星獲批量產iPhone 15全系屏幕:蘋果史上最驚艷直屏

    按照慣例,蘋果將繼續在今年9月舉辦一年一度的秋季新品發布會,有傳言稱發布會將于9月12日舉行,屆時全新的iPhone 15系列將正式與大家見面,不出意外的話
Top 主站蜘蛛池模板: 邵武市| 云和县| 长沙市| 蕉岭县| 玉屏| 平度市| 黎川县| 芜湖县| 芷江| 榆中县| 临邑县| 慈溪市| 平山县| 西峡县| 拉萨市| 兴国县| 德阳市| 余姚市| 鹤岗市| 封开县| 邵阳市| 南雄市| 彭阳县| 神木县| 太白县| 中西区| 闸北区| 新密市| 太湖县| 阿坝| 彰化县| 玉林市| 广宁县| 浑源县| 沽源县| 蕲春县| 板桥市| 惠安县| 桂平市| 白水县| 伊春市|