日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

G行基于OpenSearch的日志平臺設計與實踐

來源: 責編: 時間:2024-03-26 09:36:22 194觀看
導讀1 引言Elasticsearch(后稱ES)作為日志管理、數據搜索與分析工具,在各行各業都有廣泛且深入的應用,2021年初Elastic公司不再提供ES的Apache license開源版本,AWS為此推出了基于ES 7.10.2開發的OpenSearch。OpenSearch自2022

1 引言

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

Elasticsearch(后稱ES)作為日志管理、數據搜索與分析工具,在各行各業都有廣泛且深入的應用,2021年初Elastic公司不再提供ES的Apache license開源版本,AWS為此推出了基于ES 7.10.2開發的OpenSearch。OpenSearch自2022年發布至今,在DB-Engine的搜索引擎分類的排名迅速攀升到第4,由于與ES同源,OpenSearch成為ES完美的商業替代產品。M0l28資訊網——每日最新資訊28at.com

圖1 DB-Engines搜索引擎分類排名圖1 DB-Engines搜索引擎分類排名M0l28資訊網——每日最新資訊28at.com

G行在應用系統全面上云的背景下,進行了基于容器化OpenSearch的全棧云日志平臺設計與實踐,并開展了一系列性能優化,探索適合全棧云的日志處理、數據分析與數據搜索替換路線。下文詳細介紹G行基于OpenSearch開展的日志平臺設計與優化工作。M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

2  設計原則與架構

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

2.1原則

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

G行全棧云日志平臺以收集并處理全棧云底座管理服務日志為目標,并對管理員提供日志查詢視圖、日志分析看板等功能。考慮到接入組件服務多、日志量分時差異大、日志查詢時間長等實際情況,平臺需滿足如下幾點要求:M0l28資訊網——每日最新資訊28at.com

  • 數據緩存不丟失

在日志量大且集中的時段,OpenSearch可能無法及時處理所有數據,通過日志緩存確保未及時處理的數據可以在后期追溯。M0l28資訊網——每日最新資訊28at.com

  • 日志數據讀寫分離

避免直接對客戶端服務暴露寫入端口,降低對OpenSearch集群的沖擊,確保平臺的運行穩定性。開放適當權限的數據查詢視圖。M0l28資訊網——每日最新資訊28at.com

  • 數據冷熱分離

持續寫入的索引作為熱數據存放在熱節點,不再更新的索引作為溫數據存放在溫節點,不需查詢的數據作為備份存放在對象存儲。確保數據讀寫性能得到保障。M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

2.2架構

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

通過kafka實現日志的集中接入與緩存,并且實現對OpenSearch的平滑寫入;通過logstash實現日志數據的集中處理,對數據流開展解析與二次加工工作;通過OpenSearch的ISM(Index State Management,索引狀態管理)機制實現索引數據的熱、溫、冷自動化處理,冷數據存儲備份于對象存儲中;通過Dashboard實現可視化數據查詢與看板定制。下圖為日志平臺架構展示。M0l28資訊網——每日最新資訊28at.com

圖2 全棧云日志平臺服務架構圖2 全棧云日志平臺服務架構M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

3 性能優化

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

基于上述架構實現日志處理平臺后,隨著服務接入變多,接入日志量變大,平臺出現kafka端消息積壓的情況,經過調試分析,分別從kafka、logstash和OpenSearch三個部分開展優化,并實現了消息數據的實時消費與寫入。M0l28資訊網——每日最新資訊28at.com

3.1問題分析

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

通過kafka集群節點的磁盤io曲線可以看出磁盤的寫入速度約是讀取速度的8倍,即消息的消費速度明顯跟不上消息的生產速度,這也符合kafka消息積壓的現象。M0l28資訊網——每日最新資訊28at.com

圖3 kafka節點的磁盤io曲線圖3 kafka節點的磁盤io曲線M0l28資訊網——每日最新資訊28at.com

通過logstash節點的監控曲線,發現logstash的cpu利用率和出入站流量較低,而OpenSearch的cpu利用率和吞吐量同樣不高。為此考慮從日志平臺的整個路徑上開展優化以提升消息處理性能。M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

3.2kafka的優化

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

M0l28資訊網——每日最新資訊28at.com

kafka通過磁盤順序寫入、操作系統頁緩存、零拷貝、消息批量處理和壓縮等一系列精妙設計,確保了服務的高性能,但仍需做一些配置調整以應對實際使用環境。如下列出一些當前環境下所做的配置調整。M0l28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-79301-0.htmlG行基于OpenSearch的日志平臺設計與實踐

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 我們一起聊聊什么是正向代理和反向代理

下一篇: 深入理解Java虛擬機:程序計數器與虛擬機棧詳解

標簽:
  • 熱門焦點
  • 俄羅斯:將審查iPhone等外國公司設備 保數據安全

    iPhone和特斯拉都屬于在各自領域領頭羊的品牌,推出的產品也也都是數一數二的,但對于一些國家而言,它們的產品可靠性和安全性還是在限制范圍內。近日,俄羅斯聯邦通信、信息技術
  • 印度登月最關鍵一步!月船三號今晚進入環月軌道

    8月5日消息,據印度官方消息,月船三號將于北京時間今晚21時30分左右開始近月制動進入環月軌道。這是該探測器能夠成功的最關鍵步驟之一,如果成功將開始圍
  • Automa-通過連接塊來自動化你的瀏覽器

    1、前言通過瀏覽器插件可實現自動化腳本的錄制與編寫,具有代表性的工具就是:Selenium IDE、Katalon Recorder,對于簡單的業務來說可快速實現自動化的上手工作。Selenium IDEKat
  • 學習JavaScript的10個理由...

    作者 | Simplilearn編譯 | 王瑞平當你決心學習一門語言的時候,很難選擇到底應該學習哪一門,常用的語言有Python、Java、JavaScript、C/CPP、PHP、Swift、C#、Ruby、Objective-
  • 在線圖片編輯器,支持PSD解析、AI摳圖等

    自從我上次分享一個人開發仿造稿定設計的圖片編輯器到現在,不知不覺已過去一年時間了,期間我經歷了裁員失業、面試找工作碰壁,寒冬下一直沒有很好地履行計劃.....這些就放在日
  • 虛擬鍵盤 API 的妙用

    你是否在遇到過這樣的問題:移動設備上有一個固定元素,當激活虛擬鍵盤時,該元素被隱藏在了鍵盤下方?多年來,這一直是 Web 上的默認行為,在本文中,我們將探討這個問題、為什么會發生
  • 疑似小米14外觀設計圖曝光:后置相機模組變化不大

    下半年的大幕已經開啟,而誰將成為下半年手機圈的主角就成為了大家關注的焦點,其中被傳有望拿下新一代驍龍8 Gen3旗艦芯片的小米14系列更是備受大家矚
  • 華為發布HarmonyOS 4:更好玩、更流暢、更安全

    在8月4日的華為開發者大會2023(HDC.Together)大會上,HarmonyOS 4正式發布。自2019年發布以來,HarmonyOS一直以用戶為中心,經歷四年多的發展HarmonyOS已
  • 三星顯示已開始為AR設備研發硅基LED微顯示屏

    7月18日消息,據外媒報道,隨著蘋果首款頭顯產品Vision Pro在6月份正式推出,AR/VR/MR等頭顯產品也就將成為各大公司下一個重要的競爭領域,對顯示屏這一關
Top 主站蜘蛛池模板: 横峰县| 青浦区| 九龙县| 南木林县| 咸阳市| 上高县| 富平县| 武川县| 河北区| 苏州市| 孟州市| 兴化市| 晋中市| 平和县| 棋牌| 云霄县| 郁南县| 孝义市| 壤塘县| 河北省| 靖宇县| 宣恩县| 清涧县| 新乐市| 台安县| 灌南县| 诸暨市| 泸溪县| 沅江市| 怀化市| 克山县| 凉城县| 景谷| 和田市| 武功县| 长治市| 双柏县| 宁强县| 天门市| 高碑店市| 淳化县|