日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

實操 OpenTelemetry:通過 Demo 掌握微服務監控的藝術

來源: 責編: 時間:2024-05-27 17:21:33 140觀看
導讀項目介紹我們參考官方文檔構建幾個 spring boot 、Golang 項目再配合 Agent 其實也可以很方便的集成 OpenTelemetry。但是要完整的體驗 OpenTelemetry 的所有功能,包含 trace、logs、metrics,還有社區這么多語言的支持

項目介紹

我們參考官方文檔構建幾個 spring boot 、Golang 項目再配合 Agent 其實也可以很方便的集成 OpenTelemetry。uG128資訊網——每日最新資訊28at.com

但是要完整的體驗 OpenTelemetry 的所有功能,包含 trace、logs、metrics,還有社區這么多語言的支持其實還是比較麻煩的。uG128資訊網——每日最新資訊28at.com

我們還需要單獨部署 collector、存儲的 backend service 等組件、包括 trace UI 展示所需要的 Jaeger,metric 所需要的 grafana 等。uG128資訊網——每日最新資訊28at.com

這些所有東西都自己從頭弄的話還是比較費時,不過好在社區已經將這些步驟都考慮到了。uG128資訊網——每日最新資訊28at.com

特地為大家寫了一個 opentelemetry-demo。uG128資訊網——每日最新資訊28at.com

這個項目模擬了一個微服務版本的電子商城,主要包含了以下一些項目:uG128資訊網——每日最新資訊28at.com

Service
uG128資訊網——每日最新資訊28at.com

Language
uG128資訊網——每日最新資訊28at.com

Description
uG128資訊網——每日最新資訊28at.com

accountingservice
uG128資訊網——每日最新資訊28at.com

Go
uG128資訊網——每日最新資訊28at.com

處理和計算訂單數據
uG128資訊網——每日最新資訊28at.com

adservice
uG128資訊網——每日最新資訊28at.com

Java
uG128資訊網——每日最新資訊28at.com

廣告服務
uG128資訊網——每日最新資訊28at.com

cartservice
uG128資訊網——每日最新資訊28at.com

.NET
uG128資訊網——每日最新資訊28at.com

購物車服務,主要會依賴 Redis
uG128資訊網——每日最新資訊28at.com

checkoutservice
uG128資訊網——每日最新資訊28at.com

Go
uG128資訊網——每日最新資訊28at.com

checkout
uG128資訊網——每日最新資訊28at.com

currencyservice
uG128資訊網——每日最新資訊28at.com

C++
uG128資訊網——每日最新資訊28at.com

貨幣轉換服務,提供了較高的 QPS 能力。
uG128資訊網——每日最新資訊28at.com

emailservice
uG128資訊網——每日最新資訊28at.com

Ruby
uG128資訊網——每日最新資訊28at.com

郵件服務
uG128資訊網——每日最新資訊28at.com

frauddetectionservice
uG128資訊網——每日最新資訊28at.com

Kotlin
uG128資訊網——每日最新資訊28at.com

風控服務
uG128資訊網——每日最新資訊28at.com

frontend
uG128資訊網——每日最新資訊28at.com

JavaScript
uG128資訊網——每日最新資訊28at.com

前端應用
uG128資訊網——每日最新資訊28at.com

loadgenerator
uG128資訊網——每日最新資訊28at.com

Python/Locust
uG128資訊網——每日最新資訊28at.com

模擬壓測服務
uG128資訊網——每日最新資訊28at.com

paymentservice
uG128資訊網——每日最新資訊28at.com

JavaScript
uG128資訊網——每日最新資訊28at.com

支付服務
uG128資訊網——每日最新資訊28at.com

productcatalogservice
uG128資訊網——每日最新資訊28at.com

Go
uG128資訊網——每日最新資訊28at.com

商品服務
uG128資訊網——每日最新資訊28at.com

quoteservice
uG128資訊網——每日最新資訊28at.com

PHP
uG128資訊網——每日最新資訊28at.com

成本服務
uG128資訊網——每日最新資訊28at.com

recommendationservice
uG128資訊網——每日最新資訊28at.com

Python
uG128資訊網——每日最新資訊28at.com

推薦服務
uG128資訊網——每日最新資訊28at.com

shippingservice
uG128資訊網——每日最新資訊28at.com

Rust
uG128資訊網——每日最新資訊28at.com

shipping service
uG128資訊網——每日最新資訊28at.com

可以發現在這個 demo 中提供了許多的服務,而且包含了幾乎所有主流的語言,可以很好的模擬我們實際的使用場景了。
uG128資訊網——每日最新資訊28at.com


uG128資訊網——每日最新資訊28at.com


uG128資訊網——每日最新資訊28at.com

圖片圖片uG128資訊網——每日最新資訊28at.com

通過這張圖可以更直觀的查看各個服務之間的關系。uG128資訊網——每日最新資訊28at.com

整體來說前端所有的請求都會通過 front-end-proxy 這個組件代理,最終再由 front 這個服務進行轉發到不同的后端服務中。uG128資訊網——每日最新資訊28at.com

圖片圖片uG128資訊網——每日最新資訊28at.com

除了一個項目的架構圖之外,還有一個關于 OpenTelemetry 的數據流轉圖。uG128資訊網——每日最新資訊28at.com

在 OpenTelemetry 中數據流轉是它的特點也是非常重要的核心,這點在上一篇文章中講過,用戶可以自由定制數據的流轉以及任意的處理數據,在這個圖中就將數據流轉可視化了。uG128資訊網——每日最新資訊28at.com

  • 客戶端可以通過 OTLP 協議或者是 HTTP 將數據上傳到 OTel Collector 中。
  • 在 collector 中會根據我們配置的 Process pipeline 處理數據。
  • Metric 數據通過  OTLP HTTP exporter 將數據導入到 Prometheus 中。

Prometheus 已經于 23 年七月份支持 OTLP 格式的 metric 數據導入了。uG128資訊網——每日最新資訊28at.com

  • Trace 數據則是通過 OTLP Exporter 寫入到 Jaeger 中進行存儲,最后通過 Jaeger 的 UI 進行查詢展示。
  • 而存入 Prometheus 中的 metric 數據則是有 grafana 進行查詢。

關于 collector 的配置會在后文講解。uG128資訊網——每日最新資訊28at.com

部署

接下來便是安裝 Demo 了,我更推薦使用 helm 安裝。uG128資訊網——每日最新資訊28at.com

這里的版本要求是:uG128資訊網——每日最新資訊28at.com

  • Kubernetes 1.24+
  • Helm 3.9+
helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-chartshelm repo updatehelm install my-otel-demo open-telemetry/opentelemetry-demo

這樣就可以很簡單的將 demo 所涉及到的所有組件和服務都安裝到 default 命名空間中。uG128資訊網——每日最新資訊28at.com

helm show values open-telemetry/opentelemetry-demo > demo.yaml

不過在安裝前還是建議先導出一份 value.yaml,之后可以使用這個 yaml 定制需要安裝的組件。uG128資訊網——每日最新資訊28at.com

在這個 yaml 中我們可以看到有哪些組件和服務可以定制:uG128資訊網——每日最新資訊28at.com

圖片圖片uG128資訊網——每日最新資訊28at.com

可以看到這里包含了我們剛才提到的所有服務,以及這些服務所依賴的 Kafka、redis、Prometheus 等中間件,都可以自己進行定制修改。uG128資訊網——每日最新資訊28at.com

圖片圖片uG128資訊網——每日最新資訊28at.com

當所有的 Pod 都成功運行之后表示安裝成功。uG128資訊網——每日最新資訊28at.com

正常情況下安裝不會有什么問題,最大可能的問題就是鏡像拉取失敗,此時我們可以先在本地手動 docker pull 下來鏡像后再上傳到私服,然后修改 deployment 中的鏡像地址即可。uG128資訊網——每日最新資訊28at.com

暴露服務

為了方便使用我們可以用這個 demo 進行測試,還需要將 front-proxy 的服務暴露出來可以在本地訪問:uG128資訊網——每日最新資訊28at.com

kubectl port-forward svc/my-otel-demo-frontendproxy 8080:8080

Component
uG128資訊網——每日最新資訊28at.com

Path
uG128資訊網——每日最新資訊28at.com

Shop 首頁
uG128資訊網——每日最新資訊28at.com

http://localhost:8080uG128資訊網——每日最新資訊28at.com

Grafana
uG128資訊網——每日最新資訊28at.com

http://localhost:8080/grafanauG128資訊網——每日最新資訊28at.com

壓測頁面
uG128資訊網——每日最新資訊28at.com

http://localhost:8080/loadgenuG128資訊網——每日最新資訊28at.com

Jaeger UI
uG128資訊網——每日最新資訊28at.com

http://localhost:8080/jaeger/uiuG128資訊網——每日最新資訊28at.com

正常情況下就可以打開這些頁面進行訪問了。
uG128資訊網——每日最新資訊28at.com


uG128資訊網——每日最新資訊28at.com

不過使用 port-forward 轉發的方式只是臨時方案,使用 ctrl+c 就會停止暴露服務,所以如果想要一個穩定的訪問鏈接時便可以配置一個 ingress。uG128資訊網——每日最新資訊28at.com

components:  frontendProxy:    ingress:      enabled: true      annotations: {}      hosts:        - host: otel-demo.my-domain.com          paths:            - path: /              pathType: Prefix              port: 8080

在之前的 helm 的 value.yaml 中配置即可,本地測試的話需要將這個 host 和 ingress 暴露出來的 IP 進行綁定才可以使用這個域名機進行訪問。uG128資訊網——每日最新資訊28at.com

更多關于 ingress 的使用可以參考我之前的文章:uG128資訊網——每日最新資訊28at.com

  • k8s入門到實戰-使用Ingress

當然簡單起見也可以直接將 front-proxy 的 service 類型改為 LoadBalancer。(默認是 ClusterIP 只可以在集群內訪問)uG128資訊網——每日最新資訊28at.com

這樣就可以直接通過這個 service 的 IP 進行訪問了。uG128資訊網——每日最新資訊28at.com

components:  frontendProxy:    service:      type: LoadBalancer

不過需要注意的是如果 demo 安裝完成之后是不可以再次修改 service 的類型的,需要手動這個 service 刪掉之后再次新建才可以。uG128資訊網——每日最新資訊28at.com

臨時測試使用的話還是推薦直接使用 port-forward 進行轉發。uG128資訊網——每日最新資訊28at.com

查看 Trace

通過之前的項目架構圖可以得知,我們在項目首頁刷新會直接請求 AdService 來獲取廣告。uG128資訊網——每日最新資訊28at.com

為了簡單起見我們只查詢這一鏈路的調用情況:uG128資訊網——每日最新資訊28at.com

圖片圖片uG128資訊網——每日最新資訊28at.com

打開 http://localhost:8080/jaeger/ui/search Jeager 的 UI 頁面便可以篩選服務,之后點擊查找 Traces 就可以列出一段時間內的訪問 trace。uG128資訊網——每日最新資訊28at.com

圖片圖片uG128資訊網——每日最新資訊28at.com

可以看到這個請求鏈路是從前端訪問到 adService 中的 getAds()接口,然后在這個接口中再訪問了 getAdsByCategory 函數。uG128資訊網——每日最新資訊28at.com

圖片圖片uG128資訊網——每日最新資訊28at.com

最終在源碼中也可以看到符合鏈路的調用代碼。uG128資訊網——每日最新資訊28at.com

在剛才的鏈路圖的右下角有一個 spanID,整個 trace 是由這些小的 span 組成,每一個 span 也會有唯一 spanID;trace 也會有一個 traceID 將這些 span 串聯起來;更多關于 trace 的內容會在后面的文章進行分析。uG128資訊網——每日最新資訊28at.com

查看 Metrics

我們再打開 grafana 便可以看到剛才訪問的 adService 的延遲和接口的 QPS 情況:uG128資訊網——每日最新資訊28at.com

圖片圖片uG128資訊網——每日最新資訊28at.com

在opentelemetry-collector-data-flow 面板中還可以看到 OpenTelemetry 的數據流轉。uG128資訊網——每日最新資訊28at.com

圖片圖片uG128資訊網——每日最新資訊28at.com

更多監控信息可以查看其它的面板。uG128資訊網——每日最新資訊28at.com

而剛才面板中的數據流轉規則則是在我們的 collector 中進行配置的:uG128資訊網——每日最新資訊28at.com

receivers:  otlp:    protocols:      grpc:      http:        cors:          allowed_origins:            - "http://*"            - "https://*"  httpcheck/frontendproxy:    targets:      - endpoint: http://frontendproxy:${env:ENVOY_PORT}exporters:  debug:  otlp:    endpoint: "jaeger:4317"    tls:      insecure: true  otlphttp/prometheus:    endpoint: "http://prometheus:9090/api/v1/otlp"    tls:      insecure: true  opensearch:    logs_index: otel    http:      endpoint: "http://opensearch:9200"      tls:        insecure: trueprocessors:  batch:connectors:  spanmetrics:service:  pipelines:    traces:      receivers: [otlp]      processors: [batch]      exporters: [otlp, debug, spanmetrics]    metrics:      receivers: [httpcheck/frontendproxy, otlp, spanmetrics]      processors: [batch]      exporters: [otlphttp/prometheus, debug]    logs:      receivers: [otlp]      processors: [batch]      exporters: [opensearch, debug]

重點的就是這里的 service.piplines,可以進行任意的組裝。uG128資訊網——每日最新資訊28at.com

更多關于 collector 的配置也會在后續文章中繼續講解。uG128資訊網——每日最新資訊28at.com

我們也可以繼續訪問這個 demo 網站,模擬加入購物車、下單等行為,再結合 trace 和 metric 觀察系統的變化。uG128資訊網——每日最新資訊28at.com

這樣一個完整的 OpenTelemetry-Demo 就搭建完畢了,我們實際在生產環境使時完全可以參考這個 demo 進行配置,可以少踩很多坑。uG128資訊網——每日最新資訊28at.com

參考鏈接:uG128資訊網——每日最新資訊28at.com

  • https://github.com/open-telemetry/opentelemetry-demo/blob/main/src/adservice/Dockerfile
  • https://github.com/open-telemetry/opentelemetry-demo
  • https://github.com/prometheus/prometheus/pull/12571
  • https://github.com/open-telemetry/opentelemetry-demo/blob/main/src/otelcollector/otelcol-config.yml

本文鏈接:http://www.www897cc.com/showinfo-26-91019-0.html實操 OpenTelemetry:通過 Demo 掌握微服務監控的藝術

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 億級流量下通用的高并發架構設計

下一篇: 阿里面試:NIO為什么會導致CPU 100% ?

標簽:
  • 熱門焦點
  • 盧偉冰長文解析K60至尊版 對Redmi有著里程碑式的意義

    在今天的Redmi后性能時代戰略發布會結束之后,Redmi總經理盧偉冰又帶來了一篇長文,詳解了為什么 Redmi 要開啟后性能時代?為什么選擇和 MediaTek、Pixelworks 深度合作?以及后性
  • 5月iOS設備性能榜:M1 M2依舊是榜單前五

    和上個月一樣,沒有新品發布的iOS設備性能榜的上榜設備并沒有什么更替,僅僅只有跑分變化而產生的排名變動,剛剛開始的蘋果WWDC2023,推出的產品也依舊是新款Mac Pro、新款Mac Stu
  • Raft算法:保障分布式系統共識的穩健之道

    1. 什么是Raft算法?Raft 是英文”Reliable、Replicated、Redundant、And Fault-Tolerant”(“可靠、可復制、可冗余、可容錯”)的首字母縮寫。Raft算法是一種用于在分布式系統
  • Flowable工作流引擎的科普與實踐

    一.引言當我們在日常工作和業務中需要進行各種審批流程時,可能會面臨一系列技術和業務上的挑戰。手動處理這些審批流程可能會導致開發成本的增加以及業務復雜度的上升。在這
  • 小紅書1周漲粉49W+,我總結了小白可以用的N條漲粉筆記

    作者:黃河懂運營一條性教育視頻,被54萬人“珍藏”是什么體驗?最近,情感博主@公主是用鮮花做的,火了!僅僅憑借一條視頻,光小紅書就有超過128萬人,為她瘋狂點贊!更瘋狂的是,這
  • 慕巖炮轟抖音,百合網今何在?

    來源:價值研究所 作者:Hernanderz“難道就因為自己的一個產品牛逼了,從客服到總裁,都不愿意正視自己產品和運營上的問題,選擇逃避了嗎?”這一番話,出自百合網聯合創
  • 小米汽車電池信息疑似曝光:容量101kWh,支持800V高壓快充

    7月14日消息,今日一名博主在社交媒體發布了一張疑似小米汽車電池信息的照片,顯示該電池包正是寧德時代麒麟電池,容量為101kWh,電壓為726.7V,可以預測小
  • Windows 11發布,微軟一改往常對老機型開放的態度

    距離 Windows 11 發布已經過去一周,在過去一周里,很多數碼愛好者圍繞其對 Android 應用的支持、對老機型的升級問題展開了激烈討論。與以往不同的是,在這次大
  • 北京:科技教育體驗基地開始登記

      北京“科技館之城”科技教育體驗基地登記和認證工作日前啟動。首批北京科技教育體驗基地擬于2023年全國科普日期間掛牌,后續還將開展常態化登記?! ”本┛萍冀逃w驗基
Top 主站蜘蛛池模板: 鄄城县| 衡阳县| 吴旗县| 禹州市| 定南县| 贵德县| 托克逊县| 黄浦区| 安泽县| 定边县| 西华县| 榆树市| 平武县| 伊通| 峡江县| 德保县| 平安县| 汉寿县| 那曲县| 修水县| 姚安县| 隆林| 浑源县| 南召县| 郑州市| 井陉县| 大庆市| 固阳县| 延庆县| 静安区| 康马县| 全南县| 家居| 永仁县| 勃利县| 兴国县| 梅州市| 河南省| 陆川县| 潞城市| 锡林浩特市|