之家push系統(tǒng)迭代之路
前言在這個(gè)信息爆炸的互聯(lián)網(wǎng)時(shí)代，能夠及時(shí)準(zhǔn)確獲取信息是當(dāng)今社會(huì)要解決的關(guān)鍵問(wèn)題之一。隨著之家用戶體量和內(nèi)容規(guī)模的不斷增大，傳統(tǒng)的靠"主動(dòng)拉"獲取信息的方式已不能滿足用
最近在給 opentelemetry-operator提交一個(gè)標(biāo)簽選擇器的功能時(shí)，因?yàn)楫?dāng)時(shí)修改的函數(shù)是私有的，無(wú)法添加單測(cè)函數(shù)，所以社區(qū)建議我補(bǔ)充一個(gè) e2e test.
因?yàn)樵诋?dāng)前的版本下，只要給 deployment 打上了 instrumentation.opentelemetry.io/inject-java: "true" 這類注解就會(huì)給該 deployment 注入 agent。但沒(méi)辦法指定不同的 agent 版本（或者不同的環(huán)境變量），所以希望可以新增一個(gè)選擇器，同時(shí)可以針對(duì)不同的 deployment 維護(hù)不同版本的 Instrumentation(是用于控制需要注入 deployment 的資源)；這樣就可以靈活控制了。
圖片
在這之前我其實(shí)也很少做 kubernetes 的 operator 開(kāi)發(fā)，對(duì)如何做 kubernetes 的 e2e 測(cè)試也比較陌生，好在社區(qū)提供了詳細(xì)的貢獻(xiàn)文檔。
圖片
簡(jiǎn)單來(lái)說(shuō)需要兩個(gè)關(guān)鍵組件：
安裝 kind 的前提是本地已經(jīng)安裝好了 docker。
他們的安裝都很簡(jiǎn)單，只要本地安裝好了 golang，直接使用 go install 即可：
go install sigs.k8s.io/kind@v0.22.0go install github.com/kyverno/chainsaw@latest在開(kāi)始前還是先預(yù)習(xí)下 kind 的基本使用。
安裝好 kind 之后，使用 create cluster 命令可以在本地創(chuàng)建一個(gè) kubernetes 集群。
kind create cluster -hCreates a local Kubernetes cluster using Docker container 'nodes'Usage: kind create cluster [flags]
圖片
之后只需要等待集群安裝成功即可，它會(huì)在我們的 cat ~/.kube/config 文件中追加剛才新建集群的連接信息。
k config get-contextsk config use-context xxx這樣就可以使用這兩個(gè)命令來(lái)查看和切換不同的集群了，雖說(shuō)是一個(gè)本地模擬的 kubernetes 集群，但他的核心功能和一個(gè)標(biāo)準(zhǔn)的集群沒(méi)有什么區(qū)別。
kind delete clusters --all使用完成之后可以使用這個(gè)命令將所有集群都刪除掉。
在 opentelemetry-operator 中有給我們準(zhǔn)備好一個(gè) make 命令: make prepare-e2e ；使用它會(huì)幫我們將 operator 的測(cè)試環(huán)境初始化好。
大概分為以下幾步：
不過(guò)這里的安裝過(guò)程可能會(huì)遇到問(wèn)題（本質(zhì)上都是我們的網(wǎng)絡(luò)問(wèn)題）：
圖片
圖片
這種情況可以想辦法（科學(xué)上網(wǎng)）手動(dòng)先把鏡像拉取到本地，然后 kubernetes 就會(huì)從本地倉(cāng)庫(kù)獲取到這個(gè)鏡像。
通常我們需要將同一類的測(cè)試功能放到一個(gè)文件夾里，比如這樣：
圖片
默認(rèn)情況下 Chainsaw 會(huì)查找目錄下名為 chainsaw-test.yaml 作為引導(dǎo)文件。
apiVersion: chainsaw.kyverno.io/v1alpha1 kind: Test metadata: creationTimestamp: null name: instrumentation-java spec: steps: - name: step-00 try: - command: entrypoint: kubectl args: - annotate - namespace - ${NAMESPACE} - openshift.io/sa.scc.uid-range=1000/1000 - --overwrite - command: entrypoint: kubectl args: - annotate - namespace - ${NAMESPACE} - openshift.io/sa.scc.supplemental-groups=3000/3000 - --overwrite - apply: file: 00-install-collector.yaml - apply: file: 00-install-instrumentation-select.yaml - name: step-01 try: - apply: file: 01-install-app-select.yaml - assert: file: 01-assert*.yaml catch: - podLogs: selector: app=my-java-selecttests/e2e-instrumentation/instrumentation-select├── 00-install-collector.yaml├── 00-install-instrumentation-select.yaml├── 01-assert-select.yaml├── 01-assert-without-select.yaml├── 01-install-app-select.yaml└── chainsaw-test.yaml以我這里的這份文件為例，在其中定義了幾個(gè)步驟：
00-install-collector.yaml：這里主要是安裝一個(gè) OpenTelemetry 的 collector
00-install-instrumentation-select.yaml：安裝 Instrumentation 注入資源
01-install-app-select.yaml：應(yīng)用一個(gè)我們需要測(cè)試的 deployment 資源
01-assert*.yaml：最后對(duì)最終生成的 yaml 資源與 assert*.yaml 的進(jìn)行斷言匹配，只有匹配成功后才能測(cè)試成功。
這里的測(cè)試目的主要是完成一個(gè)完整的 Java 應(yīng)用的 deployment 注入 OpenTelemetry 的 agent 過(guò)程還有一些與 OpenTelemetry 相關(guān)的環(huán)境變量。
以 00-install-instrumentation-select.yaml 文件為例：
apiVersion: opentelemetry.io/v1alpha1 kind: Instrumentation metadata: name: java-select spec: selector: matchLabels: app: my-java-select env: - name: OTEL_TRACES_EXPORTER value: otlp - name: OTEL_EXPORTER_OTLP_ENDPOINT value: http://localhost:4317 exporter: endpoint: http://localhost:4317 propagators: - jaeger - b3 sampler: type: parentbased_traceidratio argument: "0.25" java: env: - name: OTEL_JAVAAGENT_DEBUG value: "true"它的預(yù)期效果是選擇 app: my-java-select 的 deployment 將這些環(huán)境變量都注入進(jìn)去，同時(shí)默認(rèn)也會(huì)在 deployment 的容器中掛載一個(gè) javaagent.jar:
ls /otel-auto-instrumentation-java/javaagent.jar而我們的 01-assert-select.yaml:
apiVersion: v1 kind: Pod metadata: annotations: instrumentation.opentelemetry.io/inject-java: "true" sidecar.opentelemetry.io/inject: "true" labels: app: my-java-select spec: containers: - env: - name: OTEL_JAVAAGENT_DEBUG value: "true" - name: JAVA_TOOL_OPTIONS value: ' -javaagent:/otel-auto-instrumentation-java/javaagent.jar' - name: OTEL_TRACES_EXPORTER value: otlp - name: OTEL_EXPORTER_OTLP_ENDPOINT value: http://localhost:4317 - name: OTEL_TRACES_SAMPLER value: parentbased_traceidratio - name: OTEL_SERVICE_NAME value: my-java-select - name: OTEL_PROPAGATORS value: jaeger,b3 - name: OTEL_RESOURCE_ATTRIBUTES name: myapp - args: - --cnotallow=env:OTEL_CONFIG name: otc-container initContainers: - name: opentelemetry-auto-instrumentation-java status: containerStatuses: - name: myapp ready: true started: true initContainerStatuses: - name: opentelemetry-auto-instrumentation-java ready: true phase: Running最終就是把實(shí)際的 deployment 的 yaml 內(nèi)容和這份文件進(jìn)行對(duì)比。
所以這個(gè) e2e 測(cè)試就有點(diǎn)類似于集成測(cè)試，不會(huì)測(cè)試具體的功能函數(shù)，只需要最終結(jié)果能匹配就可以。
當(dāng)然這個(gè)和單元測(cè)試也是相輔相成的，缺一不可，不能完全只依賴 e2e 測(cè)試，也有可能是概率原因?qū)е伦罱K生成的資源相同；單元測(cè)試可以保證函數(shù)功能與預(yù)期相同。
都準(zhǔn)備好之后便可以進(jìn)行測(cè)試了，測(cè)試的時(shí)候也很簡(jiǎn)單，只需要執(zhí)行以下命令即可：
chainsaw test --test-dir ./tests/e2e-multi-instrumentation這樣它就會(huì)遍歷該目錄下的 chainsaw-test.yaml文件進(jìn)行測(cè)試，執(zhí)行我們上面定義的那些步驟，最終輸出測(cè)試結(jié)果：
同時(shí) Chainsaw 也提供了 Github action，可以方便的讓我們和 github CI 進(jìn)行集成。
jobs: example: runs-on: ubuntu-latest permissions: {} name: Install Chainsaw steps: - name: Install Chainsaw uses: kyverno/action-install-chainsaw@v0.1.0 with: release: v0.0.9 - name: Check install run: chainsaw version這樣我們就可以在 github 中查看我們的測(cè)試結(jié)果了：
最后不得不感嘆作為 CNCF 下面的項(xiàng)目 OpenTelemetry 的開(kāi)發(fā)者體驗(yàn)真好，只要我們跟著貢獻(xiàn)者文檔一步步操作都能順利通過(guò) CI 測(cè)試，同時(shí)還能避免一些 Code Review 過(guò)程中的低級(jí)錯(cuò)誤。
比如我第一次提 PR 的時(shí)候沒(méi)有添加 changlog 文件，后面在貢獻(xiàn)者手冊(cè)里發(fā)現(xiàn)只需要執(zhí)行 make chlog-new 就會(huì)基于當(dāng)前分支信息幫我們生成一個(gè) changelog 文件模板，然后只需要往里面填寫(xiě)內(nèi)容即可。
這些工具鏈讓不同開(kāi)發(fā)者提交的代碼和流程都符合規(guī)范，同時(shí)也降低了貢獻(xiàn)難度。
以上所有的相關(guān)源碼都可以在 https://github.com/open-telemetry/opentelemetry-operator 中進(jìn)行查看。
參考鏈接：
本文鏈接：http://www.www897cc.com/showinfo-26-87018-0.html自動(dòng)化測(cè)試在 Kubernetes Operator 開(kāi)發(fā)中的應(yīng)用：以 OpenTelemetry
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)