不管是現(xiàn)實之中,還是虛擬世界,搬家從來都是勞神耗力的大工程。不過,隨著技術的發(fā)展,系統(tǒng)搬家正在告別兵荒馬亂的時代。
這一觀點并非空穴來風。就在上個月,操作系統(tǒng)大會 & openEuler Summit 2023 在京召開,咪咕視訊斬獲 2023 年度 openEuler 領先商業(yè)實踐獎。獲獎項目正是公司規(guī)模浩大的操作系統(tǒng)遷移實踐。
作為體育內(nèi)容服務商,咪咕視訊旗下“咪咕視頻”、“移動高清”等產(chǎn)品已經(jīng)實現(xiàn)了全場景覆蓋。一直以來,也因其出色音視頻能力,深受用戶認可。面對操作系統(tǒng)遷移的巨大工程,咪咕視訊依舊延續(xù)了高畫質(zhì)、高音效、高安全、低時延的穩(wěn)定用戶體驗,更是通過了亞運會直播的重大考驗。
如此絲滑的云搬家到底是靠什么實現(xiàn)的?openEuler 便是背后的“神秘武器”。
顛覆“船大難掉頭”
要理解 openEuler 的強大,就要先了解咪咕視訊“搬家”的難度。
咪咕視訊成立于 2014 年,是中國移動咪咕公司旗下唯一聚焦于視頻運營的實體單位。經(jīng)過 9 年多的發(fā)展,咪咕已經(jīng)成為視頻內(nèi)容領域和體育賽事內(nèi)容領域的企業(yè),也是國內(nèi)首個聚齊足籃排“三大球”頂級賽事、國內(nèi)唯一聚齊歐洲足球五大聯(lián)賽的體育內(nèi)容平臺。
這意味著系統(tǒng)不光要承受高強度的直播和內(nèi)容傳輸,還要應對重大賽事帶來的突發(fā)數(shù)據(jù)沖擊。以 2022 年卡塔爾世界杯為例,咪咕視頻作為持權轉(zhuǎn)播商,實現(xiàn)了僅 11 月用戶規(guī)模同比增長就高達 103.55%。在劇烈的數(shù)據(jù)波動下,保證平穩(wěn)運行已經(jīng)很有挑戰(zhàn),要同步實現(xiàn)系統(tǒng)遷移更是難上加難。
特別值得一提的是,臨近年底,多個互聯(lián)網(wǎng)頭部平臺出現(xiàn)崩潰,成熟系統(tǒng)的運行中尚且有如此意外,對于咪咕視頻這種巨無霸量級的項目,搬家更是如履薄冰,稍有差錯可能就會造成無法挽回的事故。
既然有風險,咪咕視頻為何還要搬遷系統(tǒng)?據(jù)了解,咪咕視頻現(xiàn)網(wǎng)服務器主要使用的是 CentOS / RHEL 操作系統(tǒng),而該系統(tǒng)已于 2021 年 12 月 31 日停服,嚴重威脅到咪咕視頻系統(tǒng)的連續(xù)性。為保障現(xiàn)網(wǎng)業(yè)務的穩(wěn)定與安全,替換操作系統(tǒng)迫在眉睫。
與此同時,由于咪咕視頻資源池使用多年,總體資源可分配余量已無法滿足新項目需求。而且現(xiàn)有資源利用率較低,通過管理手段也難以扭轉(zhuǎn),咪咕視頻迫切需要通過平臺技術革新來全面提升資源整體利用率。操作系統(tǒng)搬遷疊加系統(tǒng)升級的需求,似乎不可完成。
方法總比困難多。面對難但必須做的項目,前沿技術給出了可行方案,讓充滿兇險的系統(tǒng)遷移之路變得更加平穩(wěn)。針對操作系統(tǒng)遷移,咪咕視訊團隊從自主創(chuàng)新考慮,鎖定了國內(nèi)開源社區(qū)的操作系統(tǒng) openEuler(歐拉)。
公開資料顯示,openEuler 是面向數(shù)字基礎設施的全場景開源操作系統(tǒng),基于 Linux 穩(wěn)定系統(tǒng)內(nèi)核,以高可靠、高安全以及高保障著稱。在功能和性能上,咪咕團隊分別對歐拉進行專項測試驗證,證明 openEuler 可替換 CentOS,從而決定遷移至 openEuler。
與 openEuler 社區(qū)團隊充分交流后,咪咕視頻采用了 x2openEuler 與原地升級技術的遷移解決方案。同時,咪咕視頻結合特有的雙機房、雙活及容災系統(tǒng)優(yōu)勢,形成了不停服敏捷部署方案。利用多系統(tǒng)多團隊并發(fā)任務有序推進的項目管理方式,團隊從技術、方案和項目管理多管齊下,實現(xiàn)了系統(tǒng)遷移和用戶體驗不降級的“雙達成”。
“船大難掉頭”正在被技術顛覆,咪咕視頻的“搬家”效率驚人。截止 2023 年底,已經(jīng)累計遷移上量 2.2 萬套 openEuler 系統(tǒng)。業(yè)務系統(tǒng)覆蓋咪咕視頻(包括超高清直播、多屏互動等)各類關鍵業(yè)務系統(tǒng),并經(jīng)歷 2023 年亞運會直播、錄播等重大活動,覆蓋海內(nèi)外 3.6 億用戶。
遷移升級降本“一箭三雕”
平穩(wěn)遷移只是 openEuler 方案的一個側面,系統(tǒng)升級和降本增效同樣引人注目。
在 openEuler 操作系統(tǒng)替換過程中,咪咕視訊聯(lián)合歐拉社區(qū),定制了針對咪咕視訊業(yè)務的操作系統(tǒng)一鍵式升級工具,有效提升了咪咕視頻的操作系統(tǒng)替換效率。據(jù)統(tǒng)計,咪咕視頻通過遷移和新應用系統(tǒng)部署,其業(yè)務的性能部分提升超 10%。
值得一提的是,該方案選擇了云原生混合部署方案,以提升集群應用密度與資源利用率,從而實現(xiàn)降本增效。首批選擇了針對在線業(yè)務視頻門戶與離線任務點播轉(zhuǎn)碼,在 Ocean 平臺開展混合部署。系統(tǒng)還引入混合部署引擎 rubik,該引擎可以減少資源爭搶,做到資源隔離保證業(yè)務之間無影響,在保證業(yè)務正常運行的情況下,讓資源得到充分復用。
同時在集群調(diào)度層面,咪咕視訊還開發(fā)了統(tǒng)一調(diào)度器 CA(Cluster Autoscaler)來滿足業(yè)務的混合部署,增強集群調(diào)度能力。該調(diào)度器根據(jù)業(yè)務負載情況、以及自研算法來完成混合部署,達到資源的復用。現(xiàn)網(wǎng)運行效果顯示,預計可為企業(yè)節(jié)省服務器數(shù)百臺、降低服務器采購成本數(shù)百萬。
咪咕視頻項目負責人表示,除了日常的生產(chǎn)環(huán)境的運行維護,降本增效一直是后端運維部門的重點工作。通過自研的全局混合調(diào)度器 CA,與 openEuler 社區(qū)容器混合部署引擎 Rubik 的緊密結合,咪咕視頻實現(xiàn)了視頻門戶和視頻轉(zhuǎn)碼在離線業(yè)務的混合部署,成功將本地資源的 CPU 利用率提升到 50% 以上,且關鍵業(yè)務效果還不受影響。
例如在 2023 年亞運會保障中,該方案表現(xiàn)優(yōu)異,平臺穩(wěn)定,性能可靠,期間平臺無任何故障發(fā)生。結合 openEuler 在咪咕視頻內(nèi)部的操作系統(tǒng)遷移實踐,預估在 2025 年前,咪咕視頻就能夠完成現(xiàn)有業(yè)務的全量系統(tǒng)遷移。
在大型賽事保障中的優(yōu)異表現(xiàn),不僅證明了在互聯(lián)網(wǎng)視頻場景下,openEuler 操作系統(tǒng)具備規(guī)模化推廣上線的能力,同時也展現(xiàn)了“多效合一”的應用邏輯。大多數(shù)時間里,一個業(yè)務動作只能實現(xiàn)一個效果。而在咪咕視頻系統(tǒng)遷移的項目中,系統(tǒng)升級、降本增效與系統(tǒng)遷移同步完成,實現(xiàn)了“一箭三雕”。
在 openEuler 技術框架下,“一舉多得”成為標配,引領了數(shù)字基建的新趨勢。
“值得信賴”的濾震器
安全遷移的背后,運維服務是關鍵。
聯(lián)合創(chuàng)新意味著新的突破和嘗試,如何將這些變化控制在安全范圍內(nèi)是門技術活。以咪咕視頻遷移系統(tǒng)到 openEuler 為例,出現(xiàn)問題是不可避免的。重要的是系統(tǒng)運維力量能否將問題扼殺在產(chǎn)生傷害之前,及時將遷移的震動過濾掉。
目前,咪咕視頻完成了全部業(yè)務跟 openEuler 的適配,并且超 50% 的系統(tǒng)也已遷移部署到 openEuler 上運行。在這個實踐過程中,專項組發(fā)現(xiàn)問題的第一時間,就跟社區(qū)團隊即時反饋。并通過與社區(qū) x2openEuler 技術團隊的聯(lián)合創(chuàng)新,共同構建了咪咕視訊內(nèi)部使用的業(yè)務遷移解決方案,并生成了可復用的輔助升級工具。
針對系統(tǒng)遷移項目,openEuler 跨基礎架構運維和應用運維團隊抽調(diào)一線運維技術骨干工程師成立專項團隊,分別按業(yè)務系統(tǒng)、分批適時遷移。正是因為運維服務能力的協(xié)助,系統(tǒng)整體遷移過程才能平滑進行,未造成任何生產(chǎn)故障,業(yè)務側零感知、零投訴。
對于項目最具價值的收獲,非方法論莫屬。在咪咕視頻系統(tǒng)遷移項目的運維過程中,專項團隊還將實踐經(jīng)驗、發(fā)現(xiàn)問題系統(tǒng)總結,并將對應的遷移方案和解決方法匯總,形成咪咕視訊自己的經(jīng)驗知識庫和方法論儲備。
大眾往往在系統(tǒng)的創(chuàng)新上投注了過多的注意,反而忽視了全周期內(nèi)的運維服務能力的重要性。在咪咕視頻系統(tǒng)遷移的項目中,openEuler 創(chuàng)新之外,“穩(wěn)”的能力同樣突出,值得合作伙伴信賴。
咪咕視頻攜手 openEuler,實現(xiàn)絲滑“搬家”不過是行業(yè)脈動的一個縮影。從更宏觀的視角審視行業(yè),遷移升級降本“三位一體”也只是道開胃菜。在未來,共創(chuàng)共贏模式驅(qū)動之下,一切皆有可能。
本文鏈接:http://www.www897cc.com/showinfo-26-63957-0.html咪咕視訊“搬家”啟示錄:openEuler 或成數(shù)字基建最優(yōu)解
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com