Kafka 最初是為大規(guī)模處理日志而構(gòu)建的。它可以保留消息直到過(guò)期，并讓各個(gè)消費(fèi)者按照自己的節(jié)奏提取消息。T1M28資訊網(wǎng)——每日最新資訊28at.com

與其之前的競(jìng)品不同，Kafka 不僅僅是一個(gè)消息隊(duì)列，它還是一個(gè)適用于各種情況的開(kāi)源事件流平臺(tái)。T1M28資訊網(wǎng)——每日最新資訊28at.com

讓我們回顧一下流行的 Kafka 用例。T1M28資訊網(wǎng)——每日最新資訊28at.com

T1M28資訊網(wǎng)——每日最新資訊28at.com

01 日志處理和分析

上圖顯示了一個(gè)典型的 ELK（Elastic-Logstash-Kibana）棧。Kafka 從每個(gè)服務(wù)實(shí)例高效地收集日志流。ElasticSearch 從 Kafka 中獲取日志并編制索引。Kibana 在 ElasticSearch 的基礎(chǔ)上提供搜索和可視化用戶(hù)界面。T1M28資訊網(wǎng)——每日最新資訊28at.com

02 推薦系統(tǒng)中的數(shù)據(jù)流

亞馬遜等電子商務(wù)網(wǎng)站利用用戶(hù)過(guò)去的行為和相似用戶(hù)分析來(lái)計(jì)算產(chǎn)品推薦。Kafka 傳輸原始點(diǎn)擊流數(shù)據(jù)，F(xiàn)link 對(duì)其進(jìn)行處理，而模型訓(xùn)練則消耗數(shù)據(jù)湖中的匯總數(shù)據(jù)。這樣就能不斷改進(jìn)針對(duì)每個(gè)用戶(hù)的推薦相關(guān)性。T1M28資訊網(wǎng)——每日最新資訊28at.com

03 系統(tǒng)監(jiān)控和警報(bào)

與日志分析系統(tǒng)類(lèi)似，我們需要收集系統(tǒng)指標(biāo)來(lái)進(jìn)行監(jiān)控和故障排除。不同的是，指標(biāo)是結(jié)構(gòu)化數(shù)據(jù)，而日志是非結(jié)構(gòu)化文本。指標(biāo)數(shù)據(jù)被發(fā)送到 Kafka 并在 Flink 中聚合。實(shí)時(shí)監(jiān)控儀表板和警報(bào)系統(tǒng)（如 PagerDuty）將使用匯總的數(shù)據(jù)。T1M28資訊網(wǎng)——每日最新資訊28at.com

04 CDC（Change Data Capture）

CDC 將數(shù)據(jù)庫(kù)的變更傳輸?shù)狡渌到y(tǒng)，以便復(fù)制或更新緩存/索引。例如，在下圖中，事務(wù)日志被發(fā)送到 Kafka，并被 ElasticSearch、Redis 和二級(jí)數(shù)據(jù)庫(kù)攝取。T1M28資訊網(wǎng)——每日最新資訊28at.com

05 系統(tǒng)遷移

升級(jí)舊服務(wù)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，比如編程語(yǔ)言陳舊、邏輯復(fù)雜、缺乏測(cè)試等等。我們可以利用消息中間件來(lái)降低風(fēng)險(xiǎn)。如上圖所示，為了升級(jí)訂單服務(wù)，我們更新了舊訂單服務(wù)，以便從 Kafka 中消費(fèi)輸入，并將結(jié)果寫(xiě)入 ORDER Topic。新訂單服務(wù)消耗相同的輸入，并將結(jié)果寫(xiě)入 ORDERNEW Topic。對(duì)賬服務(wù)會(huì)比較 ORDER 和 ORDERNEW 下收到的內(nèi)容。如果它們完全相同，新服務(wù)就會(huì)通過(guò)測(cè)試。T1M28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-26-60991-0.htmlKafka 除了用作消息隊(duì)列還能干嗎？

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 萬(wàn)字長(zhǎng)文超全C++面經(jīng)

下一篇： Python單元測(cè)試之道：從入門(mén)到精通