日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

事件流處理 (ESP) 與 Kafka 簡介

來源: 責編: 時間:2023-11-02 17:13:43 303觀看
導讀讓我們從一個場景開始,以建立對我們討論主題的基本理解。現在大多數人都熟悉的是“忠誠度或獎勵計劃”。顧客使用他們的信用卡/借記卡進行金融交易,購買雜貨、T恤、書籍...或者訂購度假時的航班和酒店房間...使用專用支

讓我們從一個場景開始,以建立對我們討論主題的基本理解。現在大多數人都熟悉的是“忠誠度或獎勵計劃”。3Rg28資訊網——每日最新資訊28at.com

顧客使用他們的信用卡/借記卡進行金融交易,購買雜貨、T恤、書籍...或者訂購度假時的航班和酒店房間...使用專用支付方式進行任何購買。3Rg28資訊網——每日最新資訊28at.com

公司然后根據消費金額向顧客提供積分、里程、返現或福利。顧客可以使用這些積分/里程/返現/獎勵來獲得折扣、免費產品或會員特權。企業這樣做是為了激勵再次購買,并建立與顧客的信任。3Rg28資訊網——每日最新資訊28at.com

3Rg28資訊網——每日最新資訊28at.com

圖像來源:tibco.com3Rg28資訊網——每日最新資訊28at.com

什么是事件流處理 (ESP)? 那么,這是如何發生的?我的信用卡公司是如何將我花的每一美元與適當的費用類別匹配,然后向我授予我可以用來預訂酒店房間或機票的里程數的?這就是“事件流處理 (ESP)”發揮作用的地方。ESP是一種能夠處理持續數據流(事件流)的技術,一旦事件或變化發生,就能立即處理。通過處理單個數據點而不是整個批次,事件流處理平臺提供了一種架構,使軟件能夠理解、對事件作出反應,并在事件發生時運行。3Rg28資訊網——每日最新資訊28at.com

3Rg28資訊網——每日最新資訊28at.com

ESP 平臺

讓我們從數據集成的角度來考慮這個過程,我們有一個從“源系統”開始的事件,其中包含有關新交易的數據,然后連接到“目標系統”,在那里事件變化被加載、分析和轉換成期望的結果。只需幾行代碼的簡單軟件可以執行此操作:3Rg28資訊網——每日最新資訊28at.com

3Rg28資訊網——每日最新資訊28at.com

圖像來源:Learn Apache Kafka for Beginners3Rg28資訊網——每日最新資訊28at.com

隨著源系統和/或目標系統的數量增加,數據集成挑戰也增加了。3Rg28資訊網——每日最新資訊28at.com

3Rg28資訊網——每日最新資訊28at.com

圖像來源:Learn Apache Kafka for Beginners3Rg28資訊網——每日最新資訊28at.com

因此,正如您所看到的,集成變得并不容易。源系統和/或目標系統的數量越多,就需要建立越多的集成,使架構變得非常復雜。此外,每個源系統可能會因來自目標系統的請求和連接數量增加而負擔過重。每個集成還會涉及協議、數據格式、數據模式和演變方面的困難。3Rg28資訊網——每日最新資訊28at.com

這就是事件流處理平臺的用武之地。正如我們上面討論的,ESP平臺提供了一種使軟件能夠理解、對事件作出反應并在事件發生時運行的架構。3Rg28資訊網——每日最新資訊28at.com

3Rg28資訊網——每日最新資訊28at.com

3Rg28資訊網——每日最新資訊28at.com

什么是 Apache Kafka? — Kafka 是一種流行的事件流處理平臺。 與許多 ESP 平臺一樣,Kafka通過在源系統和目標系統之間引入解耦來解決數據集成挑戰:3Rg28資訊網——每日最新資訊28at.com

3Rg28資訊網——每日最新資訊28at.com

Apache Kafka將收集、分類和存儲來自源系統(例如網站、定價數據、金融交易、用戶互動等)的所有數據。這些源系統被稱為“生產者”,它們生成 Kafka 數據流。當目標系統需要接收數據時,它們只需從 Kafka 數據中提取數據。因此,目標系統被稱為“消費者”。Kafka現在位于生成者接收數據和向消費者發送數據之間。3Rg28資訊網——每日最新資訊28at.com

它是如何工作的?

Kafka的工作方式與消息隊列(例如 RabbitMQ)非常相似,但具有一些增強功能。Kafka有生產者和消費者的概念,正如前面討論過的。生產者將消息推送到Kafka,而接收者獲取它們。許多消息可能通過Kafka傳遞,因此為了區分它們并允許您隔離不同的處理上下文,Kafka將消息分組到“主題”中。3Rg28資訊網——每日最新資訊28at.com

每個試圖發布某些內容的生產者都必須提供“主題名稱”。另一方面,消費者訂閱一組主題(可以同時有許多主題),然后從這些主題中獲取消息。3Rg28資訊網——每日最新資訊28at.com

3Rg28資訊網——每日最新資訊28at.com

圖片來源:hevodata.com3Rg28資訊網——每日最新資訊28at.com

總結一下,這些是關于Kafka的關鍵重要信息:3Rg28資訊網——每日最新資訊28at.com

  • 生產者將消息發布到隊列,消費者獲取它們進行處理。
  • 消費者和生產者在一組被稱為主題的消息上工作。這使您能夠隔離不同類型的消息。
  • 消費者分組成消費者組,允許您將工作負載分布到處于同一組的不同消費者實例中。
  • 消費者是Java應用程序,可以擴展以提供更多(或更少)的處理能力。
  • 每個主題分為分區 —— 單獨的消息塊,具有一個分區內的順序保證。可以根據需要配置分區的數量。
  • 每條消息由主題名稱、分區號和偏移量唯一標識。
  • 偏移量是從主題和分區存在的開始位置的消息編號。
  • 提交的偏移量是存儲在Kafka中的偏移量,用于在消費者崩潰或重新啟動后恢復處理。可以將其視為檢查點。
  • 消費者位置是消費者內部使用的偏移量,用于跟蹤下一次輪詢時要獲取的消息。

為什么使用 Apache Kafka?

Kafka是一個開源項目。它具有分布式、彈性的架構,并且容忍故障(您可以對其進行修補和維護,而無需關閉整個系統)。Kafka具有橫向擴展性。該項目旨在提供一個統一的、高吞吐量、低延遲(低于10毫秒)的平臺,用于處理實時數據流。3Rg28資訊網——每日最新資訊28at.com

Kafka被許多組織(如Netflix、Uber、LinkedIn等)和IT團隊用作消息系統、活動跟蹤系統、流處理、微服務發布/訂閱、應用程序日志收集、度量數據收集、解耦系統依賴關系以及與其他大數據技術集成。3Rg28資訊網——每日最新資訊28at.com

  • Netflix使用Kafka實時應用建議,當用戶在他們的應用上觀看電視節目時。
  • Uber使用Kafka實時收集用戶和行程數據,以計算和預測需求以及價格漲跌情況。這就是為什么您的Uber應用中相同行程的價格隨時都會發生變化。

Kafka是一個非常酷的平臺。我們可以使用Docker輕松在您的筆記本電腦上設置單節點Kafka集群。3Rg28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-16636-0.html事件流處理 (ESP) 與 Kafka 簡介

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 如何在Kubernetes中使用Init Container

下一篇: GORM:在Go中輕松管理數據庫

標簽:
  • 熱門焦點
  • 影音體驗是真的強 簡單聊聊iQOO Pad

    大公司的好處就是產品線豐富,非常細分化的東西也能給你做出來,例如早先我們看到了新的vivo Pad2,之后我們又在iQOO Neo8 Pro的發布會上看到了iQOO的首款平板產品iQOO Pad。雖
  • .NET 程序的 GDI 句柄泄露的再反思

    一、背景1. 講故事上個月我寫過一篇 如何洞察 C# 程序的 GDI 句柄泄露 文章,當時用的是 GDIView + WinDbg 把問題搞定,前者用來定位泄露資源,后者用來定位泄露代碼,后面有朋友反
  • 自律,給不了Keep自由!

    來源 | 互聯網品牌官作者 | 李大為編排 | 又耳 審核 | 谷曉輝自律能不能給用戶自由暫時不好說,但大概率不能給Keep自由。近日,全球最大的在線健身平臺Keep正式登陸港交所,努力
  • 阿里大調整

    來源:產品劉有媒體報道稱,近期淘寶天貓集團啟動了近年來最大的人力制度改革,涉及員工績效、層級體系等多個核心事項,目前已形成一個初步的“征求意見版”:1、取消P序列
  • 小米MIX Fold 3下月亮相:今年唯一無短板的全能折疊屏

    這段時間以來,包括三星、一加、榮耀等等有不少品牌旗下的最新折疊屏旗艦都有新的進展,其中榮耀、三星都已陸續發布了最新的折疊屏旗艦,尤其號榮耀Magi
  • OPPO、vivo、小米等國內廠商Q2在印度智能手機市場份額依舊高達55%

    7月20日消息,據外媒報道,研究機構的報告顯示,在全球智能手機出貨量同比仍在下滑的大背景下,印度這一有潛力的市場也未能幸免,出貨量同比也有下滑,多家廠
  • 三星電子Q2營收60萬億韓元 存儲業務營收同比仍下滑超過50%

    7月27日消息,據外媒報道,從三星電子所發布的財報來看,他們主要利潤來源的存儲芯片業務在今年二季度仍不樂觀,營收同比仍在大幅下滑,所在的設備解決方案
  • 2299元起!iQOO Pad開啟預售:性能最強天璣平板

    5月23日,iQOO如期舉行了新品發布會,除了首發安卓最強旗艦處理器的iQOO Neo8系列新機外,還在發布會上推出了旗下首款平板電腦——iQOO Pad,其搭載了天璣
  • 三翼鳥智能家居亮相電博會,讓用戶體驗更真實

    2021電博會在青島國際會展中心開幕中,三翼鳥直接把“家”搬到了現場,成為了展會的一大看點。這也是三翼鳥繼9月9日發布了行業首個一站式定制智慧家平臺后的
Top 主站蜘蛛池模板: 西宁市| 黎平县| 清原| 蒙阴县| 资中县| 大宁县| 东方市| 太康县| 屏南县| 准格尔旗| 罗定市| 威信县| 宁远县| 遵义县| 阜南县| 潞西市| 房产| 淄博市| 钦州市| 长白| 巴彦淖尔市| 雷波县| 融水| 墨江| 武宣县| 那坡县| 驻马店市| 丹巴县| 商洛市| 麻栗坡县| 娄底市| 吉水县| 嵊泗县| 中西区| 三穗县| 岳西县| 即墨市| 六枝特区| 论坛| 启东市| 芦山县|