日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當(dāng)前位置:首頁(yè) > 科技  > 軟件

使用Apache Flink的四個(gè)理由,你知道幾個(gè)?

來(lái)源: 責(zé)編: 時(shí)間:2023-11-03 09:17:28 396觀看
導(dǎo)讀Apache Kafka已經(jīng)成為企業(yè)內(nèi)流式數(shù)據(jù)傳輸?shù)氖走x平臺(tái)。但如果數(shù)據(jù)可以被清洗、豐富后為下游更多應(yīng)用提供服務(wù),那么流式處理就更有價(jià)值。這就是流處理的作用。譯自 4 Reasons Why Developers Should Use Apache Flink 。

Apache Kafka已經(jīng)成為企業(yè)內(nèi)流式數(shù)據(jù)傳輸?shù)氖走x平臺(tái)。但如果數(shù)據(jù)可以被清洗、豐富后為下游更多應(yīng)用提供服務(wù),那么流式處理就更有價(jià)值。這就是流處理的作用。5O228資訊網(wǎng)——每日最新資訊28at.com

譯自 4 Reasons Why Developers Should Use Apache Flink 。5O228資訊網(wǎng)——每日最新資訊28at.com

流處理允許你持續(xù)消費(fèi)數(shù)據(jù)流,用額外的業(yè)務(wù)邏輯處理數(shù)據(jù),并將其轉(zhuǎn)化為新的流,以便其他人可以在自己的應(yīng)用中重復(fù)使用。其應(yīng)用范圍廣泛,包括實(shí)時(shí)控制面板、機(jī)器學(xué)習(xí)模型、物化視圖,以及事件驅(qū)動(dòng)的應(yīng)用和微服務(wù)。5O228資訊網(wǎng)——每日最新資訊28at.com

圖片圖片5O228資訊網(wǎng)——每日最新資訊28at.com

流處理用額外的業(yè)務(wù)邏輯增強(qiáng)數(shù)據(jù)流,將其轉(zhuǎn)化為新的可重復(fù)使用的數(shù)據(jù)流,以供下游應(yīng)用和流水線使用。5O228資訊網(wǎng)——每日最新資訊28at.com

處理邏輯的復(fù)雜度因具體應(yīng)用場(chǎng)景而異,范圍從簡(jiǎn)單的過(guò)濾和聚合,到更復(fù)雜的多路時(shí)間關(guān)聯(lián)和任意事件驅(qū)動(dòng)邏輯。因此,與其他選項(xiàng)(如定期批處理、ELT、經(jīng)典兩層架構(gòu))相比,流處理的優(yōu)勢(shì)因情況而異。5O228資訊網(wǎng)——每日最新資訊28at.com

盡管如此,推動(dòng)采用流處理的關(guān)鍵因素通常屬于以下一個(gè)或多個(gè)類別:5O228資訊網(wǎng)——每日最新資訊28at.com

  • 延遲: 流處理大大縮短事件發(fā)生和反映在產(chǎn)品或用戶體驗(yàn)中的時(shí)間,無(wú)論是控制面板、機(jī)器學(xué)習(xí)模型還是其他應(yīng)用。
  • 創(chuàng)新和重用性: 流處理將數(shù)據(jù)產(chǎn)品轉(zhuǎn)化為可共享的資產(chǎn),可供下游應(yīng)用和系統(tǒng)消費(fèi)和構(gòu)建。數(shù)據(jù)流成為可重用的構(gòu)建塊,具有明確定義和一致的訪問(wèn)方式,使其他團(tuán)隊(duì)可以輕松在新產(chǎn)品和應(yīng)用中使用。
  • 成本和資源效率: 持續(xù)處理可隨時(shí)間分配工作,提高資源利用率。此外,上游處理(如預(yù)聚合、會(huì)話等)極大地減少下游系統(tǒng)(如數(shù)據(jù)倉(cāng)庫(kù)、實(shí)時(shí)分析數(shù)據(jù)庫(kù)等)的成本,并加速其查詢。
  • 表達(dá)性: 生活不會(huì)分批次發(fā)生。與定期批處理不同,流處理不會(huì)在數(shù)據(jù)中引入人為邊界,從而影響處理邏輯。

Flink是最活躍的Apache項(xiàng)目之一,提供了流處理和批處理的統(tǒng)一框架。像Uber、Netflix、LinkedIn這樣的數(shù)字化先鋒公司使用Flink,傳統(tǒng)企業(yè)如高盛和Comcast也在使用。5O228資訊網(wǎng)——每日最新資訊28at.com

Flink也擁有大型且活躍的貢獻(xiàn)者社區(qū),其中包括Apple和阿里巴巴等公司的支持,這有助于保證持續(xù)創(chuàng)新。因此,F(xiàn)link的采用速度與Kafka早期階段相當(dāng)。5O228資訊網(wǎng)——每日最新資訊28at.com

圖片圖片5O228資訊網(wǎng)——每日最新資訊28at.com

Flink的增長(zhǎng)速度與Kafka生命周期相同階段基本相當(dāng)。5O228資訊網(wǎng)——每日最新資訊28at.com

下面是公司選擇Flink而非其他流處理技術(shù)的四大常見(jiàn)原因:5O228資訊網(wǎng)——每日最新資訊28at.com

第一: 它是一個(gè)強(qiáng)大的執(zhí)行引擎

Flink擁有強(qiáng)大的運(yùn)行時(shí),具有卓越的資源優(yōu)化、高吞吐量與低延遲以及可靠的狀態(tài)處理。具體來(lái)說(shuō),運(yùn)行時(shí)可以:5O228資訊網(wǎng)——每日最新資訊28at.com

  • 實(shí)現(xiàn)每秒數(shù)千萬(wàn)條記錄的持續(xù)吞吐量
  • 大規(guī)模下保持亞秒級(jí)延遲
  • 跨系統(tǒng)邊界保證端到端的恰好一次處理
  • 即使在故障和無(wú)序事件下也能計(jì)算出正確結(jié)果
  • 管理和在錯(cuò)誤時(shí)恢復(fù)高達(dá)數(shù)十TB的狀態(tài)

Flink可根據(jù)用例配置各種工作負(fù)載,包括流處理、批處理或兩者的混合。5O228資訊網(wǎng)——每日最新資訊28at.com

第二: 兼容多種API和語(yǔ)言

Flink提供了四種不同的API,可滿足不同用戶和應(yīng)用需求。Flink還支持多種編程語(yǔ)言,包括Python、Java和SQL。5O228資訊網(wǎng)——每日最新資訊28at.com

圖片圖片5O228資訊網(wǎng)——每日最新資訊28at.com

Flink提供了多層次的API,抽象級(jí)別不同,既可處理常見(jiàn)用例,也可處理不太常見(jiàn)的用例。5O228資訊網(wǎng)——每日最新資訊28at.com

適用于Java和Python的DataStream API通過(guò)鏈接FlatMap、Filter、Process等轉(zhuǎn)換函數(shù)創(chuàng)建數(shù)據(jù)流圖。在這些用戶定義函數(shù)中,你可以訪問(wèn)狀態(tài)流處理器的基本組件,如狀態(tài)、時(shí)間和事件。這讓你可以細(xì)粒度控制記錄在系統(tǒng)中的流動(dòng)以及讀寫和更新應(yīng)用狀態(tài)。如果你熟悉Kafka Streams DSL和Kafka Processor API,使用體驗(yàn)會(huì)很熟悉。5O228資訊網(wǎng)——每日最新資訊28at.com

Table API是Flink更現(xiàn)代的聲明式API。它允許你用連接、過(guò)濾、聚合、投影等關(guān)系操作以及各種用戶定義函數(shù)編寫程序。與DataStream API類似,Table API支持Java和Python。使用此API開發(fā)的程序會(huì)進(jìn)行類似Flink SQL查詢的優(yōu)化,與SQL共享若干特性,如類型系統(tǒng)、內(nèi)置函數(shù)和驗(yàn)證層。該API與Spark Structured Streaming、Spark DataFrame API和Snowpark DataFrame API有相似處,不過(guò)那些API更側(cè)重微批和批處理而非流處理。5O228資訊網(wǎng)——每日最新資訊28at.com

基于與Table API相同的底層架構(gòu),F(xiàn)link SQL是遵循ANSI標(biāo)準(zhǔn)的SQL引擎,可處理實(shí)時(shí)和歷史數(shù)據(jù)。Flink SQL使用Apache Calcite進(jìn)行查詢規(guī)劃和優(yōu)化。它支持任意嵌套子查詢,廣泛的語(yǔ)言支持包括各種流連接和模式匹配,擁有廣泛的生態(tài)系統(tǒng),包括JDBC驅(qū)動(dòng)程序、目錄和交互式SQL Shell。5O228資訊網(wǎng)——每日最新資訊28at.com

最后是“Stateful Functions”,它簡(jiǎn)化了狀態(tài)化分布式事件驅(qū)動(dòng)應(yīng)用的創(chuàng)建。這是Flink項(xiàng)目下的一個(gè)獨(dú)立子項(xiàng)目,與Flink的其他API很不相同。Stateful Functions可以理解為一個(gè)基于Flink運(yùn)行時(shí)的狀態(tài)化、容錯(cuò)的分布式Actor系統(tǒng)。5O228資訊網(wǎng)——每日最新資訊28at.com

廣泛的API選擇使Flink成為流處理的理想選擇,隨著需求和用例的演變,你可以隨時(shí)間混合使用不同的API。5O228資訊網(wǎng)——每日最新資訊28at.com

第三: 流處理和批處理融合

Apache Flink統(tǒng)一了流處理和批處理,因?yàn)槠渲饕狝PI(SQL、Table API和DataStream API)同時(shí)支持有界數(shù)據(jù)集和無(wú)界數(shù)據(jù)流。具體來(lái)說(shuō),你可以根據(jù)正在處理的數(shù)據(jù)性質(zhì),以批處理或流處理模式運(yùn)行相同程序。你甚至可以讓系統(tǒng)為你選擇處理模式。5O228資訊網(wǎng)——每日最新資訊28at.com

  • 只有有界數(shù)據(jù)源 → 批處理模式
  • 至少一個(gè)無(wú)界數(shù)據(jù)源 → 流處理模式

圖片圖片5O228資訊網(wǎng)——每日最新資訊28at.com

Flink可以在同一平臺(tái)上統(tǒng)一流處理和批處理。5O228資訊網(wǎng)——每日最新資訊28at.com

流批處理的統(tǒng)一為開發(fā)者帶來(lái)實(shí)實(shí)在在的好處:5O228資訊網(wǎng)——每日最新資訊28at.com

  • 在實(shí)時(shí)和歷史數(shù)據(jù)處理場(chǎng)景提供一致語(yǔ)義
  • 在實(shí)時(shí)和歷史數(shù)據(jù)處理應(yīng)用間復(fù)用代碼、邏輯和基礎(chǔ)設(shè)施
  • 在單一應(yīng)用中組合歷史和實(shí)時(shí)數(shù)據(jù)處理

第四: 它已做好生產(chǎn)就緒準(zhǔn)備

Flink是一個(gè)成熟平臺(tái),在最苛刻的生產(chǎn)場(chǎng)景中經(jīng)受住了檢驗(yàn)。表現(xiàn)這一點(diǎn)的特性包括:5O228資訊網(wǎng)——每日最新資訊28at.com

  • 開箱即用地與Datadog、Prometheus等工具集成的指標(biāo)系統(tǒng),也可與自定義解決方案集成
  • 通過(guò)Flink Web UI進(jìn)行全面的可觀測(cè)性、故障排查和調(diào)試支持,包括回壓監(jiān)控、火焰圖和線程轉(zhuǎn)儲(chǔ)
  • 保存點(diǎn),允許你在保持恰好一次語(yǔ)義的前提下,狀態(tài)式擴(kuò)展、升級(jí)、分叉、備份和遷移應(yīng)用

Flink和Kafka: 強(qiáng)大組合

Flink和Kafka經(jīng)常一起使用,事實(shí)上Kafka是Flink最熱門的連接器。兩者高度兼容,在許多方面Kafka推動(dòng)了Flink的廣泛采用。5O228資訊網(wǎng)——每日最新資訊28at.com

需注意,F(xiàn)link本身不存儲(chǔ)任何數(shù)據(jù),它對(duì)其他地方存儲(chǔ)的數(shù)據(jù)進(jìn)行操作。可以把Flink視為Kafka的計(jì)算層,為實(shí)時(shí)應(yīng)用和流水線提供支持,而Kafka是流數(shù)據(jù)的基礎(chǔ)存儲(chǔ)層。5O228資訊網(wǎng)——每日最新資訊28at.com

圖片圖片5O228資訊網(wǎng)——每日最新資訊28at.com

在數(shù)據(jù)流堆棧中,F(xiàn)link處理計(jì)算需求,Kafka提供存儲(chǔ)層。5O228資訊網(wǎng)——每日最新資訊28at.com

隨時(shí)間推移,F(xiàn)link在支持Kafka應(yīng)用方面越來(lái)越嫻熟。它可以將Kafka用作數(shù)據(jù)源和數(shù)據(jù)匯,利用Kafka豐富的生態(tài)系統(tǒng)和工具。Flink還原生支持熱門的數(shù)據(jù)格式,包括Avro、JSON和Protobuf。5O228資訊網(wǎng)——每日最新資訊28at.com

對(duì)Flink來(lái)說(shuō),Kafka也是一個(gè)同樣好的匹配。與ActiveMQ、RabbitMQ或PubSub等其他消息系統(tǒng)相比,Kafka為Flink提供持久且無(wú)限的數(shù)據(jù)存儲(chǔ)。此外,Kafka允許多個(gè)消費(fèi)者同時(shí)讀取流并按需倒帶。第一個(gè)屬性補(bǔ)充了Flink的分布式處理范式,第二個(gè)對(duì)Flink的容錯(cuò)機(jī)制至關(guān)重要。5O228資訊網(wǎng)——每日最新資訊28at.com

渴望更多了解Flink?

想深入了解的話,可以在Confluent Developer網(wǎng)站的Flink 101課程或這個(gè)Apache Flink培訓(xùn)中動(dòng)手實(shí)踐。5O228資訊網(wǎng)——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-16757-0.html使用Apache Flink的四個(gè)理由,你知道幾個(gè)?

聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com

上一篇: 老外總結(jié)的14條Go接口最佳實(shí)踐,有些不一樣

下一篇: JavaScript設(shè)計(jì)模式——?jiǎng)?chuàng)建型設(shè)計(jì)模式

標(biāo)簽:
  • 熱門焦點(diǎn)
  • 紅魔電競(jìng)平板評(píng)測(cè):大屏幕硬實(shí)力

    前言:三年的疫情因?yàn)橐暇W(wǎng)課的原因激活了平板市場(chǎng),如今網(wǎng)課的時(shí)代已經(jīng)過(guò)去,大家的生活都恢復(fù)到了正軌,這也就意味著,真正考驗(yàn)平板電腦生存的環(huán)境來(lái)了。也就是面對(duì)著這種殘酷的
  • JavaScript 混淆及反混淆代碼工具

    介紹在我們開始學(xué)習(xí)反混淆之前,我們首先要了解一下代碼混淆。如果不了解代碼是如何混淆的,我們可能無(wú)法成功對(duì)代碼進(jìn)行反混淆,尤其是使用自定義混淆器對(duì)其進(jìn)行混淆時(shí)。什么是混
  • 十個(gè)可以手動(dòng)編寫的 JavaScript 數(shù)組 API

    JavaScript 中有很多API,使用得當(dāng),會(huì)很方便,省力不少。 你知道它的原理嗎? 今天這篇文章,我們將對(duì)它們進(jìn)行一次小總結(jié)。現(xiàn)在開始吧。1.forEach()forEach()用于遍歷數(shù)組接收一參
  • CSS單標(biāo)簽實(shí)現(xiàn)轉(zhuǎn)轉(zhuǎn)logo

    轉(zhuǎn)轉(zhuǎn)品牌升級(jí)后更新了全新的Logo,今天我們用純CSS來(lái)實(shí)現(xiàn)轉(zhuǎn)轉(zhuǎn)的新Logo,為了有一定的挑戰(zhàn)性,這里我們只使用一個(gè)標(biāo)簽實(shí)現(xiàn),將最大化的使用CSS能力完成Logo的繪制與動(dòng)畫效果。新logo
  • 一篇聊聊Go錯(cuò)誤封裝機(jī)制

    %w 是用于錯(cuò)誤包裝(Error Wrapping)的格式化動(dòng)詞。它是用于 fmt.Errorf 和 fmt.Sprintf 函數(shù)中的一個(gè)特殊格式化動(dòng)詞,用于將一個(gè)錯(cuò)誤(或其他可打印的值)包裝在一個(gè)新的錯(cuò)誤中。使
  • 深度探索 Elasticsearch 8.X:function_score 參數(shù)解讀與實(shí)戰(zhàn)案例分析

    在 Elasticsearch 中,function_score 可以讓我們?cè)诓樵兊耐瑫r(shí)對(duì)搜索結(jié)果進(jìn)行自定義評(píng)分。function_score 提供了一系列的參數(shù)和函數(shù)讓我們可以根據(jù)需求靈活地進(jìn)行設(shè)置。近期
  • 東方甄選單飛:有些鳥注定是關(guān)不住的

    作者:彭寬鴻來(lái)源:華爾街科技眼‍‍‍‍‍‍‍‍‍‍東方甄選創(chuàng)始人俞敏洪帶隊(duì)的“7天甘肅行”直播活動(dòng)已在近日順利收官。成立后一
  • 華為Mate 60系列用上可變靈動(dòng)島:正式版體驗(yàn)將會(huì)更出色

    這段時(shí)間以來(lái),關(guān)于華為新旗艦的爆料日漸密集。據(jù)此前多方爆料,今年華為將開始恢復(fù)一年雙旗艦戰(zhàn)略,除上半年推出的P60系列外,往年下半年的Mate系列也將
  • 華為將推出盤古數(shù)字人大模型 可幫助用戶12小時(shí)完成數(shù)字人生成

    在今日舉行的2023年華為云數(shù)字文娛AI創(chuàng)新峰會(huì)上,華為云全球Marketing與銷售服務(wù)總裁石冀琳表示,華為云將在后續(xù)推出盤古數(shù)字人大模型,可幫助用戶12小
Top 主站蜘蛛池模板: 黔东| 金乡县| 绥江县| 余干县| 大埔区| 扎兰屯市| 汕头市| 桐柏县| 泾川县| 高唐县| 万州区| 马山县| 武清区| 东山县| 韶山市| 桃园市| 安阳市| 松桃| 崇仁县| 景洪市| 沂源县| 开阳县| 湟中县| 托克逊县| 博客| 永胜县| 泾川县| 宁明县| 乡宁县| 尤溪县| 神木县| 罗山县| 循化| 正安县| 西充县| 富裕县| 麻江县| 五原县| 抚顺县| 永寿县| 双城市|