當(dāng)前位置：首頁(yè) > 科技 > 軟件

使用Apache Flink的四個(gè)理由，你知道幾個(gè)？

來(lái)源：責(zé)編：時(shí)間：2023-11-03 09:17:28 396觀看

導(dǎo)讀Apache Kafka已經(jīng)成為企業(yè)內(nèi)流式數(shù)據(jù)傳輸?shù)氖走x平臺(tái)。但如果數(shù)據(jù)可以被清洗、豐富后為下游更多應(yīng)用提供服務(wù)，那么流式處理就更有價(jià)值。這就是流處理的作用。譯自 4 Reasons Why Developers Should Use Apache Flink 。

Apache Kafka已經(jīng)成為企業(yè)內(nèi)流式數(shù)據(jù)傳輸?shù)氖走x平臺(tái)。但如果數(shù)據(jù)可以被清洗、豐富后為下游更多應(yīng)用提供服務(wù)，那么流式處理就更有價(jià)值。這就是流處理的作用。

譯自 4 Reasons Why Developers Should Use Apache Flink 。

流處理允許你持續(xù)消費(fèi)數(shù)據(jù)流，用額外的業(yè)務(wù)邏輯處理數(shù)據(jù)，并將其轉(zhuǎn)化為新的流，以便其他人可以在自己的應(yīng)用中重復(fù)使用。其應(yīng)用范圍廣泛，包括實(shí)時(shí)控制面板、機(jī)器學(xué)習(xí)模型、物化視圖，以及事件驅(qū)動(dòng)的應(yīng)用和微服務(wù)。

圖片

流處理用額外的業(yè)務(wù)邏輯增強(qiáng)數(shù)據(jù)流，將其轉(zhuǎn)化為新的可重復(fù)使用的數(shù)據(jù)流，以供下游應(yīng)用和流水線使用。

處理邏輯的復(fù)雜度因具體應(yīng)用場(chǎng)景而異，范圍從簡(jiǎn)單的過(guò)濾和聚合，到更復(fù)雜的多路時(shí)間關(guān)聯(lián)和任意事件驅(qū)動(dòng)邏輯。因此，與其他選項(xiàng)(如定期批處理、ELT、經(jīng)典兩層架構(gòu))相比，流處理的優(yōu)勢(shì)因情況而異。

盡管如此，推動(dòng)采用流處理的關(guān)鍵因素通常屬于以下一個(gè)或多個(gè)類別:

延遲: 流處理大大縮短事件發(fā)生和反映在產(chǎn)品或用戶體驗(yàn)中的時(shí)間，無(wú)論是控制面板、機(jī)器學(xué)習(xí)模型還是其他應(yīng)用。
創(chuàng)新和重用性: 流處理將數(shù)據(jù)產(chǎn)品轉(zhuǎn)化為可共享的資產(chǎn)，可供下游應(yīng)用和系統(tǒng)消費(fèi)和構(gòu)建。數(shù)據(jù)流成為可重用的構(gòu)建塊，具有明確定義和一致的訪問(wèn)方式，使其他團(tuán)隊(duì)可以輕松在新產(chǎn)品和應(yīng)用中使用。
成本和資源效率: 持續(xù)處理可隨時(shí)間分配工作，提高資源利用率。此外，上游處理(如預(yù)聚合、會(huì)話等)極大地減少下游系統(tǒng)(如數(shù)據(jù)倉(cāng)庫(kù)、實(shí)時(shí)分析數(shù)據(jù)庫(kù)等)的成本，并加速其查詢。
表達(dá)性: 生活不會(huì)分批次發(fā)生。與定期批處理不同，流處理不會(huì)在數(shù)據(jù)中引入人為邊界，從而影響處理邏輯。

Flink是最活躍的Apache項(xiàng)目之一，提供了流處理和批處理的統(tǒng)一框架。像Uber、Netflix、LinkedIn這樣的數(shù)字化先鋒公司使用Flink，傳統(tǒng)企業(yè)如高盛和Comcast也在使用。

Flink也擁有大型且活躍的貢獻(xiàn)者社區(qū)，其中包括Apple和阿里巴巴等公司的支持，這有助于保證持續(xù)創(chuàng)新。因此，F(xiàn)link的采用速度與Kafka早期階段相當(dāng)。

圖片

Flink的增長(zhǎng)速度與Kafka生命周期相同階段基本相當(dāng)。

下面是公司選擇Flink而非其他流處理技術(shù)的四大常見(jiàn)原因：

第一: 它是一個(gè)強(qiáng)大的執(zhí)行引擎

Flink擁有強(qiáng)大的運(yùn)行時(shí)，具有卓越的資源優(yōu)化、高吞吐量與低延遲以及可靠的狀態(tài)處理。具體來(lái)說(shuō)，運(yùn)行時(shí)可以:

實(shí)現(xiàn)每秒數(shù)千萬(wàn)條記錄的持續(xù)吞吐量
大規(guī)模下保持亞秒級(jí)延遲
跨系統(tǒng)邊界保證端到端的恰好一次處理
即使在故障和無(wú)序事件下也能計(jì)算出正確結(jié)果
管理和在錯(cuò)誤時(shí)恢復(fù)高達(dá)數(shù)十TB的狀態(tài)

Flink可根據(jù)用例配置各種工作負(fù)載，包括流處理、批處理或兩者的混合。

第二: 兼容多種API和語(yǔ)言

Flink提供了四種不同的API，可滿足不同用戶和應(yīng)用需求。Flink還支持多種編程語(yǔ)言，包括Python、Java和SQL。

圖片

Flink提供了多層次的API，抽象級(jí)別不同，既可處理常見(jiàn)用例，也可處理不太常見(jiàn)的用例。

適用于Java和Python的DataStream API通過(guò)鏈接FlatMap、Filter、Process等轉(zhuǎn)換函數(shù)創(chuàng)建數(shù)據(jù)流圖。在這些用戶定義函數(shù)中，你可以訪問(wèn)狀態(tài)流處理器的基本組件，如狀態(tài)、時(shí)間和事件。這讓你可以細(xì)粒度控制記錄在系統(tǒng)中的流動(dòng)以及讀寫和更新應(yīng)用狀態(tài)。如果你熟悉Kafka Streams DSL和Kafka Processor API，使用體驗(yàn)會(huì)很熟悉。

Table API是Flink更現(xiàn)代的聲明式API。它允許你用連接、過(guò)濾、聚合、投影等關(guān)系操作以及各種用戶定義函數(shù)編寫程序。與DataStream API類似，Table API支持Java和Python。使用此API開發(fā)的程序會(huì)進(jìn)行類似Flink SQL查詢的優(yōu)化，與SQL共享若干特性，如類型系統(tǒng)、內(nèi)置函數(shù)和驗(yàn)證層。該API與Spark Structured Streaming、Spark DataFrame API和Snowpark DataFrame API有相似處，不過(guò)那些API更側(cè)重微批和批處理而非流處理。

基于與Table API相同的底層架構(gòu)，F(xiàn)link SQL是遵循ANSI標(biāo)準(zhǔn)的SQL引擎，可處理實(shí)時(shí)和歷史數(shù)據(jù)。Flink SQL使用Apache Calcite進(jìn)行查詢規(guī)劃和優(yōu)化。它支持任意嵌套子查詢，廣泛的語(yǔ)言支持包括各種流連接和模式匹配，擁有廣泛的生態(tài)系統(tǒng)，包括JDBC驅(qū)動(dòng)程序、目錄和交互式SQL Shell。

最后是“Stateful Functions”，它簡(jiǎn)化了狀態(tài)化分布式事件驅(qū)動(dòng)應(yīng)用的創(chuàng)建。這是Flink項(xiàng)目下的一個(gè)獨(dú)立子項(xiàng)目，與Flink的其他API很不相同。Stateful Functions可以理解為一個(gè)基于Flink運(yùn)行時(shí)的狀態(tài)化、容錯(cuò)的分布式Actor系統(tǒng)。

廣泛的API選擇使Flink成為流處理的理想選擇，隨著需求和用例的演變，你可以隨時(shí)間混合使用不同的API。

第三: 流處理和批處理融合

Apache Flink統(tǒng)一了流處理和批處理，因?yàn)槠渲饕狝PI(SQL、Table API和DataStream API)同時(shí)支持有界數(shù)據(jù)集和無(wú)界數(shù)據(jù)流。具體來(lái)說(shuō)，你可以根據(jù)正在處理的數(shù)據(jù)性質(zhì)，以批處理或流處理模式運(yùn)行相同程序。你甚至可以讓系統(tǒng)為你選擇處理模式。

只有有界數(shù)據(jù)源 → 批處理模式
至少一個(gè)無(wú)界數(shù)據(jù)源 → 流處理模式

圖片

Flink可以在同一平臺(tái)上統(tǒng)一流處理和批處理。

流批處理的統(tǒng)一為開發(fā)者帶來(lái)實(shí)實(shí)在在的好處：

在實(shí)時(shí)和歷史數(shù)據(jù)處理場(chǎng)景提供一致語(yǔ)義
在實(shí)時(shí)和歷史數(shù)據(jù)處理應(yīng)用間復(fù)用代碼、邏輯和基礎(chǔ)設(shè)施
在單一應(yīng)用中組合歷史和實(shí)時(shí)數(shù)據(jù)處理

第四: 它已做好生產(chǎn)就緒準(zhǔn)備

Flink是一個(gè)成熟平臺(tái)，在最苛刻的生產(chǎn)場(chǎng)景中經(jīng)受住了檢驗(yàn)。表現(xiàn)這一點(diǎn)的特性包括：

開箱即用地與Datadog、Prometheus等工具集成的指標(biāo)系統(tǒng)，也可與自定義解決方案集成
通過(guò)Flink Web UI進(jìn)行全面的可觀測(cè)性、故障排查和調(diào)試支持，包括回壓監(jiān)控、火焰圖和線程轉(zhuǎn)儲(chǔ)
保存點(diǎn)，允許你在保持恰好一次語(yǔ)義的前提下，狀態(tài)式擴(kuò)展、升級(jí)、分叉、備份和遷移應(yīng)用

Flink和Kafka: 強(qiáng)大組合

Flink和Kafka經(jīng)常一起使用，事實(shí)上Kafka是Flink最熱門的連接器。兩者高度兼容，在許多方面Kafka推動(dòng)了Flink的廣泛采用。

需注意，F(xiàn)link本身不存儲(chǔ)任何數(shù)據(jù)，它對(duì)其他地方存儲(chǔ)的數(shù)據(jù)進(jìn)行操作。可以把Flink視為Kafka的計(jì)算層，為實(shí)時(shí)應(yīng)用和流水線提供支持，而Kafka是流數(shù)據(jù)的基礎(chǔ)存儲(chǔ)層。

圖片

在數(shù)據(jù)流堆棧中，F(xiàn)link處理計(jì)算需求，Kafka提供存儲(chǔ)層。

隨時(shí)間推移，F(xiàn)link在支持Kafka應(yīng)用方面越來(lái)越嫻熟。它可以將Kafka用作數(shù)據(jù)源和數(shù)據(jù)匯，利用Kafka豐富的生態(tài)系統(tǒng)和工具。Flink還原生支持熱門的數(shù)據(jù)格式，包括Avro、JSON和Protobuf。

對(duì)Flink來(lái)說(shuō)，Kafka也是一個(gè)同樣好的匹配。與ActiveMQ、RabbitMQ或PubSub等其他消息系統(tǒng)相比，Kafka為Flink提供持久且無(wú)限的數(shù)據(jù)存儲(chǔ)。此外，Kafka允許多個(gè)消費(fèi)者同時(shí)讀取流并按需倒帶。第一個(gè)屬性補(bǔ)充了Flink的分布式處理范式，第二個(gè)對(duì)Flink的容錯(cuò)機(jī)制至關(guān)重要。

渴望更多了解Flink？

想深入了解的話，可以在Confluent Developer網(wǎng)站的Flink 101課程或這個(gè)Apache Flink培訓(xùn)中動(dòng)手實(shí)踐。

本文鏈接：http://www.www897cc.com/showinfo-26-16757-0.html使用Apache Flink的四個(gè)理由，你知道幾個(gè)？

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇：老外總結(jié)的14條Go接口最佳實(shí)踐，有些不一樣

下一篇： JavaScript設(shè)計(jì)模式——?jiǎng)?chuàng)建型設(shè)計(jì)模式

標(biāo)簽：

熱門焦點(diǎn)

紅魔電競(jìng)平板評(píng)測(cè)：大屏幕硬實(shí)力

前言：三年的疫情因?yàn)橐暇W(wǎng)課的原因激活了平板市場(chǎng)，如今網(wǎng)課的時(shí)代已經(jīng)過(guò)去，大家的生活都恢復(fù)到了正軌，這也就意味著，真正考驗(yàn)平板電腦生存的環(huán)境來(lái)了。也就是面對(duì)著這種殘酷的
JavaScript 混淆及反混淆代碼工具

介紹在我們開始學(xué)習(xí)反混淆之前，我們首先要了解一下代碼混淆。如果不了解代碼是如何混淆的，我們可能無(wú)法成功對(duì)代碼進(jìn)行反混淆，尤其是使用自定義混淆器對(duì)其進(jìn)行混淆時(shí)。什么是混
十個(gè)可以手動(dòng)編寫的 JavaScript 數(shù)組 API

JavaScript 中有很多API，使用得當(dāng)，會(huì)很方便，省力不少。你知道它的原理嗎? 今天這篇文章，我們將對(duì)它們進(jìn)行一次小總結(jié)。現(xiàn)在開始吧。1.forEach()forEach()用于遍歷數(shù)組接收一參
CSS單標(biāo)簽實(shí)現(xiàn)轉(zhuǎn)轉(zhuǎn)logo

轉(zhuǎn)轉(zhuǎn)品牌升級(jí)后更新了全新的Logo，今天我們用純CSS來(lái)實(shí)現(xiàn)轉(zhuǎn)轉(zhuǎn)的新Logo，為了有一定的挑戰(zhàn)性，這里我們只使用一個(gè)標(biāo)簽實(shí)現(xiàn)，將最大化的使用CSS能力完成Logo的繪制與動(dòng)畫效果。新logo
一篇聊聊Go錯(cuò)誤封裝機(jī)制

%w 是用于錯(cuò)誤包裝（Error Wrapping）的格式化動(dòng)詞。它是用于 fmt.Errorf 和 fmt.Sprintf 函數(shù)中的一個(gè)特殊格式化動(dòng)詞，用于將一個(gè)錯(cuò)誤（或其他可打印的值）包裝在一個(gè)新的錯(cuò)誤中。使
深度探索 Elasticsearch 8.X：function_score 參數(shù)解讀與實(shí)戰(zhàn)案例分析

在 Elasticsearch 中，function_score 可以讓我們?cè)诓樵兊耐瑫r(shí)對(duì)搜索結(jié)果進(jìn)行自定義評(píng)分。function_score 提供了一系列的參數(shù)和函數(shù)讓我們可以根據(jù)需求靈活地進(jìn)行設(shè)置。近期
東方甄選單飛：有些鳥注定是關(guān)不住的

作者：彭寬鴻來(lái)源：華爾街科技眼&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;東方甄選創(chuàng)始人俞敏洪帶隊(duì)的“7天甘肅行”直播活動(dòng)已在近日順利收官。成立后一
華為Mate 60系列用上可變靈動(dòng)島：正式版體驗(yàn)將會(huì)更出色

這段時(shí)間以來(lái)，關(guān)于華為新旗艦的爆料日漸密集。據(jù)此前多方爆料，今年華為將開始恢復(fù)一年雙旗艦戰(zhàn)略，除上半年推出的P60系列外，往年下半年的Mate系列也將
華為將推出盤古數(shù)字人大模型可幫助用戶12小時(shí)完成數(shù)字人生成

在今日舉行的2023年華為云數(shù)字文娛AI創(chuàng)新峰會(huì)上，華為云全球Marketing與銷售服務(wù)總裁石冀琳表示，華為云將在后續(xù)推出盤古數(shù)字人大模型，可幫助用戶12小

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

使用Apache Flink的四個(gè)理由，你知道幾個(gè)？

第一: 它是一個(gè)強(qiáng)大的執(zhí)行引擎

第二: 兼容多種API和語(yǔ)言

第三: 流處理和批處理融合

第四: 它已做好生產(chǎn)就緒準(zhǔn)備

Flink和Kafka: 強(qiáng)大組合

渴望更多了解Flink？

紅魔電競(jìng)平板評(píng)測(cè)：大屏幕硬實(shí)力

JavaScript 混淆及反混淆代碼工具

十個(gè)可以手動(dòng)編寫的 JavaScript 數(shù)組 API

CSS單標(biāo)簽實(shí)現(xiàn)轉(zhuǎn)轉(zhuǎn)logo

一篇聊聊Go錯(cuò)誤封裝機(jī)制

深度探索 Elasticsearch 8.X：function_score 參數(shù)解讀與實(shí)戰(zhàn)案例分析

東方甄選單飛：有些鳥注定是關(guān)不住的

華為Mate 60系列用上可變靈動(dòng)島：正式版體驗(yàn)將會(huì)更出色

華為將推出盤古數(shù)字人大模型可幫助用戶12小時(shí)完成數(shù)字人生成

最新推薦

猜你喜歡

熱門推薦

相關(guān)資訊