各位準(zhǔn)備好了嗎!這一次,我們將深入探討 Protocol Buffers(protobuf)及其在數(shù)據(jù)序列化中的超能力所在。
Protocol Buffers,也被稱為 protobuf,是由谷歌開發(fā)的一種語言無關(guān)的二進制序列化格式。其主要目的是為了高效地序列化結(jié)構(gòu)化數(shù)據(jù),用于系統(tǒng)間通信和數(shù)據(jù)存儲。
這些優(yōu)勢使得 Protobuf 成為在 Go 應(yīng)用程序中進行高效數(shù)據(jù)通信和存儲的強大工具。
XML,即可擴展標(biāo)記語言,就像一張地圖,用標(biāo)簽幫助組織和結(jié)構(gòu)化數(shù)據(jù)。它以一種人類和機器都能理解的方式呈現(xiàn)信息。然而,XML 可能冗長并占用更多空間,這可能降低性能,使數(shù)據(jù)傳輸效率降低。
JSON,即 JavaScript 對象表示法,就像一個信使,使用簡單的鍵值結(jié)構(gòu)來表示數(shù)據(jù)對象。它因易于閱讀和使用而在 Web 服務(wù)之間傳輸數(shù)據(jù)時變得流行。但 JSON 的基于文本的格式可能導(dǎo)致更大的文件大小,從而影響數(shù)據(jù)傳輸速度。
相比之下,Protocol Buffers(protobuf)在數(shù)據(jù)序列化領(lǐng)域脫穎而出。它就像一個魔術(shù),將數(shù)據(jù)轉(zhuǎn)換為緊湊高效的二進制格式。Protobuf 以快速的數(shù)據(jù)處理和適應(yīng)變化的數(shù)據(jù)結(jié)構(gòu)而聞名,并且在不破壞兼容性的情況下進行操作。它可以與不同的編程語言一起使用,并確保數(shù)據(jù)的可靠性。
總之,XML 和 JSON 各有用途,但如果您需要強大且高效的數(shù)據(jù)序列化解決方案,Protocol Buffer(protobuf)是首選。它提供緊湊性、速度、靈活性和兼容性,使其成為高效處理數(shù)據(jù)的首選方案。
言歸正傳,讓我們動手實踐。
訪問官方 Protocol Buffers GitHub 倉庫(https://github.com/protocolbuffers/protobuf)下載與您操作系統(tǒng)兼容的編譯器。
使用 .proto 文件格式定義一個 Protocol Buffers 消息模式。
syntax = "proto3";package main;option go_package = "/;msgmodel";message MyMessage { int32 id = 1; string name = 2; string email = 3;}
編譯文件:
protoc — go_out=. ./*proto
這個命令從 protobuf 模式生成 Go 代碼綁定。--go_out 標(biāo)志指定輸出應(yīng)為 Go 語言。這將生成一個 msg.pb.go 文件,其中包含您的 protobuf 模式所需的代碼綁定。
在 Golang 中實現(xiàn)一個基準(zhǔn)測試,使用 protobuf 和 JSON 對大型數(shù)據(jù)集進行序列化:
package mainimport ( "encoding/json" "github.com/golang/protobuf/proto" "go-protobuf/model/message" "log" "testing")const ( iteration = 10000000 //Number of iterations for the benchmark test)func generateDataset() []*message.MyMessage { var dataset []*message.MyMessage for i := 0; i < iteration; i++ { data := &message.MyMessage{ Email: "johndoe@example.com", Name: "John Doe", Id: int32(i), } dataset = append(dataset, data) } return dataset}func BenchmarkProtobufSerialisation(b *testing.B) { dataset := generateDataset() b.ResetTimer() for n := 0; n < b.N; n++ { for _, data := range dataset { _, err := proto.Marshal(data) if err != nil { log.Fatal(err) } } }}func BenchmarkJSONSerialization(b *testing.B) { dataset := generateDataset() b.ResetTimer() for n := 0; n < b.N; n++ { for _, data := range dataset { _, err := json.Marshal(data) if err != nil { log.Fatal(err) } } }}func main() { // Run the benchmark tests testing.Benchmark(BenchmarkProtobufSerialisation) testing.Benchmark(BenchmarkJSONSerialization)}
根據(jù)基準(zhǔn)測試結(jié)果(如下所示),很明顯,就速度而言,Protocol Buffers(Protobuf)的序列化性能優(yōu)于 JSON。與 JSON 的序列化基準(zhǔn)測試相比,Protobuf 的序列化基準(zhǔn)測試完成時間明顯較短。
在 Golang 中實現(xiàn)一個基準(zhǔn)測試,比較使用 Protocol Buffers 和 JSON 處理大型數(shù)據(jù)集時的內(nèi)存使用情況:
package mainimport ( "encoding/json" "github.com/golang/protobuf/proto" "go-protobuf/model/message" "log" "runtime" "runtime/debug" "testing")const ( iteration = 100000000 //Number of iterations for the benchmark test)func generateDataset() []*message.MyMessage { var dataset []*message.MyMessage for i := 0; i < iteration; i++ { data := &message.MyMessage{ Email: "johndoe@example.com", Name: "John Doe", Id: int32(i), } dataset = append(dataset, data) } return dataset}func BenchmarkProtobufSerialisation(b *testing.B) { dataset := generateDataset() b.ResetTimer() for n := 0; n < b.N; n++ { for _, data := range dataset { _, err := proto.Marshal(data) if err != nil { log.Fatal(err) } } } measureMemoryUsage(b)}func BenchmarkJSONSerialization(b *testing.B) { dataset := generateDataset() b.ResetTimer() for n := 0; n < b.N; n++ { for _, data := range dataset { _, err := json.Marshal(data) if err != nil { log.Fatal(err) } } } measureMemoryUsage(b)}func measureMemoryUsage(b *testing.B) { debug.FreeOSMemory() var mem runtime.MemStats runtime.GC() runtime.ReadMemStats(&mem) b.ReportMetric(float64(mem.Alloc)/1024/1024, "Memory_MB")}func main() { // Run the benchmark tests testing.Benchmark(BenchmarkProtobufSerialisation) testing.Benchmark(BenchmarkJSONSerialization)}
盡管差異很小,但基準(zhǔn)測試結(jié)果表明,與 Protobuf 序列化相比,JSON 序列化使用了更多的內(nèi)存。平均而言,JSON 序列化消耗了約 0.2052 MB 的內(nèi)存,而 Protobuf 序列化僅使用了約 0.2042 MB。盡管差異很小,但很明顯 Protobuf 在內(nèi)存使用方面更加高效。這意味著 Protobuf 的緊湊二進制格式有助于節(jié)省內(nèi)存,使其成為處理大型數(shù)據(jù)集和提高性能的良好選擇。
現(xiàn)在是總結(jié)的時候了!!!
與在 Golang 中的 JSON 序列化相比,Protocol Buffers(protobuf)展現(xiàn)出了更優(yōu)越的性能和內(nèi)存效率。借助其緊湊的二進制格式和高效的序列化機制,protobuf 提供了更小的消息大小、提升了網(wǎng)絡(luò)效率,并減少了帶寬使用。此外,其模式演進能力允許對數(shù)據(jù)模型進行無縫更新。雖然 JSON 有其優(yōu)勢,但在需要高速和高內(nèi)存效率的數(shù)據(jù)序列化場景中,protobuf 出類拔萃,實現(xiàn)了優(yōu)化的數(shù)據(jù)傳輸和改善的系統(tǒng)性能。
本文鏈接:http://www.www897cc.com/showinfo-26-34609-0.html在 Go 中使用 Protocol Buffers
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: Python GUI 編程:dearpygui 和 tkinter 的對比與選擇!
下一篇: C++ extern的妙用