當前位置：首頁 > 科技 > 軟件

用Go實現自己的網絡流量解析和行為檢測引擎

來源：責編：時間：2024-01-02 09:30:08 210觀看

導讀1.前言最近有個在學校讀書的迷弟問我:大德德, 有沒有這么一款軟件, 能夠批量讀取多個抓包文件,并把我想要的數據呈現出來, 比如:源IP、目的IP、源mac地址、目的mac地址等等。我說：“這樣的軟件你要認真找真能找出不少

1.前言

最近有個在學校讀書的迷弟問我:大德德, 有沒有這么一款軟件, 能夠批量讀取多個抓包文件,并把我想要的數據呈現出來, 比如:源IP、目的IP、源mac地址、目的mac地址等等。我說：“這樣的軟件你要認真找真能找出不少開源軟件, 但畢竟沒有你自己的靈魂在里面,要不咱自己用Go實現一個吧”, OK , Let's go。

2.摘要

能夠實現網絡協議解析和分析的工具有很多,最有名使用最多的是基于圖形化界面的Wireshark, 除了能夠實現網絡實時抓包,還能夠離線分析Pcap包文件, 雖然它通常用于手動分析網絡數據包, 但也支持自動化腳本和插件來提取元數據。而Wireshark還有一個基于命令行版本的Tshark, 可以用于自動化任務, 可以批量處理Pcap文件, 提取所需數據并導出到文件中。

本次用Go語言實現的網絡協議解析功能是基于Google公司開發一個開源庫:gopacket, 該庫幫我們完成了網絡協議的一些底層封裝, 它允許我們能夠捕獲、解析和處理網絡數據包, 與Wireshark一樣,也支持對離線抓包文件的分析。gopacket庫提供了一系列功能,包括:數據包捕獲、解析和構建, 以及對多種協議的支持,如:Ethernet、IP、TCP、UDP、HTTP等。它還提供了方便的API, 以幫助開發者操作和分析網絡數據包。

3.實現原理

谷歌公司開發的gopacket提供了5個子包接口供使用者調用,其中Layers子包負責協議解析;pcap子包實際是libpcap的包裝,主要用于數據包格式解析;pfring子包和afpacket用于快速數據庫包抓取;tcpassembly用于TCP流重組。在本篇文章中,主要利用gopacket提供的Layers和pcap接口實現上層業務邏輯。在流量解析引擎中,調用pcap接口對離線pcap抓包文件進行數據包解析,并配合Layers接口實現協議解析,目前根據業務種類,實現的協議解析包括:HTTP協議、TCP/UDP協議、ICMP協議和802.11協議。流量解析引擎的整體架構如下:

我們實現的流量解析引擎主要針對離線pcap包文件, 支持的協議類型包括:HTTP協議、TCP/UDP協議、ICMP協議、802.11(無線協議)，通過對各類協議的解析,可以實現一些高級功能,例如: 特征庫匹配、漏洞掃描檢測、一些網絡攻擊檢測等等。

通過對gopacket開源包的研究,整理出其使用方法如下:

利用pcap子包的OpenOffline方法加載離線數據包文件,加載成功返回離線數據包文件句柄。
離線包文件句柄通過SetBPFFilter方法過濾數據類型,調用LinkType()方法獲取鏈路類型。
將第2步中的文件句柄和LinkType作為參數調用方法NewPacketSource。
NewPacketSource調用Packet()方法獲取離線包文件中所有的數據包,通過遍歷每個數據包進行下一步操作。
每個數據包對象通過調用Layer()方法獲取數據對象層,參數為數據對象的種類,種類有很多種,根據不同的協議類型進行區分。
獲取的數據層級操作對象是數據包解析基礎方法需要達到的目的,即將解析的具體數據將在數據層級中進行不同方法的篩選。

大致的調用關系整理如下圖:

4.功能代碼實現

在我們的工程項目中,首先要引入三個包,它們是:

import(  "github.com/google/gopacket"  "github.com/google/gopacket/layers"  "github.com/google/gopacket/pcap")

因為我們操作的對象主要是針對離線pcap包, 因此首先要加載離線包文件,代碼如下:

handle, err = pcap.OpenOffline(pcapFilePath)if err != nil {    log.Panic(err)}

handle是加載離線包文件后返回的文件句柄,類型為:*pcap.Handle,接下來我們要設置一下過濾,只針對tcp連接的包,所以通過上面的文件句柄調用過濾函數:

err = handle.SetBPFFilter("tcp")  if err != nil {  log.Panic(err)}

根據上面的調用關系圖,我們需要調用NewPacketSource方法,代碼如下:

packetSource := gopacket.NewPacketSource(handle, handle.LinkType())packets := packetSource.Packets()

packetSource.Packets()方法返回的是一個通道, 用來接收gopacket解析出來的每一個數據包,

因此這里需要做循環接收,并在循環內容解析ethernet層, 解析大致過程如下:

下面我們根據上面的流程圖解析LayerTypeEthernet, 代碼如下:

for packet := range packetSource.Packets() {    ethernetLayer := packet.Layer(layers.LayerTypeEthernet)    if ethernetLayer == nil {        continue    }    ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)}

下面涉及到協議的層級,我們對照Wireshark的包對比看一下,如圖:

從上圖的協議結構中我們可以看到,源IP地址和目的IP地址是在IPv4層上, 源端口和目的端口是在TCP層上, 而mac地址是在Ethernet層上, 因此要想獲取這6個元數據,我們至少要解析三層協議, 添加以下代碼:

for packet := range packetSource.Packets() {    ethernetLayer := packet.Layer(layers.LayerTypeEthernet)    if ethernetLayer == nil {        continue    }    ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)    if ethernetPacket.EthernetType.String() == "IPv4" {        ipLayer := packet.Layer(layers.LayerTypeIPv4)        if ipLayer == nil { continue }                // 這里從IPv4協議層取源IP和目的IP數據        ipInfo, _ := ipLayer.(*layers.IPv4)                        tcpLayer := packet.Layer(layers.LayerTypeTCP)        if tcpLayer == nil { continue }                // 這里從TCP協議層取TCP數據,獲取源端口和目的端口數據        tcpInfo, _ := tcpLayer.(*layers.TCP)                //下面的代碼取具體的Payload        applicationLayer := packet.ApplicationLayer()        if applicationLayer == nil { continue }        payload := string(applicationLayer.Payload())                // 從GET或POST請求中取出元數據        if strings.HasPrefix(payload, "GET") || strings.HasPrefix(payload, "POST") {            fmt.Println("源mac地址:", ethernetPacket.SrcMAC.String())            fmt.Println("目的Mac地址:", ethernetPacket.DstMAC.String())            fmt.Println("源IP地址:", ipInfo.SrcIP.String())            fmt.Println("目的IP地址:", ipInfo.DstIP.String())            fmt.Println("源端口:", int(tcpInfo.SrcPort))            fmt.Println("目的端口:", int(tcpInfo.DstPort))        }    }}

5.行為檢測實現

這里我們以檢測數據庫的匿名登錄行為為例子, 首先在kali系統上對目標數據庫嘗試匿名登錄,如圖:

在登錄過程中,使用Wireshark進行網絡抓包,如圖:

從上面的抓包文件中,我們可以根據Payload偏移提取一些行為特征,例如:

將特征檢測的邏輯加入到代碼中:

for packet := range packetSource.Packets() {    ethernetLayer := packet.Layer(layers.LayerTypeEthernet)    if ethernetLayer == nil {        continue    }    ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)    if ethernetPacket.EthernetType.String() == "IPv4" {        ipLayer := packet.Layer(layers.LayerTypeIPv4)        if ipLayer == nil { continue }                // 這里從IPv4協議層取源IP和目的IP數據        ipInfo, _ := ipLayer.(*layers.IPv4)                if ipInfo.Protocol.String() == "TCP" {          tcpLayer := packet.Layer(layers.LayerTypeTCP)          tcp, _ := tcpLayer.(*layers.TCP)          if (len(tcp.Payload) > 36 && bytes.Equal(tcp.Payload[13:37], []byte{0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0})) || (len(tcp.Payload) > 39 && bytes.Equal(tcp.Payload[13:40], []byte{0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 114, 111, 111, 116})) {            fmt.Println("發現數據庫匿名登錄行為!")          }        }    }}

將上面的代碼編譯后加載離線pcap包跑一下,可以看到已經匹配到行為特征,如圖:

可以看到,已經成功命中行為特征。

本文鏈接：http://www.www897cc.com/showinfo-26-55060-0.html用Go實現自己的網絡流量解析和行為檢測引擎

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇：如何給自定義Python模塊自動生成文檔？

下一篇：邏輯編程：上古人工智能語言Prolog

標簽：

熱門焦點

影音體驗是真的強簡單聊聊iQOO Pad

大公司的好處就是產品線豐富，非常細分化的東西也能給你做出來，例如早先我們看到了新的vivo Pad2，之后我們又在iQOO Neo8 Pro的發布會上看到了iQOO的首款平板產品iQOO Pad。雖
摸魚心法第一章——和配置文件說拜拜

為了能摸魚我們團隊做了容器化，但是帶來的問題是服務配置文件很麻煩，然后大家在群里進行了“親切友好”的溝通圖片圖片圖片圖片對比就對比，簡單對比下獨立配置中心和k8s作為配
使用Webdriver-manager解決瀏覽器與驅動不匹配所帶來自動化無法執行的問題

1、前言在我們使用 Selenium 進行 UI 自動化測試時，常常會因為瀏覽器驅動與瀏覽器版本不匹配，而導致自動化測試無法執行，需要手動去下載對應的驅動版本，并替換原有的驅動，可能還
一文搞定Java NIO，以及各種奇葩流

大家好，我是哪吒。很多朋友問我，如何才能學好IO流，對各種流的概念，云里霧里的，不求甚解。用到的時候，現百度，功能雖然實現了，但是為什么用這個？不知道。更別說效率問題了~下次再遇到，
阿里瓴羊One推出背后，零售企業迎數字化新解

作者:劉曠近年來隨著數字經濟的高速發展，各式各樣的SaaS應用服務更是層出不窮，但本質上SaaS大多局限于單一業務流層面，對用戶核心關切的增長問題等則沒有提供更好的解法。在Saa
2納米決戰2025

集微網報道從三強爭霸到四雄逐鹿，2nm的廝殺聲已然隱約傳來。無論是老牌勁旅臺積電、三星，還是誓言重回先進制程領先地位的英特爾，甚至初成立不久的新
OPPO K11采用全方位護眼屏：三大護眼能力減輕視覺疲勞

日前OPPO官方宣布，全新的OPPO K11將于7月25日正式發布，將主打旗艦影像，和同檔位競品相比，其最大的賣點就是將配備索尼IMX890主攝，堪稱是2000檔位影像表
微軟發布Windows 11新版引入全新任務欄狀態

近日，微軟發布了Windows 11新版，而Build 22563更新主要引入了幾周前曝光的平板模式任務欄等，系統更流暢了。更新中，Windows 11加入了專門針對平板優化的任務欄
上海舉辦人工智能大會活動，建設人工智能新高地

人工智能大會在上海浦江兩岸隆重拉開帷幕，人工智能新技術、新產品、新應用、新理念集中亮相。8月30日晚，作為大會的特色活動之一的上海人工智能發展盛典人工

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

用Go實現自己的網絡流量解析和行為檢測引擎

1.前言

2.摘要

3.實現原理

4.功能代碼實現

5.行為檢測實現

影音體驗是真的強簡單聊聊iQOO Pad

摸魚心法第一章——和配置文件說拜拜

使用Webdriver-manager解決瀏覽器與驅動不匹配所帶來自動化無法執行的問題

一文搞定Java NIO，以及各種奇葩流

阿里瓴羊One推出背后，零售企業迎數字化新解

2納米決戰2025

OPPO K11采用全方位護眼屏：三大護眼能力減輕視覺疲勞

微軟發布Windows 11新版引入全新任務欄狀態

上海舉辦人工智能大會活動，建設人工智能新高地

最新推薦

猜你喜歡

熱門推薦

相關資訊