1.前言

最近有個在學校讀書的迷弟問我:大德德, 有沒有這么一款軟件, 能夠批量讀取多個抓包文件,并把我想要的數據呈現出來, 比如:源IP、目的IP、源mac地址、目的mac地址等等。我說：“這樣的軟件你要認真找真能找出不少開源軟件, 但畢竟沒有你自己的靈魂在里面,要不咱自己用Go實現一個吧”, OK , Let's go。oTd28資訊網——每日最新資訊28at.com

oTd28資訊網——每日最新資訊28at.com

2.摘要

能夠實現網絡協議解析和分析的工具有很多,最有名使用最多的是基于圖形化界面的Wireshark, 除了能夠實現網絡實時抓包,還能夠離線分析Pcap包文件, 雖然它通常用于手動分析網絡數據包, 但也支持自動化腳本和插件來提取元數據。而Wireshark還有一個基于命令行版本的Tshark, 可以用于自動化任務, 可以批量處理Pcap文件, 提取所需數據并導出到文件中。oTd28資訊網——每日最新資訊28at.com

本次用Go語言實現的網絡協議解析功能是基于Google公司開發一個開源庫:gopacket, 該庫幫我們完成了網絡協議的一些底層封裝, 它允許我們能夠捕獲、解析和處理網絡數據包, 與Wireshark一樣,也支持對離線抓包文件的分析。gopacket庫提供了一系列功能,包括:數據包捕獲、解析和構建, 以及對多種協議的支持,如:Ethernet、IP、TCP、UDP、HTTP等。它還提供了方便的API, 以幫助開發者操作和分析網絡數據包。oTd28資訊網——每日最新資訊28at.com

3.實現原理

谷歌公司開發的gopacket提供了5個子包接口供使用者調用,其中Layers子包負責協議解析;pcap子包實際是libpcap的包裝,主要用于數據包格式解析;pfring子包和afpacket用于快速數據庫包抓取;tcpassembly用于TCP流重組。在本篇文章中,主要利用gopacket提供的Layers和pcap接口實現上層業務邏輯。在流量解析引擎中,調用pcap接口對離線pcap抓包文件進行數據包解析,并配合Layers接口實現協議解析,目前根據業務種類,實現的協議解析包括:HTTP協議、TCP/UDP協議、ICMP協議和802.11協議。流量解析引擎的整體架構如下:oTd28資訊網——每日最新資訊28at.com

oTd28資訊網——每日最新資訊28at.com

我們實現的流量解析引擎主要針對離線pcap包文件, 支持的協議類型包括:HTTP協議、TCP/UDP協議、ICMP協議、802.11(無線協議)，通過對各類協議的解析,可以實現一些高級功能,例如: 特征庫匹配、漏洞掃描檢測、一些網絡攻擊檢測等等。oTd28資訊網——每日最新資訊28at.com

通過對gopacket開源包的研究,整理出其使用方法如下:oTd28資訊網——每日最新資訊28at.com

• 利用pcap子包的OpenOffline方法加載離線數據包文件,加載成功返回離線數據包文件句柄。
• 離線包文件句柄通過SetBPFFilter方法過濾數據類型,調用LinkType()方法獲取鏈路類型。
• 將第2步中的文件句柄和LinkType作為參數調用方法NewPacketSource。
• NewPacketSource調用Packet()方法獲取離線包文件中所有的數據包,通過遍歷每個數據包進行下一步操作。
• 每個數據包對象通過調用Layer()方法獲取數據對象層,參數為數據對象的種類,種類有很多種,根據不同的協議類型進行區分。
• 獲取的數據層級操作對象是數據包解析基礎方法需要達到的目的,即將解析的具體數據將在數據層級中進行不同方法的篩選。

大致的調用關系整理如下圖:oTd28資訊網——每日最新資訊28at.com

oTd28資訊網——每日最新資訊28at.com

4.功能代碼實現

在我們的工程項目中,首先要引入三個包,它們是:oTd28資訊網——每日最新資訊28at.com

import(  "github.com/google/gopacket"  "github.com/google/gopacket/layers"  "github.com/google/gopacket/pcap")

因為我們操作的對象主要是針對離線pcap包, 因此首先要加載離線包文件,代碼如下:oTd28資訊網——每日最新資訊28at.com

handle, err = pcap.OpenOffline(pcapFilePath)if err != nil {    log.Panic(err)}

handle是加載離線包文件后返回的文件句柄,類型為:*pcap.Handle,接下來我們要設置一下過濾,只針對tcp連接的包,所以通過上面的文件句柄調用過濾函數:oTd28資訊網——每日最新資訊28at.com

err = handle.SetBPFFilter("tcp")  if err != nil {  log.Panic(err)}

根據上面的調用關系圖,我們需要調用NewPacketSource方法,代碼如下:oTd28資訊網——每日最新資訊28at.com

packetSource := gopacket.NewPacketSource(handle, handle.LinkType())packets := packetSource.Packets()

packetSource.Packets()方法返回的是一個通道, 用來接收gopacket解析出來的每一個數據包,oTd28資訊網——每日最新資訊28at.com

因此這里需要做循環接收,并在循環內容解析ethernet層, 解析大致過程如下:oTd28資訊網——每日最新資訊28at.com

oTd28資訊網——每日最新資訊28at.com

下面我們根據上面的流程圖解析LayerTypeEthernet, 代碼如下:oTd28資訊網——每日最新資訊28at.com

for packet := range packetSource.Packets() {    ethernetLayer := packet.Layer(layers.LayerTypeEthernet)    if ethernetLayer == nil {        continue    }    ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)}

下面涉及到協議的層級,我們對照Wireshark的包對比看一下,如圖:oTd28資訊網——每日最新資訊28at.com

oTd28資訊網——每日最新資訊28at.com

從上圖的協議結構中我們可以看到,源IP地址和目的IP地址是在IPv4層上, 源端口和目的端口是在TCP層上, 而mac地址是在Ethernet層上, 因此要想獲取這6個元數據,我們至少要解析三層協議, 添加以下代碼:oTd28資訊網——每日最新資訊28at.com

for packet := range packetSource.Packets() {    ethernetLayer := packet.Layer(layers.LayerTypeEthernet)    if ethernetLayer == nil {        continue    }    ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)    if ethernetPacket.EthernetType.String() == "IPv4" {        ipLayer := packet.Layer(layers.LayerTypeIPv4)        if ipLayer == nil { continue }                // 這里從IPv4協議層取源IP和目的IP數據        ipInfo, _ := ipLayer.(*layers.IPv4)                        tcpLayer := packet.Layer(layers.LayerTypeTCP)        if tcpLayer == nil { continue }                // 這里從TCP協議層取TCP數據,獲取源端口和目的端口數據        tcpInfo, _ := tcpLayer.(*layers.TCP)                //下面的代碼取具體的Payload        applicationLayer := packet.ApplicationLayer()        if applicationLayer == nil { continue }        payload := string(applicationLayer.Payload())                // 從GET或POST請求中取出元數據        if strings.HasPrefix(payload, "GET") || strings.HasPrefix(payload, "POST") {            fmt.Println("源mac地址:", ethernetPacket.SrcMAC.String())            fmt.Println("目的Mac地址:", ethernetPacket.DstMAC.String())            fmt.Println("源IP地址:", ipInfo.SrcIP.String())            fmt.Println("目的IP地址:", ipInfo.DstIP.String())            fmt.Println("源端口:", int(tcpInfo.SrcPort))            fmt.Println("目的端口:", int(tcpInfo.DstPort))        }    }}

5.行為檢測實現

這里我們以檢測數據庫的匿名登錄行為為例子, 首先在kali系統上對目標數據庫嘗試匿名登錄,如圖:oTd28資訊網——每日最新資訊28at.com

oTd28資訊網——每日最新資訊28at.com

在登錄過程中,使用Wireshark進行網絡抓包,如圖:oTd28資訊網——每日最新資訊28at.com

oTd28資訊網——每日最新資訊28at.com

從上面的抓包文件中,我們可以根據Payload偏移提取一些行為特征,例如:oTd28資訊網——每日最新資訊28at.com

oTd28資訊網——每日最新資訊28at.com

將特征檢測的邏輯加入到代碼中:oTd28資訊網——每日最新資訊28at.com

for packet := range packetSource.Packets() {    ethernetLayer := packet.Layer(layers.LayerTypeEthernet)    if ethernetLayer == nil {        continue    }    ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)    if ethernetPacket.EthernetType.String() == "IPv4" {        ipLayer := packet.Layer(layers.LayerTypeIPv4)        if ipLayer == nil { continue }                // 這里從IPv4協議層取源IP和目的IP數據        ipInfo, _ := ipLayer.(*layers.IPv4)                if ipInfo.Protocol.String() == "TCP" {          tcpLayer := packet.Layer(layers.LayerTypeTCP)          tcp, _ := tcpLayer.(*layers.TCP)          if (len(tcp.Payload) > 36 && bytes.Equal(tcp.Payload[13:37], []byte{0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0})) || (len(tcp.Payload) > 39 && bytes.Equal(tcp.Payload[13:40], []byte{0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 114, 111, 111, 116})) {            fmt.Println("發現數據庫匿名登錄行為!")          }        }    }}

將上面的代碼編譯后加載離線pcap包跑一下,可以看到已經匹配到行為特征,如圖:oTd28資訊網——每日最新資訊28at.com

oTd28資訊網——每日最新資訊28at.com

可以看到,已經成功命中行為特征。oTd28資訊網——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-26-55078-0.html用Go實現自己的網絡流量解析和行為檢測引擎

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 又崩了？盤點2023年十大線上事故！

下一篇： [備忘錄]Markdown最常用的20個語法