日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

武大等開源大幅面高清衛星影像數據集:涵蓋 21 萬 + 地理目標,復雜地理空間場景知識精準生成

來源: 責編: 時間:2024-06-24 17:12:44 174觀看
導讀 AI 衛星影像知識生成模型數據集稀缺的問題,又有新解了。來自武漢大學、上海 AI 實驗室、西工大等 9 家機構共同推出了該領域的大型數據集,涵蓋了 21 萬個地理目標和 40 萬個目標-關系三元組。而且像機場、港口

AI 衛星影像知識生成模型數據集稀缺的問題,又有新解了。GsQ28資訊網——每日最新資訊28at.com

來自武漢大學、上海 AI 實驗室、西工大等 9 家機構共同推出了該領域的大型數據集,涵蓋了 21 萬個地理目標和 40 萬個目標-關系三元組。而且像機場、港口、立交橋等這樣復雜地理空間場景,也都包括在了數據集當中。GsQ28資訊網——每日最新資訊28at.com

GsQ28資訊網——每日最新資訊28at.com

具體來說,該數據集名為 RSG,主要面向衛星影像中的目標檢測(OBD)和場景圖生成(SGG)任務。GsQ28資訊網——每日最新資訊28at.com

SGG 有助于促進模型對地理空間場景從感知到認知的智能理解,但一直缺乏大幅面、超高分辨率的衛星影像數據。GsQ28資訊網——每日最新資訊28at.com

而 RSG 的出現很好地填補了這一空白,一同提出的還有基于上下文感知的逐級認知(CAC)框架,以及配套的 SGG 工具包。GsQ28資訊網——每日最新資訊28at.com

有關論文已經在 arXiv 公開發布,相應的數據集和工具包也已經開源。GsQ28資訊網——每日最新資訊28at.com

大幅面超高分辨率衛星影像數據集

在衛星影像(SAI)領域當中,場景圖生成(SGG)技術可以促進對地理空間場景從感知到認知的智能理解。GsQ28資訊網——每日最新資訊28at.com

在 SAI 中,地理目標的尺度和縱橫比變化大,地理目標之間(甚至是空間不相交的地理目標之間)存在豐富的關聯,這使得 SGG 有必要在大幅面超高分辨率衛星影像中整體進行。GsQ28資訊網——每日最新資訊28at.com

然而現實情況是,大幅面超高分辨率衛星影像的 SGG 數據集比較缺乏,這無疑限制了 SGG 在 SAI 中的進展。GsQ28資訊網——每日最新資訊28at.com

又由于大幅面超高分辨率衛星影像的復雜性,挖掘目標-關系三元組 <目標 1, 關系,目標 2> 嚴重依賴于遠程上下文推理,傳統為小幅面自然圖像設計的 SGG 模型,不能直接適用于大幅面衛星影像。GsQ28資訊網——每日最新資訊28at.com

注:下圖是大幅面超高分衛星影像中的 SGG 示意圖,其中第一行分別展示了大幅面超高分衛星影像的目標檢測和場景圖生成結果,第二行為對應的局部細節展示。在第二行末尾圖中,黑色箭頭表示僅依賴于孤立目標對可預測的關系,而紅色箭頭表示需要借助上下文推斷的復雜關系。GsQ28資訊網——每日最新資訊28at.com

GsQ28資訊網——每日最新資訊28at.com

于是,為了解決數據集稀缺問題,研究團隊構建了首個面向大幅面超高分衛星影像的大規模場景圖生成數據集 RSG。GsQ28資訊網——每日最新資訊28at.com

該數據集影像幅面跨越 512×768 到 27,860×31,096 像素,包含超過 21 萬個地理目標和超過 40 萬個目標-關系三元組。GsQ28資訊網——每日最新資訊28at.com

GsQ28資訊網——每日最新資訊28at.com

▲RSG 數據集中目標分布 (a) 和關系分布 (b) 統計

內容上,RSG 收集了空間分辨率為 0.15-1m 范圍的衛星影像,涵蓋了全球范圍內與人類活動密切相關的 11 類復雜地理空間情景。GsQ28資訊網——每日最新資訊28at.com

這些場景包括機場、港口、核電站、火電站、風力發電站、水壩和服務區、立交橋、水面橋、施工工地和體育運動場景等。GsQ28資訊網——每日最新資訊28at.com

GsQ28資訊網——每日最新資訊28at.com

▲RSG 數據集中影像采樣的地理分布和示例

在遙感領域專家的指導下,研究團隊將所有地理目標劃分為 48 個細粒度類,并使用定向邊界框(OBB)進行精確標注,所有關系按照 8 個大類、58 個細粒度類進行標注。GsQ28資訊網——每日最新資訊28at.com

GsQ28資訊網——每日最新資訊28at.com

提出上下文感知框架

為了進一步實現大幅面超高分衛星影像中的 SGG,研究團隊還提出了一個基于上下文感知的逐級認知(CAC)框架。GsQ28資訊網——每日最新資訊28at.com

該框架從三個層面深入理解衛星影像 —— 目標檢測(OBD)、目標對剪枝和關系預測:GsQ28資訊網——每日最新資訊28at.com

在目標檢測上,團隊提出了“能夠靈活集成多尺度上下文的整體多類目標檢測網絡(HOD-Net)”,可以檢測大幅面超高分辨率衛星影像中的目標;GsQ28資訊網——每日最新資訊28at.com

在目標對剪枝方面,作者則設計了“基于對抗生成的候選對生成(PPG)網絡”,來篩選包含高價值關系的目標對;GsQ28資訊網——每日最新資訊28at.com

在關系預測任務中,團隊又提出了“帶有上下文感知消息傳遞(RPCM)的關系預測網絡”來預測候選對的關系類型。GsQ28資訊網——每日最新資訊28at.com

GsQ28資訊網——每日最新資訊28at.com

在 RSG 測試集上的結果表明,在目標檢測任務中,無論是基于水平框(HBB)還是有向框(OBB)的檢測器,團隊提出的 HOD-Net 框架都取得了總成績和多個單項的 SOTA。GsQ28資訊網——每日最新資訊28at.com

GsQ28資訊網——每日最新資訊28at.com

注釋:GsQ28資訊網——每日最新資訊28at.com

1.表格中,b_b 為 boarding_bridge, l_t 表示 lattice_tower, s_l 為 ship_lock, g_d 為 gravity_dam。GsQ28資訊網——每日最新資訊28at.com

2.所有實驗都基于標準的“1x”(12epochs) 訓練設置。GsQ28資訊網——每日最新資訊28at.com

3.?表示主干網絡為 Swin-L,其他的主干網絡都為 ResNet50。GsQ28資訊網——每日最新資訊28at.com

4.下劃線表示下方的方法使用該模型作為基礎檢測器。GsQ28資訊網——每日最新資訊28at.com

同時測試結果還表明,HOD-Net 方法也優于一些其他的訓練方式。GsQ28資訊網——每日最新資訊28at.com

GsQ28資訊網——每日最新資訊28at.com

下面的圖更加直觀地展示了不同目標檢測策略的可視化結果。GsQ28資訊網——每日最新資訊28at.com

GsQ28資訊網——每日最新資訊28at.com

剪枝任務上,團隊提出的 PPG 策略也在多個模型上運行的測試中超越了傳統方法。GsQ28資訊網——每日最新資訊28at.com

GsQ28資訊網——每日最新資訊28at.com

生成情景當中,團隊設計的的 RPCM 網絡在基于 HBB 和 OBB 檢測器的所有指標上,同樣優于先前的主流 SGG 方法。GsQ28資訊網——每日最新資訊28at.com

GsQ28資訊網——每日最新資訊28at.com

下圖是不同 SGG 模型在 RSG 數據集中情景生成結果的可視化展示。GsQ28資訊網——每日最新資訊28at.com

GsQ28資訊網——每日最新資訊28at.com

此外,為了促進大幅面超高分辨率衛星影像中 SGG 的發展,研究團隊還發布了面向大面超高分辨率衛星影像的 SGG 工具包(其中包含約 30 種 OBD 方法和 10 種 SGG 方法),并基于 RSG 數據集進行了的全面基準測試。GsQ28資訊網——每日最新資訊28at.com

GsQ28資訊網——每日最新資訊28at.com

數據集和相關工具包都已開源,可到項目主頁中了解詳情。GsQ28資訊網——每日最新資訊28at.com

論文地址:GsQ28資訊網——每日最新資訊28at.com

https://arxiv.org/abs/2406.09410GsQ28資訊網——每日最新資訊28at.com

項目主頁:GsQ28資訊網——每日最新資訊28at.com

https://linlin-dev.github.io/project/RSGGsQ28資訊網——每日最新資訊28at.com

GitHub:GsQ28資訊網——每日最新資訊28at.com

https://github.com/Zhuzi24/SGG-ToolKitGsQ28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-4750-0.html武大等開源大幅面高清衛星影像數據集:涵蓋 21 萬 + 地理目標,復雜地理空間場景知識精準生成

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 阿里云推出首個 AI 程序員,具備架構師、開發 測試工程師等崗位技能

下一篇: 振興鄉村發展 助力青少年教育 中國三星連續十一年蟬聯企業社會責任榜外企第一

標簽:
  • 熱門焦點
  • 數字虛擬人23年最新變化!

    作者:小資來源:米塔之家自2021年元宇宙&ldquo;爆炸&rdquo;后,作為現實世界連接元宇宙的媒介之一,大批虛擬人跑步入場。到了2022年底,據天眼查數據顯示,我國目前企業名稱或經營范圍
  • 25萬虛擬er在“元宇宙”追星

    &ldquo;默嘰默嘰,我是默默醬,我是在真元宇宙也有頭有臉的人。&rdquo;12月11日晚20:00,虛擬偶像@默默醬的首場個人元宇宙演唱會《以夢為馬,抵達繁星》在大有空間APP
  • 元宇宙帶來沉浸式智能登錄?你學會了嗎?

    備受資本市場寵愛的元宇宙概念,正掀起一番番波瀾。元宇宙作為虛實相融的互聯網應用和社會形態,與沉浸式體驗緊密相關。 多重路徑,打造無感知沉浸式智能登錄《設計
  • Meta元宇宙女性安全問題頻發,元宇宙中相關問題該如何解決?

    在女性遭受性騷擾甚至被攻擊的事件相繼被報道之后,仍處于萌芽狀態的虛擬現實空間成為人們關注的焦點。許多女性發聲表示在使用Meta旗下的Horizon Worlds及其姊
  • 與元宇宙美少女藝術家的對話

    我最近宣布了我自己的NFT項目,這是我已經工作了幾個月的事情。由于我之前只是一個收藏家,擁有自己的項目真的給了我一個新的視角來看待這個領域。我一直歡迎人們
  • 在元宇宙開會是什么樣一種體驗

    空間就是一切還記得面對面的會議嗎?就在不久前,與會者需要飛到遙遠的目的地,并進行鼓舞人心的對話、網絡、免費食物,甚至可能會有一兩個很好的小組討論。隨之而來
  • HTC Vive推出元宇宙平臺Viverse;騰訊投資小米生態鏈AR眼鏡廠商

    今日熱點:HTC Vive正式推出元宇宙平臺Viverse;騰訊投資小米生態鏈AR眼鏡廠商北京蜂巢科技;面部追蹤和眼動追蹤是Quest下一版本的“重點”;索尼PSVR 2將推遲至2023
  • NFT高玩必備:NFT分析工具大盤點

    NFT市場的火熱讓越來越多的投資者投身其中,但當前的 NFT 生態系統存在幾個問題卻困擾了大多數人,如難以準確評估 NFT 項目的資產價格、缺乏 NFT 市場動態信息、
  • 超級賬本Julian Gordon:聯盟鏈與公鏈的競爭不是非此即彼

    在2021年《福布斯》區塊鏈50強榜單中,29家企業使用Hyperledger超級賬本技術,占比近60%。同年,研究機構Blockdata發布了的調查報告顯示,訪問Top100上市公司中,有 81
Top 主站蜘蛛池模板: 东乡县| 青海省| 茂名市| 五台县| 赞皇县| 灌南县| 龙门县| 青州市| 宝山区| 昭苏县| 大悟县| 拜泉县| 和静县| 镇远县| 曲阜市| 广州市| 临沭县| 景宁| 漯河市| 东宁县| 昭通市| 尚义县| 安仁县| 馆陶县| 柳林县| 光山县| 政和县| 天峨县| 昌宁县| 娄底市| 南平市| 如东县| 宣化县| 卢龙县| 西华县| 榆社县| 曲周县| 大英县| 宣城市| 长治市| 镇原县|