中文标题：海上多模态数据资源体系——船舶红外可见光双模态目标检测数据集

英文标题：Maritime Multimodal Data Resource System—Infrared-Visible Dual-Modal Dataset for Ship Detection

来源期刊：雷达学报

基金项目：国家自然科学基金(62271499)，国家资助博士后研究人员计划(GZC20233554)，指挥控制科学与工程教学立项课题(2024-XKJS-j05)，泰山学者青年专家(tsqn202312258)

作  者：徐从安¹, 高龙¹, 张驰², 王金鹏², 王飞³, 唐小明⁴, 蔡卓燃⁵

作者单位：1. 海军航空大学 烟台 264000
2. 哈尔滨工程大学 哈尔滨 150000
3. 中国科学院计算技术研究所 北京 100190
4. 烟台三航雷达服务技术研究所 烟台 264000
5. 烟台大学 烟台 264000

摘  要：海上多模态数据资源体系是支撑雷达、SAR、光电等多传感器协同探测，进而实现目标精细感知的基础，对推动算法落地应用、提高海上目标监视能力具有重要意义。为此，以渤海某港口附近海域为试验区域，利用岸基、空基等平台搭载的SAR、雷达、可见光、红外摄像头等设备，采集海上目标多源数据，并通过自动关联配准与人工修正相结合的方式进行标注，针对不同任务特点整编形成了多个多模态关联数据集，以期构建面向任务的海上多模态数据资源体系。本文所发布多模态船舶图像数据集(DMSD)是该体系的重要组成部分，共包含可见光与红外两类模态图像2163对，涵盖云雨雾、逆光等多种条件，且通过仿射变换实现了模态间的图像配准。基于该数据集，该文在YOLO, CFT等算法上进行了实验验证，实验结果表明，该文数据集在YOLOv8算法上mAP50约为0.65，CFT算法上mAP50约为0.63，能够支撑相关学者开展双模态融合策略优化、复杂场景鲁棒性提升等研究。

全文链接： https://radars.ac.cn/cn/article/doi/10.12000/JR25144