科研成果
深度学习方法高分辨率SAR图像船舶检测与方向提取
时间：2024年02月06日
访问次数:608
近日，我所与浙江大学联合培养博士研究生李修楠以第一作者在期刊IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing (IF 5.5)上发表了题为“TKP-Net: A Three Keypoint Detection Network for Ships Using SAR Imagery”的研究论文，论文通讯作者为我所陈鹏正高级工程师和杨劲松研究员，合作者包括国家卫星海洋应用中心安文韬研究员、我所博士联陪生罗丹，郑罡研究员，硕士生陆霭莹，硕士生王梓沐。
遥感船舶监测在军事和民用领域都有重要的应用。从遥感数据，特别是从合成孔径雷达（SAR）图像中提取船舶长度、宽度和航向等信息至关重要。目前SAR图像船舶监测主要集中在船舶位置检测上。船舶方向的判别通常依赖于尾流特征的可观测性。然而，尾流特征的可观测性往往受到SAR系统参数、船舶属性、动态海洋环境等因素的影响。这使得准确的方向评估成为一项具有挑战性的任务。针对这些挑战，本研究提出了一种基于三个关键点的任意方向SAR船舶检测新方法。该方法从高分辨率SAR图像中学习船首和船尾的散射和形态信息，从而使用旋转边界框高精度确定船舶方向。该方法的第一步，将旋转框的角度预测问题转化为关键点位置的估计和匹配问题，以确定旋转框。在第二步中，使用放置在两个关键点的分类器进行船头判别，该算法在数据集上进行了测试，取得了90.8%的平均精度（AP）和92.5%的船头分类准确度，展示了其对于遥感船舶监测技术进步的潜在贡献。
本研究提出的TKP-Net总体架构如图1所示，分为三个主要部分，即特征提取和融合、目标检测头和预测模块。特征提取与融合模块用于提取多尺度船舶特征。目标检测头模块用于生成关键点热图、关键点偏移、旋转框的长度、宽度、方向向量和船头分类结果。预测模块结合来自检测头模块的信息形成旋转框和船头位置。
图1总体架构。网络结构可分为三个部分，即特征提取与融合模块、检测头模块、预测模块。数据经过特征提取和融合模块后，得到热图、偏移量、尺寸参数、向量、船头分类层五个参数部分。 热图和偏移量结合起来生成关键点坐标。尺寸参数和向量来匹配关键点坐标以生成旋转边框，并使用船头分类层来确定船头位于哪个关键点。
TKP-Net算法和其他五种算法（gliding vertex、Oriented RCNN、R3Det、YOLOv5 + CSL和Faster R-CNN（OBB））的OBB检测性能进行了比较。使用的评估指标为精确率（Precision）、召回率（Recall）、F1分数（F1 Score）、每秒传输帧数（FPS）和平均准确率（AP）。TKP-Net方法在性能指标上表现出色。具体而言，Precision达到了98.2%，Recall达到了97.7%，F1分数为97.9%，AP50为90.8%，处理速度为每秒18.1帧。图2展示了不同方法的可视化比较结果。
图2 不同方法的可视化比较
全景SAR图像测试可用于验证和评估船舶检测算法在现实场景中的性能。 利用全景SAR图像进行测试可以更准确地评估算法在处理复杂背景、多目标、遮挡和其他挑战性情况时的性能。
本研究在全景SAR图像上进行了测试，如图3（a）所示，船舶检测在陆地或岛屿上存在一些误检。如图3（b）所示，在没有陆地或岛屿干扰的情况下，海面大型SAR舰艇的探测效果较好。我们选择图像上有尾流的船只来验证我们的船头分类的准确性。如图3（c）所示，大部分船舶的航向与船舶尾流验证的方向一致。这可以在一定程度上证明我们的方法在从全景SAR图像中提取船舶方向具有良好的性能。
图3 全景SAR 图像的船舶检测结果。(a)是包含岛屿的大尺度 SAR 图像。(b)为不含岛屿的海面SAR图像。（c）是带尾流验证的船头提取结果。
论文引用：
Li X, Chen P*, Yang J*, et al. TKP-Net: A Three Keypoint Detection Network for Ships Using SAR Imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 17, pp. 364-376, 2024, doi: 10.1109/JSTARS.2023.3329252.
