展开查看详情
1 .关于旋转检测中高精度边界框的优化
杨学
2021年5月
2 .什么是旋转检测？
▪ 旋转检测是找到具有方向的边界框并对目标进行识别。
3 .旋转目标检测的优势
▪ 保留方向信息
▪ 适合密集场景，受后处理
（NMS）影响小
▪ 检测结果背景区域占比小
▪ ……
4 .旋转检测的应用场景
▪ 遥感检测
▪ 场景文字检测
▪ 人脸检测
▪ 零售场景检测
▪ 3D目标检测
5 .两种常见的旋转框定义
▪ 旋转框的定义方式
▪ OpenCV定义法： (x,y,ho,wo, θo), θo ∈ [-90,0)
▪ 长边定义法： (x,y, hle,wle,θle), θle ∈ [-90,90)
▪ 转换关系
6 .旋转框IoU的计算
!"#$ %& '(#")$*
IoU= !"#$ %& +,-%,
predicted box
7 .旋转框IoU的计算
D. Zhou, et al. "IoU Loss for 2D/3D Object Detection.".
https://github.com/lilanxiao/Rotated_IoU
9 .旋转框IoU的近似计算
Z. Chen, et al. "PIoU Loss: Towards Accurate Oriented Object Detection in Complex Environments." In ECCV 2020.
Y. Zheng, et al. “Rotation-robust Intersection over Union for 3D Object Detection” In ECCV 2020.
10 .旋转检测中的边界问题
-∆θ
Case 1
Anchor/Proposal: (0,0,70,10, −90°)
Ground-Truth: 0,0,70,10,65°
𝑤 Predict box: (0,0,70,10, −115°)
𝑤 way1
𝒘 = 𝒘, 𝒉 = 𝒉, θ − θ = 𝟏𝟖𝟎°
IoU< G, P >≈ 𝟏
Smooth-L1 Loss< G, P >PoA≫ 𝟎
ℎ
ℎ
Anchor/Proposal: (0,0,70,10, −90°)
Ground-Truth: 0,0,70,10,65°
𝜃 +∆θ Predict box: (0,0,70,10, −65°)
way2
Long Edge 𝒘 = 𝒘, 𝒉 = 𝒉, θ − θ = 𝟎°
Definition IoU< G, P >≈ 𝟏
Smooth-L1 Loss< G, P > ≈ 𝟎
11 .旋转检测中的边界问题
-∆θ
Case 2
Anchor/Proposal: (0,0,70,10, −90°)
Ground-Truth: 0,0,10,70, −25°
Predict box: (0,0,70,10, −115°)
ℎ
𝑤 way1
𝒘 = 𝒉, 𝒉 = 𝒘, θ − θ = 𝟗𝟎°
IoU< G, P >≈ 𝟏
Smooth-L1 Loss< G, P >PoA + EoE≫ 𝟎
𝑤
ℎ
+∆θ
+∆ℎ Anchor/Proposal: (0,0,70,10, −90°)
𝜃 Ground-Truth: 0,0,10,70, −25°
way2 Predict box: (0,0,10,70, −25°)
OpenCV
Definition -∆𝑤 𝒘 = 𝒘, 𝒉 = 𝒉, θ − θ = 𝟎°
IoU< G, P >≈ 𝟏
Smooth-L1 Loss< G, P >≈ 𝟎
12 .旋转检测中的边界问题
ℎ -∆θ
𝑤
Anchor/Proposal: (0,0,70,10, −90°)
Boundary position Ground-Truth: 0,0,10,70, −25°
𝑤 Predict box: (0,0,70,10, −115°)
ℎ 𝒘 = 𝒉, 𝒉 = 𝒘, θ − θ = 𝟗𝟎°
IoU< G, P >≈ 𝟏
Smooth-L1 Loss< G, P > ≫ 𝟎
-∆
𝑤 θ
ℎ
Anchor/Proposal: (0,0,70,10, −55°)
Non-boundary position Ground-Truth: 0,0,70,10, −80°
𝑤 Predict box: (0,0,70,10, −80°)
ℎ 𝒘 = 𝒉, 𝒉 = 𝒘, θ − θ = 𝟗𝟎°
IoU< G, P >≈ 𝟏
Smooth-L1 Loss< G, P > ≈ 𝟎
OpenCV Definition
13 .IoU-Smooth L1 Loss
▪ 边界不连续性问题通常会使模
型的损失值在边界情况下突然
增加，主要原因如下：
▪ periodicity of angular (PoA)
▪ exchangeability of edges (EoE)
▪ 引入IoU常数因子，让IoU值决
定loss的大小，消除边界问题。
方向 幅值
X. Yang, et al. "Scrdet: Towards more robust detection for small, cluttered and rotated objects." In ICCV 2019.
14 .简单的角度分类
▪ 边界不连续性问题通常会使模型的损失值在边界情况下突然增加。
▪ 将目标角度的预测视为分类问题，以更好地限制预测结果。解决方
案是将目标的角度作为类别标签，类别数与角度范围有关。
▪ 回归问题转换成分类问题实质是一个连续到离散的过程，中间存在
理论精度的损失：
15 .简单的角度分类
▪ 简单角度分类存在的问题：
▪ 使用OpenCV定义法时EoE问题仍然存在（因此采用长边定义法）
▪ 分类损失对于预测标签和标签之间的角度距离是不可感知的。
16 .Circular Smooth Label (CSL)
▪ CSL是具有周期性的圆形标签编码，
并且分配的标签值平滑且具有一定
的容忍性
▪ 性质
▪ 周期性
▪ 对称性
▪ 最大值
▪ 单调性
X. Yang, J. Yan. “Arbitrary-Oriented Object Detection with Circular Smooth Label.” In ECCV 2020.
17 . CSL的可视化
▪ DOTA数据集上检测器的角度特征可视化。 每个点代表测试集的RoI，
以及其所属bin的索引。
pulse function
gaussian function
18 .CSL存在的一些问题
▪ 问题1：厚重的检测头
▪ 问题2：长边定义法的使用不利于类正方形目标的检测
Case 3 Square-Like Problem
𝑤 +∆θ
-∆θ
way2 way1
ℎ
𝑤
ℎ
Anchor/Proposal: (0,0,45,44,0°) Long Edge Definition Anchor/Proposal: (0,0,45,44,0°)
Ground-Truth: 0,0,45,43, −60°
Ground-Truth: 0,0,45,43, −60°
Predict box: (0,0,45,44, −60°)
Predict box: (0,0,45,44,30°)
𝒘 ≈ 𝒘 ≈ 𝒉 ≈ 𝒉, θ − θ = 𝟎°
长宽比越小，损失函
𝒘 ≈ 𝒘 ≈ 𝒉 ≈ 𝒉, θ − θ = 𝟗𝟎°
IoU< G, P >≈ 𝟏 数对角度越不敏感。 IoU< G, P >≈ 𝟏
Smooth-L1 Loss< G, P > ≈ 𝟎
Smooth-L1 Loss< G, P > ≫ 𝟎
19 .Densely Coded Label (DCL)
▪ 使用密集编码（DCL）取代稀疏编码（SCL）（针对问题1）
▪ 一个例子：A=21, AR=180, w=1
▪ Threg = 21, Thonehot=Thcsl=3780, Thdcl=168
X. Yang, et al. "Dense Label Encoding for Boundary Discontinuity Free Rotation Detection." In CVPR 2021.
20 .Densely Coded Label (DCL)
▪ 使用密集编码（DCL）取代稀疏编码（SCL）（针对问题1）
SCL： One-Hot Label
SCL: Circular Smooth Label
DCL：Binary Coded Labe
21 .Densely Coded Label (DCL)
▪ 使用密集编码（DCL）取代稀疏编码（SCL）（针对问题1）
22 .Densely Coded Label (DCL)
▪ 角度距离和长宽比感知的权重（针对问题2）
23 .角度离散化粒度w
▪ 角度离散化粒度w太小，角度类别数太多，分类影响性能
▪ 角度离散化粒度w太大，理论误差太大，性能上限较低
27 .一种统一的解决方法GWD
X. Yang, et al. "Rethinking Rotated Object Detection with Gaussian Wasserstein Distance Loss." In ICML 2021.
热门城市
