弱监督显著性目标检测优化想法
type
status
date
slug
summary
tags
category
icon
password
1、标签强化：
SAM强在分割能力。我们可以使用SAM2强化标签。
之前的一篇 2022YOLO-SG 是直接使用SAM生成的显著性图作为标签，最近这一篇2024SAM-VSOD，则是多了一步错误过滤。相比于2021CVPR-WSVSOD使用EGNet生成伪标签来进行标签强化，我认为还是SAM更有优势。至于要不要进行错误过滤，我认为是不是没有必要？因为即使有误差SAM分割出来的显著性图也会比原本的稀疏涂鸦更准确。
然而缺陷是SAM对于视频中出现的动态虚影问题难以解决。不过我找到了一篇2024.10.28的SAM2,这个相比于SAM,使用了一个内存模块，用前一帧的信息来协助这一帧的分割，可能会有些帮助。
2、loss计算：
可以使用基于SAM的SG-Loss计算loss.
在2021CVPR-WSVSOD中，loss运算是交叉熵损失和光滑损失的加权和，在2024SAM-LOSS,其中光滑损失的部分用了基于SAM的SG-loss替代。
其实这个地方我也不是很清楚，计算SG-loss和计算光滑损失这两种方法的优劣。
3、训练过程：
使用注意力机制进行长距离内信息的融合，以及
在2024SAM-VSOD中，对时序
Loading...