A Highly Efficient Model to Study the Semantics of Salient Object Detection
1. Abstract
CNN-based salient object detection (SOD) methods achieve impressive performance. However, the way semantic information is encoded in them and whether they are category-agnostic is less explored. One major obstacle in studying these questions is the fact that SOD models are built on top of the ImageNet pre-trained backbones which may cause information leakage and feature redundancy. To remedy this, here we first propose an extremely lightweight holistic model tied to the SOD task that can be freed from classification backbones and trained from scratch, and then employ it to study the semantics of SOD models. With the holistic network and representation redundancy reduction by a novel dynamic weight decay scheme, our model has only 100K parameters, ∼ 0.2% of parameters of large models, and performs on par with SOTA on popular SOD benchmarks. Using CSNet, we find that a) SOD and classification methods use different mechanisms, b) SOD models are category insensitive, c) ImageNet pre-training is not necessary for SOD training, and d) SOD models require far fewer parameters than the classification models. The source code is publicly available at https://mmcheng.net/sod100k/.
Source Code and pre-trained model: https://github.com/MCG-NKU/SOD100K
2. Paper
- A Highly Efficient Model to Study the Semantics of Salient Object Detection, M.M. Cheng, S.H. Gao, A. Borji, Y.Q. Tan, Z. Lin, M. Wang, IEEE TPAMI, 2021. [pdf| bib | project | code | 中译版]
- Highly Efficient Salient Object Detection with 100K Parameters, S.H. Gao, Y.Q. Tan, M.M. Cheng, C. Lu, Y. Chen, S. Yan, ECCV, 2020. [pdf| bib |project|code]
3. Q&A
If you have any questions, feel free to leave a message on this page.
老师,我是东北大学的研究生,我最近刚看了您的文章Highly Efficient Salient Object Detection with 100K Parameters,有些问题想请教一下.
1.关于改进OctConv后得到的gOctConv,是可以选择不进行跨尺度交互吗?我看您放出来的测试代码里面ILBlock是由一个gOctaveCBR和两个SimplifiedGOctConvBR组成的,但是SimplifiedGOctConvBR里面好像没有对不同尺度特征进行跨尺度交互,所以gOctConv是可以自行选择是否进行跨尺度交互吗?如果是自己选择的话,那怎么判断什么时候进行交互呢?
2.另外我想对轻量化模型进行研究,请问老师可以发一下训练代码吗?我承诺不将代码或基于您的代码的研究成果商用,只应用于学术用途.
以上是我的问题，希望老师有空能解答一下。
祝老师身体健康，工作顺利。
老师,还有一个问题,测试代码中fuse = self.oct_fuse([x2[0], x3[0], x4[0]])这行是说明最后送进gOctConv中的只是每个stage中最后一个ILBlock的多尺度特征中的第一个尺度的特征吗?
希望老师有空解答一下,非常感谢老师!
每个stage的最后一个ilblock会将两个尺度特征融合输出大尺度特征，每个stage的最后这个特征再被csf融合。下一个stage的第一个ilblock再重新拆成两个尺度的特征。
感谢老师的解答
是的gOctConv可以选择是否进行跨尺度交互。一般跨尺度交互是有好处的，当然也会增加计算量，就看怎么取舍了。我们具体的设计是依赖经验，也可以尝试去搜索。
这个项目收到企业资助，原则上训练部分我们只提供给资助企业。
好的,多谢老师
老师您好，我是东北石油大学的研究生，想在您的基础上继续研究轻量级目标检测算法，我承诺不将代码或基于您的代码的研究成果商用，请问可以发我一份训练代码嘛？
请确保只将我们的代码应用于学术用途，且不分发我们的代码。
训练代码链接： http://mftp.mmcheng.net/Papers/20Sal100K_CSNet_training.zip
解压密码请填写问卷获得。
https://goo.gl/forms/WgK6hNxaYzwP9eoZ2
https://www.wenjuan.com/s/7nYFvq
多谢老师！
您好，最近学习了Highly Efficient Salient Object Detection with 100K Parameters，有几个问题想要请教一下:
1.这篇文章提出了一个新的卷积模块，gOctConv，它将OctConv进行了改进，不再是只有两个尺度，而是改成了多尺度，就比如文章中的Fig.2，它是只输出一个Y2还是要把Y1一直到Ys都进行一遍操作呢？尺度是怎么划分的呢？
2.动态权重衰减方案，它的动态体现在哪呢？或者说能简单解释一下这个动态权重衰减吗？
3，文中还提出了一个ILBlock，这个ILBlock由一个OctConv和两个gOctConv组成，（To save computational cost, interacting features with different scales in every layer is unnecessary. Therefore, we apply an instance of gOctConv that each input channel corresponds to an output channel with the same resolution through eliminating the cross scale operations.）文中说它消除了交叉尺度的操作，那这个还是gOctConv吗？
以上是我的问题，希望老师有空能解答一下。
祝老师身体健康，工作顺利。
你的提问邮件我已经回复过，请问你没有收到吗？还有新问题的话欢迎继续询问。-高尚华
已收到，谢谢老师