Efficient Salient Region Detection with Soft Image Abstraction
[:en]
Ming-Ming Cheng Jonathan Warrell Wen-Yan Lin Shuai Zheng Vibhav Vineet Nigel Crook
Vision Group, Oxford Brookes University
Abstract
Detecting visually salient regions in images is one of the fundamental problems in computer vision. We propose a novel method to decompose an image into large scale perceptually homogeneous elements for efficient salient region detection, using a soft image abstraction representation. By considering both appearance similarity and spatial distribution of image pixels, the proposed representation abstracts out unnecessary image details, allowing the assignment of comparable saliency values across similar regions, and producing perceptually accurate salient region detection. We evaluate our salient region detection approach on the largest publicly available dataset with pixel accurate annotations. The experimental results show that the proposed method outperforms 18 alternate methods, reducing the mean absolute error by 25.2% compared to the previous best result, while being computationally more efficient.
Paper
- Efficient Salient Region Detection with Soft Image Abstraction. Ming-Ming Cheng, Jonathan Warrell, Wen-Yan Lin, Shuai Zheng, Vibhav Vineet, Nigel Crook. ICCV 2013. [pdf][bib][latex]
Supplemental materials
- Results comparisons to 18 alternative methods for MSRA 1000 dataset in a 79M PDF.
- Our result saliency maps: 31MB ZIP, results for other methods (360M ZIP).
- Prototype software: 2M ZIP.
- C++ source code is available. It runs 90 fps at my computer (CPU: Intel(R) core (TM) i7 cup 970 @ 3.2 GHz).
Other closely related projects:
1. Salient object detection and segmentation
2. Group saliency[:zh]
Ming-Ming Cheng Jonathan Warrell Wen-Yan Lin Shuai Zheng Vibhav Vineet Nigel Crook
Vision Group, Oxford Brookes University
Abstract
Detecting visually salient regions in images is one of the fundamental problems in computer vision. We propose a novel method to decompose an image into large scale perceptually homogeneous elements for efficient salient region detection, using a soft image abstraction representation. By considering both appearance similarity and spatial distribution of image pixels, the proposed representation abstracts out unnecessary image details, allowing the assignment of comparable saliency values across similar regions, and producing perceptually accurate salient region detection. We evaluate our salient region detection approach on the largest publicly available dataset with pixel accurate annotations. The experimental results show that the proposed method outperforms 18 alternate methods, reducing the mean absolute error by 25.2% compared to the previous best result, while being computationally more efficient.
Paper
- Efficient Salient Region Detection with Soft Image Abstraction. Ming-Ming Cheng, Jonathan Warrell, Wen-Yan Lin, Shuai Zheng, Vibhav Vineet, Nigel Crook. ICCV 2013. [pdf][bib][latex]
Supplemental materials
- Results comparisons to 18 alternative methods for MSRA 1000 dataset in a 79M PDF.
- Our result saliency maps: 31MB ZIP, results for other methods (360M ZIP).
- Prototype software: 2M ZIP.
- C++ source code is available. It runs 90 fps at my computer (CPU: Intel(R) core (TM) i7 cup 970 @ 3.2 GHz).
Other closely related projects:
1. Salient object detection and segmentation
2. Group saliency[:]
程老师，我想问一下《Efficient Salient Region Detection with Soft Image Abstraction》这篇paper的程序包解压时的解压密码？？谢谢！
程老师，您好，我运行了你的文章《Efficient Salient Region Detection with Soft Image Abstraction》提供的代码，运行环境vs2010，win7 64位系统，我用你提供的代码聚类，相同的图，你文章中是3类，我聚出来是6类，不知道为什么。还望您解答，谢谢。
你好，这篇文章附带的程序，解压的时候有解压密码，你可以提供一下吗？
程老师，提供的代码好像存在bug，在函数void CmSaliencyGC::MergeGMMs()里，如果_NUM = 1，那么语句int i1 = pIdx[0].second, i2 = pIdx[1].second;就会访问越界，是不是用GMM分解图像的时候，得到的elements应该大于1个（估计）,如数据集SED2里的图片b17leon000.jpg就会出现上述错误；又试了提供的software没有报错。期待您的答疑，谢谢。
我也是碰到同样的问题 求解答
你好，麻烦问一下，你运行程老师的GMM合并的代码能得到预期的结果么？我运行的时候得不到聚类结果
程老师：
您好！有个问题想请教下，在运行代码的时候，
apFun(cor.ptr(0), NULL, NULL, N, &_ClusteredIdx[0], &netSim, &apCluter.apoptions);这个代码为什么运行不成功，是需要其他的dll吗？
谢谢
请参考论文。这里调用一个science paper的dll
程老师你好，你说的”这里调用一个science paper的dll”这句话我不知道在哪里找相关的dll,还请老师指明非常感谢！
你好，问一下这个问题你解决了吗 我刚学习这个 也遇到这样的问题呢
apFun(cor.ptr(0), NULL, NULL, N, 0, &netSim, &apCluter.apoptions); 程老师，您好，昨天很荣幸听到您的精彩报告。然后我试用了下你的代码，同样发现这个函数出现问题。我在您的原文中没有看到相关dll 的配置。请问，能给出具体配置的链接么？这个问题从昨晚一直困扰到今天，实在是头大。
请问这个问题你解决了吗？我也需要这里的帮助。谢谢
程老师：
程老师您好! 我有两个问题：1. 我看到这篇文章的代码在CmCode-master里也有出现，并且看起来很一致，请问CmCode-master和SaliencyICCV2013有什么区别么？2. 运行在CmCode-master中的这篇论文中的方法后，得到了非二值化的，类似figure 4中的saliency map。后续的adaptive thresholding的code可以在哪里找到么？ 谢谢~！
CmCode是个合集，所有公开的project都放在那了。SaliencyICCV2013是个单独的代码包。Adaptive thresholding的不是我提出的方法，代码不在我共享的范围。
您好，我也配置了这个项目，但是在cmd里运行时出现：
Precision = -1.#IND, recall = -1.#IND, F-Measure = -1.#IND, intUnion = -1.#IND,mae = -1.#IND
这样的问题。请问您遇到过吗？希望能帮下，多谢
老师您好，在主页下载这篇文章，文中的Figure3不完整，有一篇是白的。
程老师，您好，麻烦问一下GMM分解以及同质区域合并的结果图您是怎么显示出来的，对应代码中哪些量呢，我很关心您论文中图3的那个结果，恳请您回复！
结果显示的时候根据每个高斯的参数算一下对应像素的概率值，然后画出来就可以了。
程老师，关于你的THUS-10000数据库，我有一个问题：您这个数据库中的图像是如何从MSRA数据库中挑选的？是全部包括了MSRA_B中的所有图像，再加上一部分MSRA_A中的图像么？还是既包括了MSRA_B中的部分图像，也包含了MSRA_A中的部分图像呢？因为我写论文要用这个数据库，所以需要知道这些信息，谢谢。
从MSRA-A中挑选用户一致性最高的一部分（选法和MSRA-B一样，只是当时为了凑够1万个图像，所以数量多了一些）。
您好，Supplemental materials里的 results for other methods下载不了这个压缩包呢，您能重新提供下链接吗？谢谢~
链接前面忘了加http:// 了，已经更正了。从Chrome的地址栏copy的时候默认少了这个前缀。
首先非常感谢您提供的链接。但还是有几个问题要咨询您一下，第一是AC的显著图与原图相比是翻转的，不知道您注意没有；第二是压缩包里没有您文中提到的SEG,SeR,SWD,SUN,AIM等方法的结果图，若方便，非常希望您可以补充下数据集；第三是压缩包里的GMR，您文中没有提到吧，这个指的是否是CVPR2013-Graph-Based Manifold Ranking(Ming-Hsuan Yang)这篇文章的结果。
期待您的解答，谢谢~
不好意思，还有一个问题，_SF的结果图只有十张，_res的结果图只有两张，是不是您copy的时候出问题了？
@conference{13iccv/Cheng_Saliency,
title={Efficient Salient Region Detection with Soft Image Abstraction},
author={Ming-Ming Cheng and Jonathan Warrell and Wen-Yan Lin and Shuai Zheng and Vibhav Vineet and Nigel Crook},
booktitle={IEEE ICCV},
pages={1529–1536},
year={2013},
}
the paper is very useful to me
That’s very good. 🙂
We use soft image abstraction to decompose an image into large scale perceptually homogeneous elements