Code
注意事项: These resources might need a password to be opened. Please supply your name, institute, and positions to get the password. Click Google form or Wenjuan to do this. The source code is free for research and education use only. Please cite our paper if you use any part of our source code or data in your research.
Source code
We open-source all papers by default, except for a few of them supported by commercial companies with NDA (non-disclosure agreement). Thus, we stop updating the following list. Please go to the publication page for the source code.
- C++: Salient Object Detection: A Discriminative Regional Feature Integration Approach, IJCV, 2017. [project] [bib]
- C++: HFS: Hierarchical Feature Selection for Efficient Image Segmentation. ECCV, 2016. [project][bib]
- C++ & Matlab: Salient Object Detection: A Benchmark, IEEE TIP, 2015. [project]
- C++ & CUDA: Struck: Structured output tracking with kernels, IEEE TPAMI, 2016. [pdf]
- C++ & CUDA: SemanticPaint: Interactive 3D Labeling and Learning at your Fingertips, ACM TOG 2015. [project]
- C++: DenseCut: Densely Connected CRFs for Realtime GrabCut, CGF 2015. [project] (I didn’t get enough time to reorganize the code. This is an initial version code without careful comments and organization.)
- C++ & CUDA: A Framework for the Volumetric Integration of Depth Images, arxiv eprint, 2014. [project]
- C++: ‘BING: Binarized Normed Gradients for Objectness Estimation at 300fps’, IEEE CVPR 2014. [project] [bib][readme]
- C++: Efficient Salient Region Detection with Soft Image Abstraction”, IEEE ICCV 2013. [project] [bib]
- C++(speech recognition part): “ImageSpirit: Verbal Guided Image Parsing”, ACM TOG, 2014, [bib] [project]。 Full code from Github.
- C++: “Global Contrast based Salient Region Detection”, IEEE TPAMI 2015. [project] [FAQs] [bib]
- C++: “Curve Structure Extraction for Cartoon Images” [Pdf] [bib]
- Executable 和 C++: “A Shape-Preserving Approach to Image Resizing”. CGF 2009. [project] [bib]
- Commercial version (神笔小Q, powered by QQ实验室) for our paper “Sketch2Photo: Internet Image Montage“, ACM TOG, 2009. [bib]
- Matlab: “Connectedness of Random Walk Segmentation”, IEEE TPAMI 2009. [bib]
License
The code is released under the Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International Public License for NonCommercial use only. Any commercial use should get formal permission first.
Data
- COD10K (Baidu w3up| Google ) (2.25G): Camouflaged Object Detection, CVPR, 2020.
- SIP1K (Baidu pan fetch code: 46w8 | Google drive )]: Rethinking RGB-D Salient Object Detection: Models, Data Sets, and Large-Scale Benchmarks, TNNLS, 2020. (Human-centered RGB-D salient object detection)
- DAVSOD (Baidu [fetch code: ivzo]| Google)]: Shifting More Attention to Video Salient Object Detection, CVPR, 2019. (Video Salient Object Detection)
- SOC6K (TestSet GT) [Object-level]|[Instance-level]
- SOC6K ([730.2MB] Baidu | Google): Salient Objects in Clutter: Bringing Salient Object Detection to the Foreground, ECCV, 2018. (First one largest instance-level salient object detection dataset with high-quality rich annotations, e.g., object level, instance level, and image-level annotations. ) [project page][bib].
- aNYU: attributes augmented NYU dataset published with our CVPR 2014 paper “Dense Semantic Image Segmentation with Objects and Attributes” (Please follow the instructions on the project page for getting unzip password).
- THUR15K (787MB): Salient object region labeling (annotated at pixel accuracy if exist such a salient object) for 15000 non-selected internet images, divided into five groups according to the keywords used to download them. Please cite our paper [BIB] if you use it. We also provide a Matlab file of Fig. 7(b) for easier comparison.
- MSRA10K: Pixel accurate salient object labeling for 10000 images from the MSRA dataset.
- PASCAL VOC annotations: Unfortunately, the XML format used in one of the most widely used benchmark datasets (PASCAL VOC) does not compatible with OpenCV. Here is a YML version of PASCAL VOC annotations (VOC 2007), which could be read by OpenCV directly.
Patents
International patents: (Espacenet)
- Method and Apparatus for Detecting Salient Object in Image, Qibin Hou, Mingming Cheng, Wei Bai, Xunyi Zhou, US20200143194
- Image processing method and image processing device, Shi-Min Hu, Ming-Ming Cheng, Guo-Xin Zhang, Niloy J. Mitra, Xiang Ruan, US20120288189, EP2523165, CN102779338A, JP2012243313A
- Method for calculating image visual saliency based on color histogram and overall contrast, Shi-Min Hu, Ming-Ming Cheng, Guo-Xin Zhang, WO 2012122682, PCT/CN2011/000690
- Method for detecting similar units based on outline belt graph, Shi-Min Hu, Ming-Ming Cheng, Fang-Lue Zhang, WO 2011131029, CN 101833668
Chinese patents (企知道, 中国专利公告):
- 程明明,姜鹏涛,张长彬,侯淇彬,曹洋,基于在线注意力累积的挖掘目标物体区域的方法,申请号:201910715341.X,申请日:2019-08-05。
- 杨巨峰,夏爽,冀晓东,陈松,程明明,一种基于多序列MRI的多发性骨髓瘤病灶的分割系统,申请号:201910582883.4,申请日:2019-07-01。
- 杨巨峰,梁杰,程明明,一种基于正交元空间的多模态图像增强方法,申请号:201910571058.4,申请日:2019-06-28。
- 范登平;程明明;张钊,一种基于深度图过滤器的显著性物体检测方法,申请号:201910524475.3,申请日:2019-06-18。
- 程明明,杨巨峰,伍小平,展翅,一种基于注意力机制和多层次卷积特征的植物病虫害识别方法,申请号:201910404278.8,申请日:2019-05-16。
- 杨巨峰,程明明,孙晓晓,陈丽怡,一种基于对抗神经网络和海量噪声数据的图片分类方法,申请号:201910358002.0,申请日:2019-04-30。
- 程明明,范登平,林铮,吴文海,一种基于注意力转移机制的视频显著性物体检测方法,申请号:201910347420.X,申请日:2019-04-28。
- 程明明,刘云,吴宇寰,基于多路割的弱监督实例分割方法,申请号:201910347532.5,申请日:2019-04-28。
- 杨巨峰,程明明,陈丽怡,折栋宇,孙晓晓,一种基于上下文信息的艺术画风格分类方法,申请号:201910311265.6,申请日:2019-04-18。
- 程明明,高尚华,赵凯,可集成到神经网络架构中的图像多尺度信息提取方法及应用,申请号:201910242489.6,申请日:2019-03-28。
- 程明明,赵凯,一种基于互斥正则化技术的人脸识别方法,申请号:201910235306.8,申请日:2019-03-27。
- 程明明,陈林卓,李炫毅,基于空间注意力机制的点云特征提取方法,申请号:201910235177.2,申请日:2019-03-27。
- 程明明,刘云,基于多层次上下文信息融合的显著性物体检测方法,申请号:201811547592.3,申请日:2018-12-18。
- 杨巨峰,程明明,折栋宇,王恺,一种基于深度度量学习的图像情感分类与检索算法,申请号:201810173303.1, 申请日:2018-03-02。
- 刘姜江,程明明,侯淇彬,范登平,谭永强,一种基于深度网络的多类型任务通用的检测方法,申申请号:201810173285.7,申请日:2018-03-02。
- 杨巨峰,程明明,梁杰,王恺,基于三元组的自动估计类数的子空间聚类方法,申请号:201810170826.0,申请日:2018-03-01。
- 杨巨峰,程明明,孙延,梁杰,王恺,一种基于多视角多特征的图像印象性预测方法,申请号:201810171247.8,申请日:2018-03-01。
- 范登平,程明明,曹洋,吴宇寰,任博,一种基于二进制的前景图相似度评测方法,申请号:201810171102.8 申请日:2018-03-01。
- 杨巨峰,程明明,孙晓晓,王恺,一种基于迭代采样和一对多标签修正的Web图像训练卷积神经网络方法,申请号:201810171017.1,申请日:2018-03-01。
- 侯淇彬,程明明,白蔚,周迅溢,图像显著性物体检测方法和装置,申请号:201710488970.4,申请日:2017年6月26日。
- 程明明,刘笑畅,白蔚,苗磊,一种图片处理方法及设备,申请号:201710602208.4,申请日期:2017年7月24日。
- 程明明,刘云,侯淇彬,白蔚,图像分割方法及装置,申请号:201610850223.6,申请日:2016年9月28日。
- 胡事民,张方略,程明明,基于成组物体混合的图像合成方法,申请号:201110262737.7 申请日:2011-09-06。
- 胡事民,程明明,张国鑫,基于色彩直方图和全局对比度的图像视觉显著性计算方法,申请号:201110062520.1, 授权日:2012年7月25日。
- 胡事民,程明明,张方略,一种基于轮廓带图的相似单元检测方法,申请号:201010159931.8, 授权日: 2011年12月28日。
- 胡事民,程明明,张方略,基于几何信息的相似图元隐藏部分自动补全方法,申请号:201010158440.1,授权日: 2012年9月5日。
- 胡事民,程明明,张国鑫,一种基于共形能量的内容敏感图像缩放方法,申请号:200910092756.2,授权日2011年12月28日。
- 胡事民,陈韬,程明明,张松海,基于图像库的图像合成质量自动评测方法,申请号:200910086937.4,受权日2011年9月14日。
- 胡事民,陈韬,程明明,张松海,基于混合梯度场和混合边界条件的图像合成方法和装置,申请号:200910084769.5,授权日2011年5月11日。
- 胡事民,程明明,陈韬,张松海,一种基于草图的网络图元自动提取方法和系统,申请号:200910081069,授权日2010年9月1日。
- 胡事民,张一飞,程明明,视频像素可伸缩性的计算方法,申请号:200810114466.9,授权日:2009年12月9日。
- 胡事民,程明明,陈韬,张松海,基于卡通片的高质量线结构提取方法,申请号:200810106664,授权日2009年9月25日。
- 程明明,张少甫,李文博,周瑞,仇玲,一种节能的路灯亮度随需动态调节系统及控制方法,申请号:200810018101,授权日:2012年4月25日。
(Visited 265,212 times, 3 visits today)
for study
你好,最近在学习你的关于显著性的文章代码 “Global Contrast based Salient Region Detection“,但是提供的代码里缺少文件D:\\EvaluateShow.m,能否提供一下,或者发到我的邮箱里面hengliang_zhu@163.com,非常感谢!
运行这个代码不需要任何matlab文件。你说的这个文件应该是运行代码输出的一个文件。输出结果可以直接用matlab打开,双击即可获得paper中的Precision-recall curve插图。
已经可以运行了,非常感谢!
你好,你是下载代码压缩包的吗?怎么找不到?
你好!我现在在Arizona State University在职读博,方向是AI和Computer Vision, 在写一篇物体识别方面的文章需要引用你的BING的算法。我下载了BingObjectnessCVPR14.zip,也填了相关form,但是一直没有收到密码,能不能免费你将密码寄到我邮箱?另外,请问有没有matlab的版本?谢谢!
填写survey之后,解压缩密码出现在网页上。
I am now doing some object detection tasks for fun and I may use your codes,
I just suddenly find your BING paper, and it looks really good. Though I am doing some machine learning works, your job motivates me a lot! Congratulations!
Thank you 🙂
您好,我运行了您的BING工程,编译无误,运行时发现有问题 “Invalid Class name”
调试后发现问题出在DataSetVOC.cpp中第15行的:
trainSet = CmFile::loadStrList(wkDir + “ImageSets/Main/Train.txt”);
testSet = CmFile::loadStrList(wkDir + “ImageSets/Main/Test.txt”);
classNames = CmFile::loadStrList(wkDir + “ImageSets/Main/class.txt”);
合并之后的VOC2007数据包ImageSets/Main/中没有这三个文档,”Train.txt,Text.txt, class.txt”
只有两个”train.txt”和”test.txt” (估计改下大小写就行了)
但是class.txt去哪里获取还是自己新建?
(在VOC2007的两个zip压缩包的对应位置都没有,您的代码工程中子目录的VOC007对应位置也没有)
只有我遇到这个问题了吗?
请阅读这个project的readme:https://mmcheng.net/bingreadme/ 有三个数据包需要下载,你可能少下载了一个。你也可以试图disable掉class.txt这个是用来演示generic over categories的。
敢问大神,Efficient Salient Region Detection with Soft Image Abstraction的c++代码中的apclusterwin.dll是怎么得到的?
http://genes.toronto.edu/index.php?q=affinity%20propagation
如果要聚类,根据网站上的提示可以上传zip文件,我想知道这个zip文件中是不是我要进行显著性检测的图像,还是网站主页上所说的“训练的对象是点”,这些点是怎样得到的呢?希望大神指点,谢谢!
那个网站方法的使用建议你问作者。我不清楚他们公开的其它工具的使用方法。
另外不进行聚类的话正确率稍微差点,但是速度更快,也不依赖这个dll。
您好,请问一下,32位的电脑有没有办法运行您的代码呢?(环境什么的已经配置好了
关于32位的机器,论坛里貌似有人给过方案:http://www.cvchina.info/2014/02/25/14cvprbing/
我没有打算发布32位的版本,主要是觉得32位的机器已经过时了。
啊,实在感谢!看到解决方法了,准备按这个再调试一下试试。
could you give the password?thx ~
Please follow the highlighted notice to get it yourself.
想要Global contrast based salient region detection的解压密码,注册好多次邮箱都没有收到密码。可以发一个吗?谢谢了。
填写完信息之后会出现在网页上…
。。。
二了。
我还想要Matlab版的。有吗?
Sorry I don’t have a matlab version. If you could make a Matlab version, please let me know.
明明哥,还有一个问题,就是这个方法对目标的局部遮挡有鲁棒性吗?又没有测试过,期待回复
VOC中的图片局部遮挡是常用数据集中遮挡最多的。
明明哥,illustrate True Positives画出来的是测试集中人工标注好的框吧?我想用训练好的模型来检测测试集的目标物,该怎么办哪?新手,求指导
首先你得理解proposal和object detection的区别。Proposal可以用于加速detection,但是其结果并不是detection结果。illustrate true positive是依据人工标注,illustrate最靠近的true positive proposal。要做目标检测,还得plugin一个detector。这个project的project page中有对应的参考文献。
大神啊,那个BING的代码一定需要测试集事先的标注信息才能检测出测试图像中的对象以及个数吗?如果测试图像事先需要把对象位置和类别标注好,那还有什么意义呢?
测试集的标注只是用于验证Detection rate和Illustration。请注意每个图像有1000个proposal,如果每个都画出来就什么也看不清楚了。所以illustrate的时候只illustrate True Positive会比较有意义。Proposal方法通常将传统sliding window的百万级别的window数降低到1000左右,同时保持90+%的recall。建议你仔细思考一下什么是object proposal …。同时参考另外几篇PAMI和IJCV论文,应该会对这个问题有更好的认识。
BING: Binarized Normed Gradients for Objectness Estimation at 300fps对这个方法很感兴趣,求代码的密码!
看红色字体注意事项,自动获取密码。
你好,请问在《Efficient Salient Region Detection with Soft Image Abstraction》论文的Experiments中,Precision-Recall曲线是怎么画的呢,还有其他的比较算法,请问有没有打包好的代码呢?因为刚接触saliency 不久,还请多多指教,非常感谢!
公开的代码里面,方法,代码,evaluation,都有呀
你好,按照网上红色标记的提交后,在解压时还是需要密码。
提交后应该会有提示解压缩密码是什么。
你好,请问我在64bit机器(VS2012 + opencv2.46 + core i3 + 4G内存)上运行BING代码,到loadBBoxes()会发生了缓冲区溢出怎么处理?是因为机器内存不够吗?谢谢了。
我为了排除对io的计时(取决于硬盘速度),默认把所有图像先load进内存,可能你的内存不够。我刚刚更新了默认设置,你可以重新下载。
你好,我根据你的程序2011自己重新建了个工程,可以跑通,但是就是在传参数的时候读不进去图片,请问是什么原因呢?还有你可以把你的那个程序分割的代码也给我吗?
这个问题说的很不清楚,我也不知道你碰到什么具体问题。Visual studio有单步跟踪功能,你可以调试一下程序就发现这种读入不了数据的问题。SaliencyCut的代码在Journal版本录用后会公开。
好的,谢谢了
楼主,那个BING的代码是不是不能在32位win7上跑啊,调试到后面一些步骤时出现内存问题。
这个方法太快,以至于读入图片的速度都占到了很大比例。为了排除io对算法计时的影响,我先把所有图片load进内存,然后开始计时并处理。32位程序不能支持那么大内存,你处理一张图像读取一张应该就可以了。
study BING with source code