Code
注意事项: These resources might need a password to be opened. Please supply your name, institute, and positions to get the password. Click Google form or Wenjuan to do this. The source code is free for research and education use only. Please cite our paper if you use any part of our source code or data in your research.
Source code
We open-source all papers by default, except for a few of them supported by commercial companies with NDA (non-disclosure agreement). Thus, we stop updating the following list. Please go to the publication page for the source code.
- C++: Salient Object Detection: A Discriminative Regional Feature Integration Approach, IJCV, 2017. [project] [bib]
- C++: HFS: Hierarchical Feature Selection for Efficient Image Segmentation. ECCV, 2016. [project][bib]
- C++ & Matlab: Salient Object Detection: A Benchmark, IEEE TIP, 2015. [project]
- C++ & CUDA: Struck: Structured output tracking with kernels, IEEE TPAMI, 2016. [pdf]
- C++ & CUDA: SemanticPaint: Interactive 3D Labeling and Learning at your Fingertips, ACM TOG 2015. [project]
- C++: DenseCut: Densely Connected CRFs for Realtime GrabCut, CGF 2015. [project] (I didn’t get enough time to reorganize the code. This is an initial version code without careful comments and organization.)
- C++ & CUDA: A Framework for the Volumetric Integration of Depth Images, arxiv eprint, 2014. [project]
- C++: ‘BING: Binarized Normed Gradients for Objectness Estimation at 300fps’, IEEE CVPR 2014. [project] [bib][readme]
- C++: Efficient Salient Region Detection with Soft Image Abstraction”, IEEE ICCV 2013. [project] [bib]
- C++(speech recognition part): “ImageSpirit: Verbal Guided Image Parsing”, ACM TOG, 2014, [bib] [project]。 Full code from Github.
- C++: “Global Contrast based Salient Region Detection”, IEEE TPAMI 2015. [project] [FAQs] [bib]
- C++: “Curve Structure Extraction for Cartoon Images” [Pdf] [bib]
- Executable 和 C++: “A Shape-Preserving Approach to Image Resizing”. CGF 2009. [project] [bib]
- Commercial version (神笔小Q, powered by QQ实验室) for our paper “Sketch2Photo: Internet Image Montage“, ACM TOG, 2009. [bib]
- Matlab: “Connectedness of Random Walk Segmentation”, IEEE TPAMI 2009. [bib]
License
The code is released under the Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International Public License for NonCommercial use only. Any commercial use should get formal permission first.
Data
- COD10K (Baidu w3up| Google ) (2.25G): Camouflaged Object Detection, CVPR, 2020.
- SIP1K (Baidu pan fetch code: 46w8 | Google drive )]: Rethinking RGB-D Salient Object Detection: Models, Data Sets, and Large-Scale Benchmarks, TNNLS, 2020. (Human-centered RGB-D salient object detection)
- DAVSOD (Baidu [fetch code: ivzo]| Google)]: Shifting More Attention to Video Salient Object Detection, CVPR, 2019. (Video Salient Object Detection)
- SOC6K (TestSet GT) [Object-level]|[Instance-level]
- SOC6K ([730.2MB] Baidu | Google): Salient Objects in Clutter: Bringing Salient Object Detection to the Foreground, ECCV, 2018. (First one largest instance-level salient object detection dataset with high-quality rich annotations, e.g., object level, instance level, and image-level annotations. ) [project page][bib].
- aNYU: attributes augmented NYU dataset published with our CVPR 2014 paper “Dense Semantic Image Segmentation with Objects and Attributes” (Please follow the instructions on the project page for getting unzip password).
- THUR15K (787MB): Salient object region labeling (annotated at pixel accuracy if exist such a salient object) for 15000 non-selected internet images, divided into five groups according to the keywords used to download them. Please cite our paper [BIB] if you use it. We also provide a Matlab file of Fig. 7(b) for easier comparison.
- MSRA10K: Pixel accurate salient object labeling for 10000 images from the MSRA dataset.
- PASCAL VOC annotations: Unfortunately, the XML format used in one of the most widely used benchmark datasets (PASCAL VOC) does not compatible with OpenCV. Here is a YML version of PASCAL VOC annotations (VOC 2007), which could be read by OpenCV directly.
Patents
International patents: (Espacenet)
- Method and Apparatus for Detecting Salient Object in Image, Qibin Hou, Mingming Cheng, Wei Bai, Xunyi Zhou, US20200143194
- Image processing method and image processing device, Shi-Min Hu, Ming-Ming Cheng, Guo-Xin Zhang, Niloy J. Mitra, Xiang Ruan, US20120288189, EP2523165, CN102779338A, JP2012243313A
- Method for calculating image visual saliency based on color histogram and overall contrast, Shi-Min Hu, Ming-Ming Cheng, Guo-Xin Zhang, WO 2012122682, PCT/CN2011/000690
- Method for detecting similar units based on outline belt graph, Shi-Min Hu, Ming-Ming Cheng, Fang-Lue Zhang, WO 2011131029, CN 101833668
Chinese patents (企知道, 中国专利公告):
- 程明明,姜鹏涛,张长彬,侯淇彬,曹洋,基于在线注意力累积的挖掘目标物体区域的方法,申请号:201910715341.X,申请日:2019-08-05。
- 杨巨峰,夏爽,冀晓东,陈松,程明明,一种基于多序列MRI的多发性骨髓瘤病灶的分割系统,申请号:201910582883.4,申请日:2019-07-01。
- 杨巨峰,梁杰,程明明,一种基于正交元空间的多模态图像增强方法,申请号:201910571058.4,申请日:2019-06-28。
- 范登平;程明明;张钊,一种基于深度图过滤器的显著性物体检测方法,申请号:201910524475.3,申请日:2019-06-18。
- 程明明,杨巨峰,伍小平,展翅,一种基于注意力机制和多层次卷积特征的植物病虫害识别方法,申请号:201910404278.8,申请日:2019-05-16。
- 杨巨峰,程明明,孙晓晓,陈丽怡,一种基于对抗神经网络和海量噪声数据的图片分类方法,申请号:201910358002.0,申请日:2019-04-30。
- 程明明,范登平,林铮,吴文海,一种基于注意力转移机制的视频显著性物体检测方法,申请号:201910347420.X,申请日:2019-04-28。
- 程明明,刘云,吴宇寰,基于多路割的弱监督实例分割方法,申请号:201910347532.5,申请日:2019-04-28。
- 杨巨峰,程明明,陈丽怡,折栋宇,孙晓晓,一种基于上下文信息的艺术画风格分类方法,申请号:201910311265.6,申请日:2019-04-18。
- 程明明,高尚华,赵凯,可集成到神经网络架构中的图像多尺度信息提取方法及应用,申请号:201910242489.6,申请日:2019-03-28。
- 程明明,赵凯,一种基于互斥正则化技术的人脸识别方法,申请号:201910235306.8,申请日:2019-03-27。
- 程明明,陈林卓,李炫毅,基于空间注意力机制的点云特征提取方法,申请号:201910235177.2,申请日:2019-03-27。
- 程明明,刘云,基于多层次上下文信息融合的显著性物体检测方法,申请号:201811547592.3,申请日:2018-12-18。
- 杨巨峰,程明明,折栋宇,王恺,一种基于深度度量学习的图像情感分类与检索算法,申请号:201810173303.1, 申请日:2018-03-02。
- 刘姜江,程明明,侯淇彬,范登平,谭永强,一种基于深度网络的多类型任务通用的检测方法,申申请号:201810173285.7,申请日:2018-03-02。
- 杨巨峰,程明明,梁杰,王恺,基于三元组的自动估计类数的子空间聚类方法,申请号:201810170826.0,申请日:2018-03-01。
- 杨巨峰,程明明,孙延,梁杰,王恺,一种基于多视角多特征的图像印象性预测方法,申请号:201810171247.8,申请日:2018-03-01。
- 范登平,程明明,曹洋,吴宇寰,任博,一种基于二进制的前景图相似度评测方法,申请号:201810171102.8 申请日:2018-03-01。
- 杨巨峰,程明明,孙晓晓,王恺,一种基于迭代采样和一对多标签修正的Web图像训练卷积神经网络方法,申请号:201810171017.1,申请日:2018-03-01。
- 侯淇彬,程明明,白蔚,周迅溢,图像显著性物体检测方法和装置,申请号:201710488970.4,申请日:2017年6月26日。
- 程明明,刘笑畅,白蔚,苗磊,一种图片处理方法及设备,申请号:201710602208.4,申请日期:2017年7月24日。
- 程明明,刘云,侯淇彬,白蔚,图像分割方法及装置,申请号:201610850223.6,申请日:2016年9月28日。
- 胡事民,张方略,程明明,基于成组物体混合的图像合成方法,申请号:201110262737.7 申请日:2011-09-06。
- 胡事民,程明明,张国鑫,基于色彩直方图和全局对比度的图像视觉显著性计算方法,申请号:201110062520.1, 授权日:2012年7月25日。
- 胡事民,程明明,张方略,一种基于轮廓带图的相似单元检测方法,申请号:201010159931.8, 授权日: 2011年12月28日。
- 胡事民,程明明,张方略,基于几何信息的相似图元隐藏部分自动补全方法,申请号:201010158440.1,授权日: 2012年9月5日。
- 胡事民,程明明,张国鑫,一种基于共形能量的内容敏感图像缩放方法,申请号:200910092756.2,授权日2011年12月28日。
- 胡事民,陈韬,程明明,张松海,基于图像库的图像合成质量自动评测方法,申请号:200910086937.4,受权日2011年9月14日。
- 胡事民,陈韬,程明明,张松海,基于混合梯度场和混合边界条件的图像合成方法和装置,申请号:200910084769.5,授权日2011年5月11日。
- 胡事民,程明明,陈韬,张松海,一种基于草图的网络图元自动提取方法和系统,申请号:200910081069,授权日2010年9月1日。
- 胡事民,张一飞,程明明,视频像素可伸缩性的计算方法,申请号:200810114466.9,授权日:2009年12月9日。
- 胡事民,程明明,陈韬,张松海,基于卡通片的高质量线结构提取方法,申请号:200810106664,授权日2009年9月25日。
- 程明明,张少甫,李文博,周瑞,仇玲,一种节能的路灯亮度随需动态调节系统及控制方法,申请号:200810018101,授权日:2012年4月25日。
(Visited 264,642 times, 1 visits today)
程老师好!请问论文BING(CVPR2014)中的DR-#WIN中的#WIN的具体含义是什么?是【每一张】测试图片的候选窗口数目吗?
程老师,您好!我在调试您的《A Shape-Preserving Approach to Image Resizing》这篇论文的代码时,出现了如下图所示的问题,请问是缺少了ConformalResizing.ini这个文件的原因吗,而且该文件是如何得到的?非常感谢!
程老师您好,我编译项目的时候,一直报错误 261 error LNK1104: 无法打开文件“CmLibd.lib” E:color transferprojectCmCode-masterCmCode-masterCurveExtractionHHME09LINK CurveExtractionHHME09。我Google了一下试了添加附加依赖项之后还是没有作用,想请问您一下这是什么问题,该怎么编译?
如果碰到error LNK1104 说明相应的文件(e.g. 这里是“CmLibd.lib”)不在lib目录中,visual studio无法找到。我自己的系统默认把那个路径加如visual studio的设置中了。另外我也更新了项目设置,你只需要update一下,就可以了。
程老师您好,我也遇到了无法打开文件“CmLibd.lib” 的问题,但是我单独build了那个静态库之后没有生成CmLibd.Lib。文件夹搜索也显示我电脑上面没有这个静态库,只有CmLib.lib。这是怎么回事呢?
程老师:
您好,请问您用的vs跟opencv都是哪个版本呢?
I guess it works with any version after 2.0. Not fully tested. But so far as the version I used, it all works.
程老师,您好!得知您在Github上更新了代码,然后我快速的下载了下来,运行saliency时,出现下图所示,
正在生成代码…
1> CmLib.vcxproj -> E:Saliency StudyCodesmmChengCmCodeCmCodex64DebugCmLibd.lib
1> 无效的参数数量
1>C:Program Files (x86)MSBuildMicrosoft.Cppv4.0V120Microsoft.CppCommon.targets(132,5): error MSB3073: 命令“xcopy /y E:Saliency StudyCodesmmChengCmCodeCmCodex64DebugCmLibd.lib Lib
1>C:Program Files (x86)MSBuildMicrosoft.Cppv4.0V120Microsoft.CppCommon.targets(132,5): error MSB3073: :VCEnd”已退出,代码为 4。
请问是什么原因呢?多谢
后来Google了一下,貌似是“”的问题,但是用调试模式跟踪不到,找不到出错的具体原因,特此求助,多谢!
这个问题应该不会影响程序运行。在程序编译之后,有一个Post build events试图copy生成的lib文件到我自己常用的一个目录,以方便使用。你的机器上可能没有设置那个目录。但是应该不影响使用。
程老师,按照您的说明,我自己把cmlib属性-》生成事件-》后期生成事件-》命令行 里面的内容删掉,然后把saliency属性-》链接器-》输入中添加cmlibd.lib,附加库目录中添加cmlibd.lib对应的目录,然后编译能通过,但是一旦调试或者运行,就会报错,内容为“无法启动程序,‘E:saliencyCmCode-masterx64debugCmLibd.lib’”,尝试了很多办法,一直无法解决,特此求助,多谢!PS:Post build events的xcopy对此种错误有影响吗?
你的start up项目默认是lib项目,而非saliency项目。需要调整一下。
多谢程老师,现在可以运行了,接着准备把BING也学习一下,thanks very much
不用客气。
你好:
我现在也是遇到了这个问题,不知道你能不能和你邮件联系一下!
邮箱:shdxky2012@163.com
QQ:781372417
您好,我想问下,你找到 CmLibd.lib的位置了吗,为什么我的电脑上面没有生成好的CmLibd.lib呢?
你好,我刚接触saliency,下了Github上的代码,但是不知道怎么去跑,求解。谢谢!!
装好opencv应该可以直接跑呀。
我在自己机器上设置了一个目录,把我自己的lib都copy过去(需要设置一个环境变量才能用)。这个默认设置已经更正过来。请更新一下就好了。
程老师您好,我在github下载了您的CmCode工程,具体的编译步骤可以告知一下吗?PS:我是直接用visual studio2013打开cmcode解决方案,不知从何下手
直接打开点击编译应该就ok了,如果出现什么错误提示,按照visual studio提示操作就行(通常是opencv之类的库没有安装之类的问题)。
程老师,我也运行错误了,一个说CmLib.lib找不到,还有一个就是cmd.exe问题?求指点
程老师你好,请问下Dense Semantic Segmentation with Objects and Attributes的code什么时候能够发布呢
最近正在准备公布code的Project比较多。我在一个个整理,完成之后就公开。8月底之前会有一个大Project公开。之后会弄Dense Semantic Segmentation这个。
Hi, thank you very much for your useful information. Actually I tried to provide my name and other needed info to get password, but unfortunately the link doesn’t work.
Could you try again? It should work.
test
Well, it’s lucky to read author’s paper. From this paper, i found something helpful to my project. I will try my best to implement source code.
The code is public available.
I want to learn object detection,so I am very interested in your paper.
Thanks 🙂
您好!
我运行您的 RandomWalkPAMI11代码 提示
Undefined function ‘lattice’ for input arguments of type ‘double’.
Error in random_walker (line 77)
[points edges]=lattice(X,Y);
我在matlab中help lattice没有这个函数,请问这个函数的作用是什么?
我的matlab是2013a
使用前请看.m文件中最开始部分。需要下载软件包。
谢谢
just for study
I am getting the error ‘one or more files cant be loaded ‘ in VS2012
How do I solve this problem
When you get this kind of error, visual studio typically tells what are these files as well.
willpassword show in this page?
Please follow the instruction to fill in the usage information. The password will shown to to after you finished.
谢谢大神。我还想请教几个问题。
1如何根据给出的候选窗口中筛选出图片中物体所在的窗口,因为一般一张图可能有几个物体,但是候选窗口数量很多。
2score是否是与svm分类面的距离
3程序中是否有计算准确率和召回率。
非常感谢
请看project page中的FAQ中关于Proposal和detection的区别和联系的部分。
大神你好,我想问下,我运行了bing以后,在results里面生成了图片对应的txt文件,我想问下,这文件里面每一列的参数表示什么意思?新手,希望大神指点一下,十分感谢。
bounding box的坐标和score。建议你参考paper和程序仔细阅读。
你好,我提供了邮箱和姓名,怎么还是解压不了?谢谢
填写表格完成后网页上会显示解压缩密码
BING 代码有密码也解压不了啊
你好大神,那个解压过程也是一个一个的,use for all archives是灰色不可选的啊
可以解压了。膜拜啊
BING 的解压密码是什么啊
请阅读注意事项。自己获取。
Could you please public source code Saliency Cut, which is included in paper “Global contrast based salient region detection”?
The code was ready 3 years ago. I’m waiting for the acceptance of the journal version, which is still under review. In the last major reversion. One reviewer comment was that comparisons with some method (that follow and cite our CVPR paper) is not significant. Thus we decided not to release source code of segmentation part before acceptance to avoid other additional comparisons with similar methods.
您好!
请问“Global contrast based salient region detection”中Saliency Cut的代码可以分享了嘛?看Publications里的意思是说accept了吧,谢谢
你好,最近对图像补全感兴趣,查阅到sketch2photo,找了很多地方才找到一个名为Binary.zip的压缩包,请问现在要运行它是需要怎么配置呢?你有将它商业化的想法吗?
–mkz899
Sketch2Photo 有一个和腾讯一起做的商业化版本,项目主页上有链接。这个检索部分的核心方法是salient object detection and segmentation + Shape matching。都有开源代码:https://mmcheng.net/SalObj/ 和 Shape Context。合成部分用开源的matting代码应该不会太差。
感谢!非常有帮助的提示。年代久远吧,腾讯那个链接已经不存在了。
不用客气。