Code
注意事项: These resources might need a password to be opened. Please supply your name, institute, and positions to get the password. Click Google form or Wenjuan to do this. The source code is free for research and education use only. Please cite our paper if you use any part of our source code or data in your research.
Source code
We open-source all papers by default, except for a few of them supported by commercial companies with NDA (non-disclosure agreement). Thus, we stop updating the following list. Please go to the publication page for the source code.
- C++: Salient Object Detection: A Discriminative Regional Feature Integration Approach, IJCV, 2017. [project] [bib]
- C++: HFS: Hierarchical Feature Selection for Efficient Image Segmentation. ECCV, 2016. [project][bib]
- C++ & Matlab: Salient Object Detection: A Benchmark, IEEE TIP, 2015. [project]
- C++ & CUDA: Struck: Structured output tracking with kernels, IEEE TPAMI, 2016. [pdf]
- C++ & CUDA: SemanticPaint: Interactive 3D Labeling and Learning at your Fingertips, ACM TOG 2015. [project]
- C++: DenseCut: Densely Connected CRFs for Realtime GrabCut, CGF 2015. [project] (I didn’t get enough time to reorganize the code. This is an initial version code without careful comments and organization.)
- C++ & CUDA: A Framework for the Volumetric Integration of Depth Images, arxiv eprint, 2014. [project]
- C++: ‘BING: Binarized Normed Gradients for Objectness Estimation at 300fps’, IEEE CVPR 2014. [project] [bib][readme]
- C++: Efficient Salient Region Detection with Soft Image Abstraction”, IEEE ICCV 2013. [project] [bib]
- C++(speech recognition part): “ImageSpirit: Verbal Guided Image Parsing”, ACM TOG, 2014, [bib] [project]。 Full code from Github.
- C++: “Global Contrast based Salient Region Detection”, IEEE TPAMI 2015. [project] [FAQs] [bib]
- C++: “Curve Structure Extraction for Cartoon Images” [Pdf] [bib]
- Executable 和 C++: “A Shape-Preserving Approach to Image Resizing”. CGF 2009. [project] [bib]
- Commercial version (神笔小Q, powered by QQ实验室) for our paper “Sketch2Photo: Internet Image Montage“, ACM TOG, 2009. [bib]
- Matlab: “Connectedness of Random Walk Segmentation”, IEEE TPAMI 2009. [bib]
License
The code is released under the Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International Public License for NonCommercial use only. Any commercial use should get formal permission first.
Data
- COD10K (Baidu w3up| Google ) (2.25G): Camouflaged Object Detection, CVPR, 2020.
- SIP1K (Baidu pan fetch code: 46w8 | Google drive )]: Rethinking RGB-D Salient Object Detection: Models, Data Sets, and Large-Scale Benchmarks, TNNLS, 2020. (Human-centered RGB-D salient object detection)
- DAVSOD (Baidu [fetch code: ivzo]| Google)]: Shifting More Attention to Video Salient Object Detection, CVPR, 2019. (Video Salient Object Detection)
- SOC6K (TestSet GT) [Object-level]|[Instance-level]
- SOC6K ([730.2MB] Baidu | Google): Salient Objects in Clutter: Bringing Salient Object Detection to the Foreground, ECCV, 2018. (First one largest instance-level salient object detection dataset with high-quality rich annotations, e.g., object level, instance level, and image-level annotations. ) [project page][bib].
- aNYU: attributes augmented NYU dataset published with our CVPR 2014 paper “Dense Semantic Image Segmentation with Objects and Attributes” (Please follow the instructions on the project page for getting unzip password).
- THUR15K (787MB): Salient object region labeling (annotated at pixel accuracy if exist such a salient object) for 15000 non-selected internet images, divided into five groups according to the keywords used to download them. Please cite our paper [BIB] if you use it. We also provide a Matlab file of Fig. 7(b) for easier comparison.
- MSRA10K: Pixel accurate salient object labeling for 10000 images from the MSRA dataset.
- PASCAL VOC annotations: Unfortunately, the XML format used in one of the most widely used benchmark datasets (PASCAL VOC) does not compatible with OpenCV. Here is a YML version of PASCAL VOC annotations (VOC 2007), which could be read by OpenCV directly.
Patents
International patents: (Espacenet)
- Method and Apparatus for Detecting Salient Object in Image, Qibin Hou, Mingming Cheng, Wei Bai, Xunyi Zhou, US20200143194
- Image processing method and image processing device, Shi-Min Hu, Ming-Ming Cheng, Guo-Xin Zhang, Niloy J. Mitra, Xiang Ruan, US20120288189, EP2523165, CN102779338A, JP2012243313A
- Method for calculating image visual saliency based on color histogram and overall contrast, Shi-Min Hu, Ming-Ming Cheng, Guo-Xin Zhang, WO 2012122682, PCT/CN2011/000690
- Method for detecting similar units based on outline belt graph, Shi-Min Hu, Ming-Ming Cheng, Fang-Lue Zhang, WO 2011131029, CN 101833668
Chinese patents (企知道, 中国专利公告):
- 程明明,姜鹏涛,张长彬,侯淇彬,曹洋,基于在线注意力累积的挖掘目标物体区域的方法,申请号:201910715341.X,申请日:2019-08-05。
- 杨巨峰,夏爽,冀晓东,陈松,程明明,一种基于多序列MRI的多发性骨髓瘤病灶的分割系统,申请号:201910582883.4,申请日:2019-07-01。
- 杨巨峰,梁杰,程明明,一种基于正交元空间的多模态图像增强方法,申请号:201910571058.4,申请日:2019-06-28。
- 范登平;程明明;张钊,一种基于深度图过滤器的显著性物体检测方法,申请号:201910524475.3,申请日:2019-06-18。
- 程明明,杨巨峰,伍小平,展翅,一种基于注意力机制和多层次卷积特征的植物病虫害识别方法,申请号:201910404278.8,申请日:2019-05-16。
- 杨巨峰,程明明,孙晓晓,陈丽怡,一种基于对抗神经网络和海量噪声数据的图片分类方法,申请号:201910358002.0,申请日:2019-04-30。
- 程明明,范登平,林铮,吴文海,一种基于注意力转移机制的视频显著性物体检测方法,申请号:201910347420.X,申请日:2019-04-28。
- 程明明,刘云,吴宇寰,基于多路割的弱监督实例分割方法,申请号:201910347532.5,申请日:2019-04-28。
- 杨巨峰,程明明,陈丽怡,折栋宇,孙晓晓,一种基于上下文信息的艺术画风格分类方法,申请号:201910311265.6,申请日:2019-04-18。
- 程明明,高尚华,赵凯,可集成到神经网络架构中的图像多尺度信息提取方法及应用,申请号:201910242489.6,申请日:2019-03-28。
- 程明明,赵凯,一种基于互斥正则化技术的人脸识别方法,申请号:201910235306.8,申请日:2019-03-27。
- 程明明,陈林卓,李炫毅,基于空间注意力机制的点云特征提取方法,申请号:201910235177.2,申请日:2019-03-27。
- 程明明,刘云,基于多层次上下文信息融合的显著性物体检测方法,申请号:201811547592.3,申请日:2018-12-18。
- 杨巨峰,程明明,折栋宇,王恺,一种基于深度度量学习的图像情感分类与检索算法,申请号:201810173303.1, 申请日:2018-03-02。
- 刘姜江,程明明,侯淇彬,范登平,谭永强,一种基于深度网络的多类型任务通用的检测方法,申申请号:201810173285.7,申请日:2018-03-02。
- 杨巨峰,程明明,梁杰,王恺,基于三元组的自动估计类数的子空间聚类方法,申请号:201810170826.0,申请日:2018-03-01。
- 杨巨峰,程明明,孙延,梁杰,王恺,一种基于多视角多特征的图像印象性预测方法,申请号:201810171247.8,申请日:2018-03-01。
- 范登平,程明明,曹洋,吴宇寰,任博,一种基于二进制的前景图相似度评测方法,申请号:201810171102.8 申请日:2018-03-01。
- 杨巨峰,程明明,孙晓晓,王恺,一种基于迭代采样和一对多标签修正的Web图像训练卷积神经网络方法,申请号:201810171017.1,申请日:2018-03-01。
- 侯淇彬,程明明,白蔚,周迅溢,图像显著性物体检测方法和装置,申请号:201710488970.4,申请日:2017年6月26日。
- 程明明,刘笑畅,白蔚,苗磊,一种图片处理方法及设备,申请号:201710602208.4,申请日期:2017年7月24日。
- 程明明,刘云,侯淇彬,白蔚,图像分割方法及装置,申请号:201610850223.6,申请日:2016年9月28日。
- 胡事民,张方略,程明明,基于成组物体混合的图像合成方法,申请号:201110262737.7 申请日:2011-09-06。
- 胡事民,程明明,张国鑫,基于色彩直方图和全局对比度的图像视觉显著性计算方法,申请号:201110062520.1, 授权日:2012年7月25日。
- 胡事民,程明明,张方略,一种基于轮廓带图的相似单元检测方法,申请号:201010159931.8, 授权日: 2011年12月28日。
- 胡事民,程明明,张方略,基于几何信息的相似图元隐藏部分自动补全方法,申请号:201010158440.1,授权日: 2012年9月5日。
- 胡事民,程明明,张国鑫,一种基于共形能量的内容敏感图像缩放方法,申请号:200910092756.2,授权日2011年12月28日。
- 胡事民,陈韬,程明明,张松海,基于图像库的图像合成质量自动评测方法,申请号:200910086937.4,受权日2011年9月14日。
- 胡事民,陈韬,程明明,张松海,基于混合梯度场和混合边界条件的图像合成方法和装置,申请号:200910084769.5,授权日2011年5月11日。
- 胡事民,程明明,陈韬,张松海,一种基于草图的网络图元自动提取方法和系统,申请号:200910081069,授权日2010年9月1日。
- 胡事民,张一飞,程明明,视频像素可伸缩性的计算方法,申请号:200810114466.9,授权日:2009年12月9日。
- 胡事民,程明明,陈韬,张松海,基于卡通片的高质量线结构提取方法,申请号:200810106664,授权日2009年9月25日。
- 程明明,张少甫,李文博,周瑞,仇玲,一种节能的路灯亮度随需动态调节系统及控制方法,申请号:200810018101,授权日:2012年4月25日。
(Visited 264,640 times, 14 visits today)
程老师您好,请问Res2Net能用caffe实现吗?
程老师好,我刚入门RGBD显著性检测在看你的Contrast Prior and Fluid Pyamid Integration for RGBD Salient Object Detection。请问模型是在NJU2000和NLPR训练集上训出来,然后再用训好的模型去测其他的训练集吗?请问你有SSB1000数据集的Link吗?
你好,训练集设置为1400(NJU2k)+650(NLPR),与cvpr2018的工作相同(Progressively Complementarity-aware Fusion Network for RGB-D Salient Object Detection),在文中有4.1首段有写,请仔细阅读。公开数据集可以通过检索和向原作者邮件询问两种方式得到。
请问您在对RGBD135数据集做测试的时候深度图是如何处理的呢?我看到它的深度图全是黑的并且我取出它的数,里面的数值是成百上千的大小而不是0-255.我有对它做归一化(depth – depth.min)/(depth.max – depth.min)但是效果不理想
你好,测试需要保证测试数据集数据类型和训练集一致,比如远近物体值上的大小趋势,分布范围,你需要检查下它们是否都一致。另外我们组的工作大部分都有专门的主页,点标签栏的【科研】就可以查看,建议去对应的论文主页提问,这样作者们会收到邮件提示,谁有空可以及时回答。
程老师好,我在编译Cmcode的时候,出现LNK2001,无法解析的外部符号 main,请问是什么原因,怎么解决
你自己查查吧。应该是编译器设置问题,不是代码问题。
好的,谢谢老师,我再试试
陈老师,res2net在imagenet上面的预训练模型可否开源。
你好,老师 请问res2net源码什么时候开源?
应该还有不少时间。最近刚投稿PAMI,得等到录用之后才开源。
老师,普遍的多尺度是用多个不同大小的卷积核在同样的features map上进行特征提取。而res2net,是在多尺度前先将feature maps沿着channels的维度方向进行切分。我有一个疑惑,这像是对局部的特征进行多尺度。请问,这要如何理解?
特征表达经过 3×3卷积后等效感受野会变大。沿着Channel切分之后,构建残差链接的话,每个小组都有可能经过或者不经过3×3卷积,因此会组合出很多可能的等效感受野大小。
老师,您这有超像素分割的matlab源码么?
相关的两篇论文都有代码:FLIC: Fast Linear Iterative Clustering with Active Search, AAAI 2018 和 DEL: Deep Embedding Learning for Efficient Image Segmentation, IJCAI 2018。但是没有matlab版的。我们主页上的AAAI 2018论文是C++版的,你自己可以写一个matlab的mex调用。
谢谢老师
老师您好,我最近在研读您的Visual Sentiment Prediction based on Automatic Discovery of Affective Regions,请问是否可以分享这篇论文的代码
我看见前几天杨老师的主页上公布了这篇论文的代码
您好,我下载了杨老师公布的代码文件,可是为什么文件中带的数据集网盘下载链接中的都是空文件夹呢?
感谢提醒,代码及数据链接均已在github中进行了更新,有什么问题请随时与我联系。
Is Faster R-CNN Doing Well for Pedestrian Detection?请问这篇论文有没有Python版本的源码呢
程老师,您好。我想框出一副图像中例如建筑物、树等静态的对象,请问利用Bing合适吗?我需要做哪些修改才能检测出我想要的这些对象呢?
BING主要是处理物体的。你说的这些是stuff,不是things。论文中有相关讨论。
老师您好,我在做边缘检测方面的课题,我看到了您的这篇文章”Richer Convolutional Features for Edge Detection”,我想问下怎样使用BSDS500数据集去执行评测其他的算法,具体就是生成xx_bdry_txt和xx_thr_txt,请老师指点。
关于论文的代码,建议去具体的项目也去提问。负责这个项目实现的同学会回答。
好的,谢谢老师,不好意思。
老师您好,我在那篇文章底下提问不了啊,
谢谢提醒。貌似前几天wordpress自动升级后,有一个配置关闭了28天以上的帖子的留言。我已经重新开启了。
谢谢老师
老师,打扰您了,在文章下又提问不了了
谢谢提醒。wordpress自动更新又覆盖了我的设置。。。。已经改过来了。
多谢老师
程老师您好,请问【C++代码: “Curve Structure Extraction for Cartoon Images” [Pdf] [bib]】这篇文章中的VS和OpenCV分别为什么版本呢?万分感谢程老师!
问题已经解决啦,谢谢程老师!
您好,程老师,我想请问一下RCF边缘检测方法能输出多种类别吗?
RCF是传统的edge,多类别是semantic edge,可以参考:https://arxiv.org/abs/1804.02864
程老师,您好,semantic edge可开放源码了?
还在投稿中,上次投ACM multimedia,reviewer意见不错,但是被告知是vision的论文,不是multimedia的 :(。虽然call for paper里面有computer vision…
什么时候能开放源码?很期待,现在只能用下您论文里提到的casenet试下了。
程老师,您好!请问如果我做显著性检测的时候,显著性物体旁边总会有其他的物体干扰,所以我预测的会将旁边的物体也预测成显著物体。请问有什么好的办法解决吗?我用的是深度pytorch模型
想請問老師在Global Contrast based Salient Region Detection裡面顏色量化的過程,有點不瞭解,請問老師可以簡單地描述嗎?
简单的来说就是把颜色空间(一个三维的立方体)等分为很多小的立方体。然后统计每个小立方体内的颜色数。就得到了一个量化后的直方图。注意大部分小立方体对应的像素数为0,或者很小,因此可以忽略。
程老师你好,BING算法中xml2yml.m文件中的VOCreadxml函数是怎么定义的,是自己需要加载什么库吗?
这个算法本身不需要VOCreadxml 。这个是voc数据集里的用来读数据的matlab文件。
各位老师好,有幸能够进入这个主页进行学习,实在是受益良多,最近我在研究如何使用显著性特征检测交通标志,但是在网上搜到的资料不是对比的算法过少,就是语焉不详,想问一下各位老师,在您们测试这么多显著性算法里,能够在满足实时性以及准确度的前提下,使用哪种方法比较适合,谢谢
可以参考我们这个方法:https://mmcheng.net/dss 。在华为mate 10手机上都能跑到实时。
而且经过了严苛的工业级测试,2016年年底到现在的华为高端手机基本上都用的这个方法支撑智能拍照中的大光圈功能。
程老师您好,请问在DSS这篇论文的训练代码中,如何得到lst文件呢?如果是txt(txt文件内容里也是图像地址和图像名组成)文件可以吗?
如下:
a.jpg a_gt.png
b.jpg b_gt.png
好的,谢谢候老师,我去试一试看能否跑起来
您好, 请问Associating Inter-Image Salient Instances for Weakly Supervised Semantic Segmentation这篇文章中ours-VGG16所用的VGG16分割模型是否为DeepLabV2模型,还有,ResNet101分割模型是如何应用于语义分割呢?
您好,请问Associating Inter-Image Salient Instances for Weakly Supervised Semantic Segmentation这篇论文的代码有没有开源呢?
这篇论文依赖于另一篇S4Net的工作。很不幸S4Net投稿Multimedia 2018,被以属于cv领域,不属于multimedia领域而据稿。得等那篇paper录用之后,代码才能放出来。
好的 谢谢!
您好!请问Associating Inter-Image Salient Instances for Weakly Supervised Semantic Segmentation这篇论文的代码有没有开源呢?