Ming-Ming Cheng

Ming-Ming Cheng is a professor at the College of Computer ScienceNankai University, leading the Media Computing Lab. He received his Ph.D. from Tsinghua University in 2012 and then worked with Prof. Philip Torr in Oxford for two years. His research interests include computer vision and computer graphics. He has published over 100 papers in leading journals and conferences, such as IEEE TPAMI, ACM TOG, IEEE CVPR, etc. Many of his algorithms have become quite popular in the community, receiving more than 40,000+ paper citations. He received several research awards, including the National Science Foundation for Distinguished Young Scholars of China, the ACM China Rising Star Award, the IBM Global SUR award, etc. He is a senior member of the IEEE and on the editorial boards of the IEEE TPAMI and IEEE TIP. [CV]

程明明,南开大学杰出教授,新一代人工智能发展战略研究院副院长。主持承担了国家杰出青年科学基金、优秀青年科学基金项目、科技部重大项目课题等。他的主要研究方向是人工智能、计算机视觉和计算机图形学,在SCI一区/CCF A类刊物上发表学术论文100余篇(含IEEE TPAMI论文38篇),h-index为97,论文谷歌引用5.7万余次,单篇最高引用5千余次,多次入选全球高被引科学家中国高被引学者。技术成果被应用于华为、国家减灾中心等多个单位的旗舰产品。获得教育部自然科学一等奖2项、其他省部级科技奖2项。培养的3名博士生获得省部级优秀博士论文奖。现担任中国图象图形学学会副秘书长、天津市人工智能学会副理事长和顶级期刊IEEE TPAMI, IEEE TIP和《中国科学:信息科学》编委。[简历]

招收博士、硕士研究生,来信前请务必阅读关于研究生招生

Research

I’m currently working on image scene analysis, editing, and retrieval. These works are mainly in the following aspects: (I) biologically motivated salient region detection and segmentation; (II) sketch-based image retrieval and composition; (III) interactive image analysis and manipulation; (IV) similar scene elements analysis for smart image manipulation. These works tried to recover parts of scene object-level information from images according to biological inspiration or with the help of simple user assistance in sketch form. Such scene object-level information includes one or more parts of the following aspects: the object of interest regions, object correspondence, region layering, symmetry, repetition, and 3D relations. Ideally, we expect automatic extraction of full 3D information, category names, attributes, and object relations about the underlying image scene for intelligent image understanding, manipulation, organization, and retrieval. [Research galleries]

Selected Publications

My publications can be found here. See also: DBLPGoogleScopus, arXivPublons. Here are some recent publications.

  1. Large-scale Unsupervised Semantic Segmentation, Shanghua Gao, Zhong-Yu Li, Ming-Hsuan Yang, Ming-Ming Cheng*, Junwei Han, Philip Torr, IEEE TPAMI, 45(6):7457-7476, 2023. [pdf | code | bib | 中译版]
  2. A Highly Efficient Model to Study the Semantics of Salient Object Detection, Ming-Ming Cheng*#, Shanghua Gao#, Ali Borji, Yong-Qiang Tan, Zheng Lin, Meng Wang, IEEE TPAMI, 2022. [pdf | bib | project | code | 中译版]
  3. Structure-measure: A New Way to Evaluate Foreground Maps, Ming-Ming Cheng*, Deng-Ping Fan, IJCV,129(9):2622-2638, 2021. [pdf | code | bib |project中译版]
  4. Res2Net: A New Multi-scale Backbone Architecture, Shanghua Gao#, Ming-Ming Cheng*#, Kai Zhao, Xin-Yu Zhang, Ming-Hsuan Yang, Philip Torr, IEEE TPAMI, 43(2):652-662, 2021. [pdf | code | project |PPT | bib  | 中译版]
  5. Richer Convolutional Features for Edge Detection, Yun Liu, Ming-Ming Cheng*, Xiaowei Hu, Jia-Wang Bian, Le Zhang, Xiang Bai, Jinhui Tang, IEEE TPAMI, 41(8):1939-1946, 2019. [pdf|project|bib|code|中译版]
  6. Deeply supervised salient object detection with short connections, Qibin Hou, Ming-Ming Cheng*, Xiaowei Hu, Ali Borji, Zhuowen Tu, Philip Torr, IEEE TPAMI, 41(4):815-828, 2019.  [pdf|project|bib|code]
  7. Structure-Preserving Neural Style Transfer, Ming-Ming Cheng*#, Xiao-Chang Liu#, Jie Wang, Shao-Ping Lu, Yu-Kun Lai, Paul L. Rosin, IEEE TIP, 29:909-920, 2020. [pdf | bibproject | code]
  8. Shifting More Attention to Video Salient Object Detection, Deng-Ping Fan, Wenguan Wang, Ming-Ming Cheng*, Jianbing Shen, IEEE CVPR (Oral & Best Paper Finalist), 2019. [pdf|bib|中译版|code|project]
  9. 互联网图像驱动的语义分割自主学习, 侯淇彬, 韩凌昊, 刘姜江, 程明明*, 中国科学:信息科学, 2021. [pdf | bib | project]
  10. 认知规律启发的物体分割评价标准及损失函数,范登平, 季葛鹏, 秦雪彬, 程明明*, 中国科学:信息科学, 2021. [ pdf | code | bib ]

My Colleagues

Ju-Feng Yang
Professor
国家级四青人才
Chongyi Li
Professor
国家级四青人才
Deng-Ping Fan
Professor
国家级四青人才
Bo Ren
Assoc. Prof.
南开百青
Qibin Hou
Assoc. Prof.
南开百青
Xialei Liu
Assoc. Prof.
南开百青
Yaxing Wang
Assoc. Prof.
南开百青
Li Xiang
Assoc. Prof.
南开百青
Chun-Le Guo
Assoc. Prof.
南开百青

We are looking forward to having elegant students or researchers join us. Positions for Master’s, Ph.D., and post-doc are opening. If you are interested in our research and want to join us, please send your CV (maximum 2 pages) and grades to cmm_AT_nankai.edu.cn.

Research Collaborators (partial)

We are collaborating with leading scientists and researchers worldwide, with whom many highly influential pieces of research have been made possible. We encourage faculties and students to continue such collaborations by doing joint research and/or physically visiting these collaborators.

Shi-Min Hu
Tsinghua
中国科学院院士
Philip Torr
Oxford Univ.
Fellow of the Royal Society
Shui-Cheng Yan
NUS
IEEE/IAPR Fellow
Zhuo-Wen Tu
UCSD
Marr Prize winner
Ming-Hsuan Yang
UC Merced
IEEE Fellow
Paul Rosin
Cardiff Univ.
IAPR Fellow
Niloy Mitra
UCL
SIGGRAPH Award Winner

Major Honors & Awards

  • 2023: 视觉媒体的层次化内容感知,教育部自然科学一等奖,赵耀,程明明,魏云超,侯淇彬,韦世奎
  • 2020: 图像场景理解与内容敏感图像处理,吴文俊人工智能科学技术奖自然科学二等奖,程明明,侯淇彬,杨巨峰,范登平,刘云
  • 2019: 弱监督条件下的图像语义分割研究,中国图象图形学学会科学技术奖一等奖,赵耀,程明明,魏云超
  • 2019: 天津市中青年科技创新领军人才
  • 2019: 天津市青年科技奖
  • 2016年度国家“万人计划”青拔
  • 2016: ACM中国新星奖
  • 2015: 中科协青年人才托举计划
  • 2013: 北京市优秀博士论文奖
  • 2013: 可视媒体几何计算的理论与方法,教育部自然科学一等奖,胡事民、黄继武、艾海舟、陈韬、黄畅、程明明、来煜昆、毕宁、项世军

Ph.D. Students

Master Students

Alumni

Deng-Ping Fan
Prof. @ Nankai
国家级四青人才
Ph.D. 2015–2019
Qibin Hou
Assoc. Prof @ Nankai
中科协青托
Ph.D. 2016–2019
Yun Liu
Researcher@ASTAR
Ph.D. 2016–2020
Shanghua Gao
Postdoc @ Harvard
Ph.D. 2018-2023
Yu-Huan Wu
Researcher @ ASTAR
Ph.D. 2018-2022
Jie Mei
Post-doc @ HNU
博新计划A档
Ph.D. 2019-2022
Jiang-Jiang Liu
Baidu
Ph.D. 2017-2022
Peng-Tao Jiang
OPPO
Ph.D. 2017-2022
Kai Zhao
Post-doc@UCLA
Ph.D. 2017-2020
Gang Xu
PostDoc @ CityU HK
Ph.D. 2018-2023
Zheng Lin
PostDoc @ THU
Ph.D. 2018-2023
Jia-Xing Zhao
阿里星 @ Alibaba
M.Sc. 2017–2020
Jia-Wang Bian
Post-doc @ Oxford
B.Sc. 2012–2016
Shi-Jie Li
Ph.D. @ Bonn
M.Sc. 2016–2019
Yu-Chao Gu
Ph.D. @ NUS
M.Sc. 2019–2022
Zhao Zhang
SenseTime
M.Sc. 2019–2022
Qi Han
Megvii
M.Sc. 2018–2021
Chang-Bin Zhang
Ph.D. @ HKU
M.Sc. 2018–2021
Xiao-Wei Hu
ByteDance
M.Sc. 2016–2019
Jingyi Xu
Ph.D. @ Stony Brook
B.Sc. 2015–2019
Lin-Zhuo Chen
RA @ Zhejiang U.
M.Sc. 2018–2021
Rong Wang
中电科54所
M.Sc. 2016–2019
Yang Cao
Ph.D. @ HKUST
M.Sc. 2017–2020

Academic Service

(Visited 254,608 times, 9 visits today)
Subscribe
Notify of
guest

139 Comments
Inline Feedbacks
View all comments
huang

程老师您好, 请教一个问题, 假设我想分割目标不在我的训练数据集中。采用显著性检测的方法,可以能够分割出这个目标么, 或者说 泛化性能怎么样

huang

是障碍物, 但是不确定障碍物的类型。 所以我在想是否可以用显著性目标来检测

王成超

程老师您好,我有幸拜读了您实验室去年所发表的文章《Res2Net: A New Multi-scale Backbone Architecture》,对其应用在语义分割中所取得的结果令人印象深刻,请问您能否繁忙的工作之余,分享一下在实验所用的代码,十分感激!!!

王成超

老师,再请教一下,我使用了自己的数据集送入RCF网络后,不能正确分类,输出的图片总是黑色的,请问下这个有什么好的解决办法吗?

dec

程老师您好,我对VecRoad这篇文章印象非常深刻,文中算法的改进点很切中要害,目前我正在学习这个算法,对其中训练数据组织、Hourglass部分的时序结构还有较多不明白的地方,想请问您近期有计划发布该算法的代码么?

Sruti Bhattacharjee

Respected Sir,

I am a graduate with information Technology from West Bengal, India. Currently, I am working as a research assistant at IIT Kharagpur. During my bachelor’s, I have developed a passion for visual computation by doing internships at premium institutes of our country. Presently my main aim is to gain a solid PhD in this realm. But I do not have any publication and my GPA is UK 2:2. Hence, I want to work in a project/research position under your supervision as a visiting student and get good publications before applying for PhD I am confident that this will cover all my limitations and will help me to build myself for PhD well.

Please let me know your email address so that I can share my CV with you. I am eagerly waiting to hear back from you. Thank you, Sir.
Best Regards,
Sruti Bhattacharjee

Shaowu Xu

程老师您好,我有幸拜读了您实验室今年所发表的文章《Res2Net: A New Multi-scale Backbone Architecture》,希望能够在接下里的论文中引用这篇文章。但我自己在pytorch上尝试实现了模型“Res2NeXt-29, 8c×25w×4s”并使用cifar100数据集进行训练和测试,却并没能复现文章中所报告的结果。请问您能否繁忙的工作之余,分享一下实验所用的代码?谢谢!

Shaowu Xu

了解了,感谢您的回复。

kai

程老师,您好! 我是中科院博士生–李凯,有幸听过您在自动化所的精彩报告。我个人对图像边缘检测的研究比较感兴趣,特别是您在2017年的工作(RCF). 但在处理数据集 multicue 的时候,有所困惑:该数据集左视角的最后一帧(第六帧)貌似并没有与之相应的 boundary ground truth. 若您能在百忙之中,有所回复,不胜感激。

Yun Liu

我看了下,没有发现你说的情况呀。建议你再重新下载一下,这是HED (ICCV2015) 的数据链接:http://vcl.ucsd.edu/datasets/

kai

首先感谢老师您的回复,另外,数据增强后的 multicue ,方便公布吗?

Yun Liu

我有时间上传一下吧。就是旋转90度、180度、270度,再flip,用python opencv几行代码就能搞定

kai

非常感谢刘老师您提供的帮助,同时也感谢贵团队在科研一线的贡献,并将其开源。
另外,我还有一个疑问:在 NYUD v2 数据集(已包含旋转90、180、270度 变换,和 flip 变换)上,再将 数据集 scaling 成三种尺度进行训练, 测试集上的评估指标并不能得到改善,不知为何?
其中, scaling 的三种尺度分别为原图的0.5倍、1倍、1.5倍。训练过程,类比 BSDS 500 数据集, 训练列表的排布为 原图的1倍、0.5倍、1.5倍;测试的时候,使用了贵团队提出的集成测试。

Yun Liu

在NYUD上,我们没有用multi-scale training

kai

是我个人尝试了一下多尺度输入进行训练,发现效果没有提升,有点困惑。

kai

没事,多谢您给予的帮助。

kai

刘老师,您好! 类比 BSDS500, 在对 multicue 的测试集进行评估的时候,是否也需要 ground truth 的 .mat 文件?如果需要,您方便的时候,可否 上传 一下 multicue 数据集对应的 .mat 文件 ?

kai

按照您上述给的数据和数据增强方法(训练集可由80张扩成640张),以及您文章RCF中给出的超参数设置,得到的预测图效果也很好,但测试集上的评估指标出了点问题:ODS = 0.54 (multicue boundaries),ODS= 0.457 (multicue edges).
我个人猜测, 可能是这一环节出了问题:测试的时候,类比 BSDS500 的 ground truth 形式 , 我使用 matlab 将multicue 测试集中的 .png 文件的图片数据的格式由 int 8 转化成 logical, 然后 保存成 cell 形式的 .mat 文件。然后进行评估,便出现测试指标异常的现象。
转而向您求证一下:评估时, multicue 的测试集 ground truth 对应 的 .mat 文件问题。 由于我个人的研究要基于您在边缘检测领域(2017\2019)的杰出工作 RCF ,遇到了一些比较细致的问题,如有打扰,望您海涵。

Yun Liu

评测不必要.mat,改下评测代码的输入,让它读取png即可;改成mat也可以,但我也不清楚为啥结果会不对,应该是等价的

kai

多谢您的回复。如果数据增强和评估代码没问题的话,不知是否是数据的划分的问题:您的文章 RCF 使用的是 randomly split;我使用前80张图片作为训练集,后20张作为测试集。

kai

那您方便的时候,可以公布一下修改后的评估代码吗?多谢啦

kai

多谢您的回复,问题已解决。

Yun Liu

不必,稍微改下评测代码的输入,让它读取png

kai

如果只是改变一下数据的读取方式,直接使用后20张图片的 ground Truth 和 ground Truth 做评估测试,得到的测试指标也是很低,所以不太清楚您修改后的评估代码是否也会修改了 Dollar 大神 的 edgesEvalDir.m 文件的 其他内容?

Nebula

老师您好,我是南开本校18级计科本科生,我对您的研究方向很有兴趣,非常希望能够进入您的课题组进行深入了解,请问现在您的课题组是否还有本科生名额?

tanglj

老师请问是否还有保送研究生名额?

tanglj

老师已发送邮件

ziqi

老师您好,请问您实验室有统考的名额吗

Tmx

程老师,您好,您是否招收2020年的博士生,非常感谢!

tanglj

老师邮件已发送,没有回复?

谢晓菲

老师,您好,我读了您的一篇文章:Richer Convolutional Features for Edge Detection.我在用jupyter notebook测试时出现了问题:The kernel appears to have died. It will restart automatically.我用的是anaconda2 python2.7。实在没办法了,折腾了好久,希望老师能给予帮助!谢谢!

Yun Liu

这个可能是Crop层的原因,deconv之后需要用crop将feature进行裁剪,您查一下crop层的用法,计算下您的参数

Yun Liu

这个问题太笼统了,不太清楚原因。其实你可以把代码从jupyter notebook中拷出来,弄成.py,然后就可以用python的工具debug了。

kai

老师,您好,我也在读您的这篇paper, 同时也在关注本领域的相关进展,发现在对NYUD数据集标准化时,针对HHA 和 RGB两类图像使用了不同的均值,前者使用【109.92, 88.24,127.42】,后者近似使用【104.01,116.67,122.68】。如果训练混合的两类图片,如何处理呢 ?期待您的回复,不胜感激。

Yun Liu

因为HHA不是正常的自然图像,看起来很不一样,所以用了不同的均值。如果混合在一起训练的话,你得改一下代码,在caffe的data layer或者pytorch 的data loader里,对不同的图片用不同的均值;当然这个我是跟HED里学的,我没试过用相同的均值会怎么样,你可以试试影响大不大,影响小的话就无所谓了

huaxia

老师您好,不知道您们团队有没有开展Image-To-Text的相关工作,谢谢回复!

王纬奇

程老师,我是一名2020的推免生,昨天给您发了自荐信,不知您收到了没?迫切等待中

han tm

程老师您好,我想请教一下,不同random seed下模型会有不同的表现,有时候表现浮动两个点,这种是模型本身有问题还是属于可以接受的波动?在写论文的时候是汇报最好的还是均值呢?

han tm

好的,谢谢老师!

邹特强

程老师,您好,我是2020级西电学生,具有推免资格,已报名西安外出面试,想推免到程老师这,需要提前给您发送简历吗

刘知安

程老师,您好!

我尝试给你们主页下方的cmm@REMOVE.nankai.edu.cn邮箱发送邮件,一直被退回?请问我需要用什么邮箱发送才可以?

谢谢

xyp

没有看到REMOVE吗…

刘知安

有点没明白…

Zhenhao

有些在网站公开的邮箱都会设置一些trick防止爬虫直接爬取到邮箱地址,然后发送垃圾邮件,比如‘.’写成dot, ‘@’写成at或者at sign, 这里你把REMOVE.直接给remove掉就是原始邮箱了

刘知安

谢谢,已经发送了。程老师,我16号给您发送了一封邮件,我是武汉理工大学软件专业的学生,想加入贵团队,已经报名了5月26号的武汉外出招生会,不知道您那边收到了邮件没有?

huiyu Mu

程老师好,我想请教下老师几个问题: 一、从数据本身考虑,视频的异常检测是否从属于数据挖掘中的“异常点”检测? 二、两者的算法是否共通? 三、您对视频异常检测是如何定义呢?

huiyu Mu

谢谢老师

99zhli

程老师您好,想请问您现阶段做目标检测的话,从哪些角度出发可能找到落脚点或突破点。

panzefeng

程老师您好,我想想你询问一些关于论文中对比不同网络结构时训练所需要的训练集是否一致的问题?
因为一直在看您组的相关论文。不免有一些疑惑:就是论文中对比试验中不同的网络训练的时候所需要的数据集是否是一致的?换而言之是否需要全部重新训练所要对比的网络呢?

panzefeng

谢谢老师指点