Ming-Ming Cheng
Ming-Ming Cheng is a professor at the College of Computer Science, Nankai University, leading the Media Computing Lab. He received his Ph.D. from Tsinghua University in 2012 and then worked with Prof. Philip Torr in Oxford for two years. His research interests include computer vision and computer graphics. He has published over 100 papers in leading journals and conferences, such as IEEE TPAMI, ACM TOG, IEEE CVPR, etc. Many of his algorithms have become quite popular in the community, receiving more than 40,000+ paper citations. He received several research awards, including the National Science Foundation for Distinguished Young Scholars of China, the ACM China Rising Star Award, the IBM Global SUR award, etc. He is a senior member of the IEEE and on the editorial boards of the IEEE TPAMI and IEEE TIP. [CV]
程明明,南开大学杰出教授,新一代人工智能发展战略研究院副院长。主持承担了国家杰出青年科学基金、优秀青年科学基金项目、科技部重大项目课题等。他的主要研究方向是人工智能、计算机视觉和计算机图形学,在SCI一区/CCF A类刊物上发表学术论文100余篇(含IEEE TPAMI论文38篇),h-index为93,论文谷歌引用5.4万余次,单篇最高引用5千余次,多次入选全球高被引科学家和中国高被引学者。技术成果被应用于华为、国家减灾中心等多个单位的旗舰产品。获得教育部自然科学一等奖2项、其他省部级科技奖2项。培养的3名博士生获得省部级优秀博士论文奖。现担任中国图象图形学学会副秘书长、天津市人工智能学会副理事长和顶级期刊IEEE TPAMI, IEEE TIP和《中国科学:信息科学》编委。[简历]
招收博士、硕士研究生,来信前请务必阅读:关于研究生招生
Research
I’m currently working on image scene analysis, editing, and retrieval. These works are mainly in the following aspects: (I) biologically motivated salient region detection and segmentation; (II) sketch-based image retrieval and composition; (III) interactive image analysis and manipulation; (IV) similar scene elements analysis for smart image manipulation. These works tried to recover parts of scene object-level information from images according to biological inspiration or with the help of simple user assistance in sketch form. Such scene object-level information includes one or more parts of the following aspects: the object of interest regions, object correspondence, region layering, symmetry, repetition, and 3D relations. Ideally, we expect automatic extraction of full 3D information, categories names, attributes, and object relations about the underlying image scene for intelligent image understanding, manipulation, organization, and retrieval. [Research galleries]
Selected Publications
My publications can be found here. See also: DBLP, Google, Scopus, arXiv, Publons. Here are some recent publications.
- Large-scale Unsupervised Semantic Segmentation, Shanghua Gao, Zhong-Yu Li, Ming-Hsuan Yang, Ming-Ming Cheng*, Junwei Han, Philip Torr, IEEE TPAMI, 45(6):7457-7476, 2023. [pdf | code | bib | 中译版]
- A Highly Efficient Model to Study the Semantics of Salient Object Detection, Ming-Ming Cheng*#, Shanghua Gao#, Ali Borji, Yong-Qiang Tan, Zheng Lin, Meng Wang, IEEE TPAMI, 2022. [pdf | bib | project | code | 中译版]
- Structure-measure: A New Way to Evaluate Foreground Maps, Ming-Ming Cheng*, Deng-Ping Fan, IJCV,129(9):2622-2638, 2021. [pdf | code | bib |project | 中译版]
- Res2Net: A New Multi-scale Backbone Architecture, Shanghua Gao#, Ming-Ming Cheng*#, Kai Zhao, Xin-Yu Zhang, Ming-Hsuan Yang, Philip Torr, IEEE TPAMI, 43(2):652-662, 2021. [pdf | code | project |PPT | bib | 中译版]
- Richer Convolutional Features for Edge Detection, Yun Liu, Ming-Ming Cheng*, Xiaowei Hu, Jia-Wang Bian, Le Zhang, Xiang Bai, Jinhui Tang, IEEE TPAMI, 41(8):1939-1946, 2019. [pdf|project|bib|code|中译版]
- Deeply supervised salient object detection with short connections, Qibin Hou, Ming-Ming Cheng*, Xiaowei Hu, Ali Borji, Zhuowen Tu, Philip Torr, IEEE TPAMI, 41(4):815-828, 2019. [pdf|project|bib|code]
- Structure-Preserving Neural Style Transfer, Ming-Ming Cheng*#, Xiao-Chang Liu#, Jie Wang, Shao-Ping Lu, Yu-Kun Lai, Paul L. Rosin, IEEE TIP, 29:909-920, 2020. [pdf | bib | project | code]
- Shifting More Attention to Video Salient Object Detection, Deng-Ping Fan, Wenguan Wang, Ming-Ming Cheng*, Jianbing Shen, IEEE CVPR (Oral & Best Paper Finalist), 2019. [pdf|bib|中译版|code|project]
- 互联网图像驱动的语义分割自主学习, 侯淇彬, 韩凌昊, 刘姜江, 程明明*, 中国科学:信息科学, 2021. [pdf | bib | project]
- 认知规律启发的物体分割评价标准及损失函数,范登平, 季葛鹏, 秦雪彬, 程明明*, 中国科学:信息科学, 2021. [ pdf | code | bib ]
My Colleagues
We are looking forward to having elegant students or researchers join us. Positions for Master’s, Ph.D., and post-doc are opening. If you are interested in our research and want to join us, please send your CV (maximum 2 pages) and grades to cmm_AT_nankai.edu.cn.
Research Collaborators (partial)
We are collaborating with leading scientists and researchers worldwide, with whom many highly influential pieces of research have been made possible. We encourage faculties and students to continue such collaborations by doing joint research and/or physically visiting these collaborators.
Major Honors & Awards
- 2023: 视觉媒体的层次化内容感知,教育部自然科学一等奖,赵耀,程明明,魏云超,侯淇彬,韦世奎
- 2020: 图像场景理解与内容敏感图像处理,吴文俊人工智能科学技术奖自然科学二等奖,程明明,侯淇彬,杨巨峰,范登平,刘云
- 2019: 弱监督条件下的图像语义分割研究,中国图象图形学学会科学技术奖一等奖,赵耀,程明明,魏云超
- 2019: 天津市中青年科技创新领军人才
- 2019: 天津市青年科技奖
- 2016年度国家“万人计划”青拔
- 2016: ACM中国新星奖
- 2015: 中科协青年人才托举计划
- 2013: 北京市优秀博士论文奖
- 2013: 可视媒体几何计算的理论与方法,教育部自然科学一等奖,胡事民、黄继武、艾海舟、陈韬、黄畅、程明明、来煜昆、毕宁、项世军
Ph.D. Students
Master Students
Alumni
Academic Service
- Associate Editor of IEEE Transactions on Pattern Analysis and Machine Intelligence (Oct. 2021 ~), IEEE Transactions on Image Processing (TIP) (Oct. 2018 ~ ), Machine Intelligence Research (Apr. 2021 ~), 《中国科学:信息科学》 (2022年12月~)
- Area Chair of IEEE CVPR 2019, 2021, 2023, ICCV 2019, NeurIPS 2022,
- SPC: AAAI 2020, 2022, 2024, IJCAI 2021
- General Chair of VALSE 2023.
- Program Chair of VALSE 2021, VALSE 2016
- Organizing Committee Chair of ICIG 2021
- Program Chair of Chinese Conference on Computer Vision (CCCV) 2017
- Organization Chair of Computational Visual Media (CVM) 2017.
- Program Chair: VALSE 2016
- 中国图象图形学学会副秘书长,2016.8~
- 天津市人工智能学会副理事长,2021.4~
Links
- Closely collaborated research Groups: CG Tsinghua @ Beijing, Torr Vision Group @ Oxford, VGG Group @ Oxford, MSRC I3D Group @ Cambridge,
- Cooperators: Shi-Min Hu, Philip Torr, Niloy J. Mitra, Shahram Izadi, Carsten Rother, Jamie Shotton, Pushmeet Kohli, Ping Tan, Ariel Shamir, Xiaolei Huang
- Useful Resources: Computer Graphics Resource, Computer Graphics, Computer Vision, CV Resource, CV Datasets, VALSE, Most cited papers in Computer Vision, The word clock, Submitting to PAMI, AceRankings, 手写字体, ImportantCitations, PDF2PPT, 知网毕设系统
- Recommend Journals from China: Computational Visual Media, Science China: Information Science, Machine Intelligence Research, Visual Intelligence.
程老师您好, 请教一个问题, 假设我想分割目标不在我的训练数据集中。采用显著性检测的方法,可以能够分割出这个目标么, 或者说 泛化性能怎么样
你的目标是显著性目标吗?显著性物体检测的泛化性还是非常不错的。
是障碍物, 但是不确定障碍物的类型。 所以我在想是否可以用显著性目标来检测
程老师您好,我有幸拜读了您实验室去年所发表的文章《Res2Net: A New Multi-scale Backbone Architecture》,对其应用在语义分割中所取得的结果令人印象深刻,请问您能否繁忙的工作之余,分享一下在实验所用的代码,十分感激!!!
相关代码早就在项目主页共享了:https://mmcheng.net/res2net
老师,再请教一下,我使用了自己的数据集送入RCF网络后,不能正确分类,输出的图片总是黑色的,请问下这个有什么好的解决办法吗?
程老师您好,我对VecRoad这篇文章印象非常深刻,文中算法的改进点很切中要害,目前我正在学习这个算法,对其中训练数据组织、Hourglass部分的时序结构还有较多不明白的地方,想请问您近期有计划发布该算法的代码么?
我们这边的代码都计划发布。做这个项目的学生疫情期间一直没来学校。估计得等下学期开学才能准备这部分工作了。
Respected Sir,
I am a graduate with information Technology from West Bengal, India. Currently, I am working as a research assistant at IIT Kharagpur. During my bachelor’s, I have developed a passion for visual computation by doing internships at premium institutes of our country. Presently my main aim is to gain a solid PhD in this realm. But I do not have any publication and my GPA is UK 2:2. Hence, I want to work in a project/research position under your supervision as a visiting student and get good publications before applying for PhD I am confident that this will cover all my limitations and will help me to build myself for PhD well.
Please let me know your email address so that I can share my CV with you. I am eagerly waiting to hear back from you. Thank you, Sir.
Best Regards,
Sruti Bhattacharjee
Thanks for your interest in our group. Due to limited resources, we are not taking international visiting students at the moment.
程老师您好,我有幸拜读了您实验室今年所发表的文章《Res2Net: A New Multi-scale Backbone Architecture》,希望能够在接下里的论文中引用这篇文章。但我自己在pytorch上尝试实现了模型“Res2NeXt-29, 8c×25w×4s”并使用cifar100数据集进行训练和测试,却并没能复现文章中所报告的结果。请问您能否繁忙的工作之余,分享一下实验所用的代码?谢谢!
在这个论文的项目主页有代码共享的链接,你可以直接下载。如果有进一步问题,请在相应项目主页提问。方便其他有相似问题的人员找到问题答案。
了解了,感谢您的回复。
程老师,您好! 我是中科院博士生–李凯,有幸听过您在自动化所的精彩报告。我个人对图像边缘检测的研究比较感兴趣,特别是您在2017年的工作(RCF). 但在处理数据集 multicue 的时候,有所困惑:该数据集左视角的最后一帧(第六帧)貌似并没有与之相应的 boundary ground truth. 若您能在百忙之中,有所回复,不胜感激。
我看了下,没有发现你说的情况呀。建议你再重新下载一下,这是HED (ICCV2015) 的数据链接:http://vcl.ucsd.edu/datasets/
首先感谢老师您的回复,另外,数据增强后的 multicue ,方便公布吗?
我有时间上传一下吧。就是旋转90度、180度、270度,再flip,用python opencv几行代码就能搞定
非常感谢刘老师您提供的帮助,同时也感谢贵团队在科研一线的贡献,并将其开源。
另外,我还有一个疑问:在 NYUD v2 数据集(已包含旋转90、180、270度 变换,和 flip 变换)上,再将 数据集 scaling 成三种尺度进行训练, 测试集上的评估指标并不能得到改善,不知为何?
其中, scaling 的三种尺度分别为原图的0.5倍、1倍、1.5倍。训练过程,类比 BSDS 500 数据集, 训练列表的排布为 原图的1倍、0.5倍、1.5倍;测试的时候,使用了贵团队提出的集成测试。
在NYUD上,我们没有用multi-scale training
是我个人尝试了一下多尺度输入进行训练,发现效果没有提升,有点困惑。
没事,多谢您给予的帮助。
刘老师,您好! 类比 BSDS500, 在对 multicue 的测试集进行评估的时候,是否也需要 ground truth 的 .mat 文件?如果需要,您方便的时候,可否 上传 一下 multicue 数据集对应的 .mat 文件 ?
按照您上述给的数据和数据增强方法(训练集可由80张扩成640张),以及您文章RCF中给出的超参数设置,得到的预测图效果也很好,但测试集上的评估指标出了点问题:ODS = 0.54 (multicue boundaries),ODS= 0.457 (multicue edges).
我个人猜测, 可能是这一环节出了问题:测试的时候,类比 BSDS500 的 ground truth 形式 , 我使用 matlab 将multicue 测试集中的 .png 文件的图片数据的格式由 int 8 转化成 logical, 然后 保存成 cell 形式的 .mat 文件。然后进行评估,便出现测试指标异常的现象。
转而向您求证一下:评估时, multicue 的测试集 ground truth 对应 的 .mat 文件问题。 由于我个人的研究要基于您在边缘检测领域(2017\2019)的杰出工作 RCF ,遇到了一些比较细致的问题,如有打扰,望您海涵。
评测不必要.mat,改下评测代码的输入,让它读取png即可;改成mat也可以,但我也不清楚为啥结果会不对,应该是等价的
多谢您的回复。如果数据增强和评估代码没问题的话,不知是否是数据的划分的问题:您的文章 RCF 使用的是 randomly split;我使用前80张图片作为训练集,后20张作为测试集。
那您方便的时候,可以公布一下修改后的评估代码吗?多谢啦
多谢您的回复,问题已解决。
不必,稍微改下评测代码的输入,让它读取png
如果只是改变一下数据的读取方式,直接使用后20张图片的 ground Truth 和 ground Truth 做评估测试,得到的测试指标也是很低,所以不太清楚您修改后的评估代码是否也会修改了 Dollar 大神 的 edgesEvalDir.m 文件的 其他内容?
老师您好,我是南开本校18级计科本科生,我对您的研究方向很有兴趣,非常希望能够进入您的课题组进行深入了解,请问现在您的课题组是否还有本科生名额?
可以来我办公室当面聊。我一般都在办公室。
老师请问是否还有保送研究生名额?
还有1个名额没有最终确定,不过不少候选人。如果觉得很有竞争力,可以发简历给我。谢谢。
老师已发送邮件
老师您好,请问您实验室有统考的名额吗
我们实验室倾向于招保研的,而且每年保研的报名多于招生名额很多倍,因此不招考研的。
程老师,您好,您是否招收2020年的博士生,非常感谢!
招。页面上已经说明
老师邮件已发送,没有回复?
近期太忙,还没来得及回复所有邮件
老师,您好,我读了您的一篇文章:Richer Convolutional Features for Edge Detection.我在用jupyter notebook测试时出现了问题:The kernel appears to have died. It will restart automatically.我用的是anaconda2 python2.7。实在没办法了,折腾了好久,希望老师能给予帮助!谢谢!
这个可能是Crop层的原因,deconv之后需要用crop将feature进行裁剪,您查一下crop层的用法,计算下您的参数
这个问题太笼统了,不太清楚原因。其实你可以把代码从jupyter notebook中拷出来,弄成.py,然后就可以用python的工具debug了。
老师,您好,我也在读您的这篇paper, 同时也在关注本领域的相关进展,发现在对NYUD数据集标准化时,针对HHA 和 RGB两类图像使用了不同的均值,前者使用【109.92, 88.24,127.42】,后者近似使用【104.01,116.67,122.68】。如果训练混合的两类图片,如何处理呢 ?期待您的回复,不胜感激。
因为HHA不是正常的自然图像,看起来很不一样,所以用了不同的均值。如果混合在一起训练的话,你得改一下代码,在caffe的data layer或者pytorch 的data loader里,对不同的图片用不同的均值;当然这个我是跟HED里学的,我没试过用相同的均值会怎么样,你可以试试影响大不大,影响小的话就无所谓了
老师您好,不知道您们团队有没有开展Image-To-Text的相关工作,谢谢回复!
没有。我们倒是做过这个问题的反问题,根据text等修改或者生成图片。见论文页面的Sketch2Photo 和 ImageSpirit
程老师,我是一名2020的推免生,昨天给您发了自荐信,不知您收到了没?迫切等待中
已回复
程老师您好,我想请教一下,不同random seed下模型会有不同的表现,有时候表现浮动两个点,这种是模型本身有问题还是属于可以接受的波动?在写论文的时候是汇报最好的还是均值呢?
2 个千分点还行,2个百分点浮动很大呀。感觉不是随机波动能解释的。你仔细查查还有没有别的原因。
好的,谢谢老师!
程老师,您好,我是2020级西电学生,具有推免资格,已报名西安外出面试,想推免到程老师这,需要提前给您发送简历吗
肯定需要呀
程老师,您好!
我尝试给你们主页下方的cmm@REMOVE.nankai.edu.cn邮箱发送邮件,一直被退回?请问我需要用什么邮箱发送才可以?
谢谢
没有看到REMOVE吗…
有点没明白…
有些在网站公开的邮箱都会设置一些trick防止爬虫直接爬取到邮箱地址,然后发送垃圾邮件,比如‘.’写成dot, ‘@’写成at或者at sign, 这里你把REMOVE.直接给remove掉就是原始邮箱了
谢谢,已经发送了。程老师,我16号给您发送了一封邮件,我是武汉理工大学软件专业的学生,想加入贵团队,已经报名了5月26号的武汉外出招生会,不知道您那边收到了邮件没有?
2019年5月20日 (周一) 20:55 已经给你回信了。
程老师好,我想请教下老师几个问题: 一、从数据本身考虑,视频的异常检测是否从属于数据挖掘中的“异常点”检测? 二、两者的算法是否共通? 三、您对视频异常检测是如何定义呢?
异常检测这个领域我涉及的不多。其中一个很重要的原因是目标很难定义。建议你和做异常检测的老师多沟通。
谢谢老师
程老师您好,想请问您现阶段做目标检测的话,从哪些角度出发可能找到落脚点或突破点。
程老师您好,我想想你询问一些关于论文中对比不同网络结构时训练所需要的训练集是否一致的问题?
因为一直在看您组的相关论文。不免有一些疑惑:就是论文中对比试验中不同的网络训练的时候所需要的数据集是否是一致的?换而言之是否需要全部重新训练所要对比的网络呢?
我想你指的是显著性物体问题。这方面早期的方法很多不需要训练,因而早期数据集也没有明确的分Train,Val,Test三部分。所以不同方法比较的时候用的划分不一致。如果希望公平比较,最好保持这些一致(选择跟近期方法一样的setting)。但是由于不总是能拿到所有方法的代码。有时候也很难完全一致,这时候论文里写清楚就行。
谢谢老师指点