Research

互联网图像驱动的语义分割自主学习

Qibin Hou

侯淇彬, 韩凌昊, 刘姜江, 程明明

给定从互联网获取的图像, 本方法首先采用注意力模型为每张图像生成与其检索词相关的注意力图. 然后, 采用噪声擦除模型学习注意力图内判别区域的语义信息从而消除显著性图中的噪声区域. 最后, 噪声擦除模型的输出将被作为用于训练语义分割模型的伪标注. 注: 本方法中显著性模型、注意力模型、噪声擦除模型以及分割模型为四个独立的部分, 每个模型中的所有参数在训练时皆参与反向传播

摘要

针对目标任务收集新类别的海量标注数据通常需要大量时间和人力成本, 并已成为语义分割技术投入实际产业应用过程的主要瓶颈. 本文旨在以 “网络监督” 的方式, 在仅利用用户提供的目标类别关键词以及相应自动搜索到的网络数据的条件下实现语义分割模型的自主学习. 该任务的核心挑战在于网络爬取的图像中存在一定量的类别噪声, 从而影响自主学习的可靠性. 为了解决类别噪声问题, 本文设计了一种新颖的噪声擦除模型. 该模型通过每次从小批次样本的置信注意力区域中以跨样本的方式学习语义信息来擦除训练图像中与搜索关键词无关的区域. 基于该模型, 本文同时提出了一种能够用于训练语义分割模型的高质量伪标注生成方法. 在国际主流的公开数据集(PASCAL VOC 2012) 上的大量实验表明, 基于该方法的语义分割模型在利用网络监督与弱监督的条件下均取得了良好结果 (mIoU = 62.0% 以及 66.1%).

论文

  1. 互联网图像驱动的语义分割自主学习, 侯淇彬, 韩凌昊, 刘姜江, 程明明*, 中国科学：信息科学. [pdf | bib | project]
(Visited 1,219 times, 2 visits today)
Subscribe
Notify of
guest

0 Comments
Inline Feedbacks
View all comments
@ARTICLE{21SC_WebSegE,
    author={侯淇彬 and 韩凌昊 and 刘姜江 and 程明明},
    journal={中国科学：信息科学}, 
    title={互联网图像驱动的语义分割自主学习}, 
    year={2021},
    volume={51},
    number={7},
    pages={1084-1099},
    doi={10.1360/SSI-2020-0146},
}

@ARTICLE{21SC_WebSeg,
    author={Qibin Hou and Linghao Han and Ming-Ming Cheng},
    journal={Sci Sin Inform}, 
    title={Autonomous Learning of Semantic Segmentation from Internet Images (in Chinese)}, 
    year={2021},
    volume={51},
    number={7},
    pages={1084-1099},
    doi={10.1360/SSI-2020-0146},
}