图像分割Fully Convolutional Instance-aware Semantic Segmenta

作者:神秘网友 发布时间:2020-09-13 23:55:10

图像分割Fully Convolutional Instance-aware Semantic Segmenta

图像分割“Fully Convolutional Instance-aware Semantic Segmentation”

论文链接:https://arxiv.org/pdf/1611.07709v1.pdf
代码:https://github.com/daijifeng001/TA-FCN
相关方法
FCN用于语义分割的流程,输入任意尺寸的图像,经过一系列的卷积层,输出每个像素所有语义类别的似然得分,如下图所示:
图像分割Fully Convolutional Instance-aware Semantic Segmenta

但FCN不是instance-aware的,instance-aware需要检测和分割目标。卷积是平移不变的,同一个像素的响应相同,与上下文位置无关。instance-aware的语义分割是在区域级上操作的,统一像素在不同的区域有不同的语义,如图2所示:
图像分割Fully Convolutional Instance-aware Semantic Segmenta

主流的instance-aware语义分割方法是用子网络解决问题,分三步:
1. FCN对整图操作,生成中间及共享特征图;
2. 共享特征图的RoI warp到固定尺寸的 per-ROI特征图;
3. 全连接层将per_ROI特征图转为per-ROI 掩码

以上方法存在的缺点:
1. RoI池化损失了空间细节信息
2. fc层对任务过参数化了
3. per-ROI网络计算在ROIs之间不共享,且速度慢,如MNC,花费了80%的时间在最后per-ROI上

参考文献[5]中提出instance mask proposal generation,是平移可变的,它使用k2个位置敏感的特征图对应k×k个目标的cell,每个得分代表像素在某位置时属于某目标的概率,集成k×k个cell的得分图得到最终的像素级前景图。方法存在一些缺点,如无语义信息,需要一个检测网络,检测分割任务分离,且方案不是端到端的,输入图像尺寸固定,且图像金字塔扫描耗时,如下图所示:
图像分割Fully Convolutional Instance-aware Semantic Segmenta

FCIS
基于[5],论文提出了FCIS,通常的实例级语义分割方法,如
SDS,Hypercolumn,MNC,CFM,MultiPathNet有一个共同的结构,即两个网络用于检测和分割子任务。两个网络的结构,参数,执行顺序随机。作者认为分离的网络没有真正挖掘到两个任务的联系。提出了下图的方法:
图像分割Fully Convolutional Instance-aware Semantic Segmenta

对于ROI的每个像素,执行两个任务:
1. 检测,判断该像素在某相对位置是否属于目标bbox
2. 分割,判断该像素是否在目标边界内
两个得分inside,outside,三种情况:
1. inside高,outside低,detection+,segmentation+
2. inside低,outside高,detection+,segmentation-
3. 都低,detection-,segmentation-

检测得分之后由整个ROI所有像素似然估计平均池化得到,前景掩码是每个像素分割得分的union。这种方法不包含特征warp,resize,特征及得分图与原始图像保持相同长宽比。

端到端的解决方案如下图所示:
图像分割Fully Convolutional Instance-aware Semantic Segmenta

使用ResNet模型,去除最后一层全连接层,仅训练卷积层,使用RPN生成ROIs,从conv5层,生成2k2×(C+1)个得分图,计算分割概率图和分类得分。

实验结果
与MNC在COCO上的比较:
图像分割Fully Convolutional Instance-aware Semantic Segmenta

图像分割Fully Convolutional Instance-aware Semantic Segmenta相关教程

  1. 《最优图像优化》文件尺寸和质量之间选择完美平衡适合摄影师使用
  2. 图像处理之基于直方图均衡化的图像增强
  3. 语义分割DeepLab v2--DeepLab Semantic Image Segmentation with
  4. opencv之图像拼接
  5. 图像处理100问(Question_01_10)
  6. 使用RANSAC算法基于几何模型分割图像
  7. TensorFlow 14——ch11-CycleGAN 与 非配对图像转换
  8. 你不能不知道的八种 Python 图像库的图片读取方法总结