论文阅读理解 - Panoptic Segmentation 全景分割

摘要

• 新的任务场景 —— 全景分割 Panoptic Segmentation:

  统一了实例分割(Instance Segmentation) 和语义分割(Semantic Segmentation).

  实例分割 - 检测每个 object instance，并进行分割；

  语义分割 - 对每个像素分类.

• 新的评价指标 —— panoptic quality(PQ) measure

• basic 算法 —— 结合实例分割和语义分割的全景分割方法，输出全景结果.

新的研究方向.

• CV 以往主要关注于 things - 可数的 objects (countable obects)，如 people, animals, tools 等.

  而对于 stuff - 相同或相似纹理或材料的不规则区域，如 grass，sky，road 等的关注较少.

• 关于 Stuff 的研究主要是以语义分割的进行，如 Figure 1b. 其目的是，通过对图片中每一个像素分类，来确定不规则、无组织、不可数的 stuff；语义分割方法是将 thing categories 作为 stuff.

• 关于 Things 的研究可以作为目标检测或实例分割进行，如Figure 1c. 其目的是，通过检测每个 object，并以 bounding box 或 segmentation mask 的方式描述.

• 问题：

  Can there be a reconciliation between stuff and things?

  Is there a simple problem formulation that gracefully encompasses both tasks?

  And what would a unified visual recognition system look like?

• 新的任务场景 - 全景分割 Panoptic Segmentation(PS)

  全景(panoptic) - 对视野内所有物体进行描述”including everything visible in one view”

  全景分割 - 图片内的每个像素都必须分配 semantic label 和 instance id. 如 Figure 1d.

  相同 label 和相同 id 的像素属于相同 object；忽略 stuff labels 的 instance id.
  
  Figure1. (a) 给定图片；(b)语义分割 groundtruth，逐像素的 class labels；(c)实例分割 groundtruth，逐 object 的 mask 和 class label；(d) 全景分割 groundtruth，逐像素的 class labels 和 instance labels. PS 将语义分割和实例分割泛化，对图片中的每一个可见 object 和 region 进行辨别与描述.

全景分割与实例分割，语义分割的不同：

• 对比语义分割，全景分割需要区分不同的 object instances；对于 FCN-based 方法具有挑战性.
• 对比实例分割，全景分割必须是非重叠的(non-overlapping)；对于 region-based 方法具有挑战性.
• 全景分割需要同时识别 stuff 和 things.

全景分割度量评价.

全景分割的尝试研究，结合语义分割和实例分割两种独立的研究，采用一系列的后处理方法，将二者的结果进行合并(本质上是，NMS 的复杂形式). 给出初步的全景分割 baseline.

1. 全景分割

1.1 PS 定义

给定 L L 个语义 Categotries 的集合： L:={1,...,L} $\mathcal{L}:=\{1,...,L\}$，

全景分割算法的目标是：将图片的每一个像素 i i 映射到一个 pair (li,zi)∈L×N $(l_i,z_i)\in \mathcal{L}\times N$.

其中， li l i - 像素 i i 的语义 class； zi $z_i$ - 像素 i i 的 instance id.

全景分割算法的输出是以 instances 为基本单元，而不是像素，并用于后续的分割结果度量评价.

图片的 groundtruth 标注也采用相同方式处理.

1.2 Stuff 和 Thing Labels

语义 label 集包括两个子集： LSt ${\mathcal{L}}^{St}$ 和 LTh L T h ，且 L=LSt∪LTh L = L S t ∪ L T h ， LSt∩LTh=⊘ L S t