研究定位
语义分割只判断像素属于哪一类;实例分割还要区分同类的不同个体。因此模型既要找到对象,也要为每个对象生成独立 mask。

表示方法
RoI 内像素图:Mask R-CNN / PointRend
Mask R-CNN 在检测框的 RoI 特征上预测 mask,RoIAlign 避免粗糙量化造成空间错位。Mask Scoring R-CNN 估计 mask 质量;PointRend 优先细化边缘附近最不确定的点。
共享原型 + 实例系数:YOLACT / BlendMask
Mi = σ(∑kcikPk)
整张图共享 prototype masks,每个实例只预测组合系数,从而复用大量计算。速度快,但原型表达能力和边界质量之间需要权衡。
动态参数:CondInst / BoxInst
CondInst 为每个实例生成一组动态卷积参数,在共享 mask 特征上输出独立 mask。BoxInst 用框标注代替逐像素标注,通过投影与局部像素关系提供弱监督,降低标注成本但也减少直接监督。
位置或几何表达:SOLO / PolarMask / TensorMask
- SOLO:实例中心所在网格负责类别与 mask。
- PolarMask:从中心向多个方向回归边界射线长度。
- TensorMask:用结构化高维张量表达密集滑窗 mask。
- CenterMask:在 anchor-free 检测器上增加轻量 attention-guided mask 分支。
研究小结
不要先问“哪个 backbone 更强”,先问“一个实例被表示成什么”:RoI mask、共享原型组合、动态卷积、射线,还是结构化张量。表示方式会直接决定速度、边界质量与适用形状。
研究延伸
实例分割的研究主线是“实例如何被表示”。RoI mask、prototype 组合、动态卷积参数、中心点、极坐标和 dense tensor 其实是在不同位置存储实例身份与形状信息。
后续可以增加边界质量实验:薄物体、遮挡、透明区域、拥挤实例分别如何失败。除了 mask AP,还应观察边界 F-score、推理后处理和标注成本。