精度96.63%、FPS 63，SOTA人像分割方案PP

PP- v2

人像分割方案详细解析

PP- v2人像分割方案提供了肖像分割、通用人像分割、全流程训练和部署的能力。

肖像分割模型

肖像分割是对半身人像的图片进行分割，主要适用于视频通话和会议等场景。由于广泛部署到Web、手机和边缘设备，肖像分割在兼顾分割精度的前提下，需要具有极快的推理速度。PP- v2发布了全新肖像分割模型，主要做了三点改进：设计新的模型结构、使用迁移学习预训练、调整输入图像尺寸。

我们选择近期发布的超轻量级系列语义分割模型作为基础，进行特定优化得到肖像分割模型，整体结构如图2所示。首先，考虑到模型的算量要求很高，我们使用作为骨干网络提取多层特征。分析发现的参数主要集中在最后一个Stage，在不影响分割精度的前提下，我们只保留的前四个Stage，顺利减少了68.6%的参数量。然后，对于16倍下采样特征图，我们使用SPPM模块汇集全局上下文信息。最后，我们使用三个模块不断融合深层语义特征和浅层细节特征。其中，最后一个模块再次汇集不同层次的特征图，输出分割结果。

图2 PP- v2肖像分割模型结构

对于肖像分割任务，数据过少是影响分割精度的重要因素。开源的PP--14K数据集，有14000张室内场景半身人像的图片，一定程度缓解了数据过少的问题。针对该问题，我们进一步使用迁移学习的方法来提高模型的分割精度和泛化能力。首先，我们在大规模的通用人像分割数据集上进行预训练，然后再针对PP--14K半身人像数据集进行微调。

大家通常会调整模型的深度和宽度来平衡分割精度和推理速度，而模型的输入尺寸也是一个需要重视的变量。手机和电脑端最常见的拍摄尺寸是，PP- v1肖像分割模型推荐将图片缩放为进行预测。为了追求极致的推理速度，PP- v2肖像分割模型的最佳输入尺寸进一步缩小为，将推理速度提升了52%（相比输入尺寸）。更小的输入尺寸，不可避免减少了输入信息量，但是得益于PP- v2模型具有更强的学习能力，最终也有不错的分割效果。

基于上述改进，PP- v2肖像分割模型对比PP- v1，推理速度（手机端）提升45.5%，mIoU精度提升3.03%，可视化效果更佳。此外，该模型支持手机拍摄的横屏和竖屏输入图像，针对室内场景可以开箱即用。

通用人像分割模型

针对通用人像分割任务，我们使用的SOTA模型在大规模数据集上训练，发布了两个型号的PP- v2通用人像分割模型。PP- v2-Lite通用人像分割模型，使用和肖像分割模型类似的结构，适合部署在手机端ARM CPU上。相比PP- v1-Lite模型，它的精度mIoU提升6.5%。PP- v2-通用人像分割模型，使用自研的PP-模型结构，适合部署在服务器端GPU上。相比PP- v1-模型，它的精度mIoU提升1.49%，推理速度提升5.7%。

由于通用人像分割任务的场景变化很大，大家需要根据实际场景评估PP-通用人像分割模型的精度。如果满足业务要求，大家可以直接使用。如果不满足业务要求，大家可以基于PP-通用人像分割模型进行进一步优化，可以达到事半功倍的效果。

全流程训练和部署

PP- v2人像分割方案不仅开源了更佳的模型，还提供了二次训练和部署的功能代码。使用提供的肖像分割和通用人像分割配置文件，大家只需要准备好数据即可训练。模型支持在不同硬件上进行应用部署，包括 GPU、X86 CPU、ARM CPU、浏览器Web。

此外，我们对模型预测结果使用形态学后处理操作，滤除背景干扰，保留人像主体。如下图所示，原始预测图像中每个像素数值表示前景的概率。首先使用阈值操作滤除概率较小的像素，然后使用腐蚀和膨胀操作消除细条，腐蚀操作的核尺寸小于膨胀操作，掩码图像作用在原始预测结果上，得到最终预测的结果。可见，通过形态学后处理，可以有效提升人像分割的可视化效果。

图 3 形态学后处理的分割图像

在线体验工具

贴心的团队还为大家准备了在线体验PP- v2人像分割能力的小工具，支持在线上传图片即可完成人像抠图，并下载效果图。

图4 PP- v2在线网站体验效果图

加入技术交流群

加入 PP- v2技术交流群，还有更多惊喜福利等你来拿喔！

入群福利

福利一：获取PP--14K半身人像数据集

福利二：获取详解本次升级内容的直播课链接

福利三：获取团队整理的重磅学习礼包，包括：

关注【飞桨】公众号