学习报告：lrsar-k8凯发旗舰

lrsar-net语义分割模型用于新冠肺炎ct图片辅助诊断

      自2019年末新型冠状病毒(cvoid-19)疫情在全球爆发以来，世界各国都处于疫情的危害之下。新冠病毒通过入侵人体的呼吸系统，造成肺部感染，甚至死亡。ct(computed tomography)图是医生对肺炎患者进行诊断常规方法。为了提高医生对新冠感染者进行诊断的效率，本文提出一种基于低秩张量自注意力重构的语义分割网络lrsar-net。

1、lrsar-net模型结构

图1 lrsar-net网络结构图

       低秩张量自注意力重构语义分割模型lrsar-net如图1所示。网络主要包括3个部分：编码器、解码器和低秩自注意力重构模块。

1.1 编码器

       用于获取图像的特征信息。可提出5个不同层面的多尺度信息，低层的特征主要用来获取图像的细节特征和位置信息，高层的特征为抽象的语义特征信息。主干网络以带有残差结构的resnet50为例，并移除了全连接层进行图像信息编码。

1.2 解码器

       解码器用来聚集不同层次的特征信息。解码器可以将编码器提取到的特征与上采样特征图进行拼接，将不同层次的特征信息进行融合。

图2 解码层的上采样结构和通道注意力

       如图2（a）所示，特征图x1表示编码器特征，特征图 x2表示解码器的特征。特征图x2经过双线性插值上采样之后，与特征图x1从通道维度进行拼接。经过拼接的特征图输入到通道注意力模块(squeeze excitation block, se block)，最后得到特征图 y。通道注意力模块的详细结构如图2(b)所示，特征图x经过全局平均池化gap提取到通道权重信息z，z经过两个全连接层fc，将获取到的通道信息与特征图x相乘进行通道权重调整得到特征图y。

1.3低秩张量自注意力模块

       低秩张量自注意力模块包括3个部分：低秩张量生成子模块、低秩自注意力子模块和高秩张量重构子模块。如图所示：

图3 低秩张量生成子模块

图4 低秩自注意力子模块

图5 高秩张量重构子模块

2、实验分割结果

       如图6所示是lrsar-net在新冠肺炎数据集上的分割效果，第一行为原始图片，其他行依次为毛玻璃、病变、胸腔积液和背景的分割结果。从图中可以发现毛玻璃和病变的样本比较少，在网络训练过程中作者改变了交叉熵损失函数的权重，来解决类别不平衡的问题。在数据集中，毛玻璃和病变两个类型比较重要并且在图像中占比较小，所以作者提升了两种疾病的权重，降低了背景类的权重。4个类别毛玻璃、病变、胸腔积液和背景的权重比为1：1：0.5：0.2。网络可以很好的分割出这两种肺部疾病类型。胸腔积液和背景类占比较大，网络可以分割出清晰的轮廓和类别。

图6 实验分割结果

3、结论

       基于低秩张量自注意力重构的语义分割网络lrsar-net来对新冠肺炎患者的ct图像进行分割。其中，低秩张量自注意力重构模块用来获取长范围的语义信息，与经典的自注意力模块non-local相比，参数和时间复杂度降低了50%。为了更好的获取通道权重信息，网络在上采样过程中添加了通道注意力来增强网络的学习能力。实验结果证明，低秩张量自注意力重构模块lrsar block可以获得长范围的语义信息有助于新冠肺炎患病情况进行监测。

4、参考文献：

撰稿人：李丽

审稿人：潘家辉