Light|基于深度学习的虚拟染色、分割和分类在无标记光声组织学中的应用

在病理诊断中，组织学图像突出显示切除样本的肿瘤学特征，但它们需要费时且成本高的染色程序。

Python怎么学啊

1113人浏览 · 2024-10-31 14:17:06

Python怎么学啊 · 2024-10-31 14:17:06 发布

****
********|****摘要

在病理诊断中，组织学图像突出显示切除样本的肿瘤学特征，但它们需要费时且成本高的染色程序。尽管最近在无标记显微镜领域的创新简化了复杂的染色程序，但在临床环境中仍然存在技术限制和组织学视图不足的问题。

**在此，作者展示了一种用于在人体样本的无标记光声组织学（PAH）中进行自动虚拟染色、分割和分类的互联深度学习（DL）框架。**该框架包含三个组件：(1) 用于虚拟H&E（VHE）染色的可解释对比无配对翻译（E-CUT）方法，(2) 用于特征分割的U-net架构，以及(3) 用于分类的基于深度学习的逐步特征融合方法（StepFF）。该框架在应用于人体肝癌的过程中，在每个步骤中都展示了有前景的表现。

在虚拟染色方面，E-CUT保留了细胞核和细胞质的形态特征，使VHE图像与真实的H&E图像高度相似。在分割方面，VHE图像中成功分割了多种特征（例如，细胞面积、细胞数量和细胞核之间的距离）。最后，通过使用来自PAH、VHE和分割图像的深度特征向量，StepFF达到了98.00%的分类准确率，相比之下，传统PAH分类的准确率为94.80%。特别是，根据三位病理学家的评估，StepFF的分类达到了100%的敏感度，证明了其在实际临床环境中的适用性。这一系列用于无标记PAH的深度学习方法作为数字病理学的实际临床策略具有巨大潜力。

******|******前世今生

**组织病理学，即对样本的显微成像，是在最佳手术管理中诊断信息的主要来源。**组织病理学和生命科学研究使用色彩染料或荧光标记来进行组织化学染色，以可视化组织和细胞结构。特别是，苏木精和伊红（H&E）染色是组织病理学中微观组织检查的金标准。然而，传统的用于染色的玻片制备既费力又容易出错，这带来了一个难题。随着需要病理检查的项目数量增加，必须生产更多的玻片用于染色，但是样本量不足可能会导致不适当的诊断。

**最近，许多光学显微技术被用来解决样本制备和染色质量的问题。例如，光片显微镜快速成像大样本，具有内在的光学切片功能，但它通常涉及到额外的化学程序如光学澄清和荧光染色。**作为无标记成像方式，明场显微镜（BF）、光学相干断层扫描（OCT）和自体荧光显微镜（AF）提供了简化样本制备而无需染色的组织病理学图像。然而，这些方法在识别特定生物分子方面不如H&E染色有效，并且难以提供足够的临床信息。拉曼显微镜和光谱OCT通过光谱分析解析未标记的生化成分，但信号灵敏度相对较弱。另一方面，提出了新的无标记成像方法，可以通过针对特定激发波长来获取选择性图像。深紫外显微镜（DUV）、光声显微镜（PAM）、光声遥感（PARS）使用内源性对比来可视化单个色素。在这些方式中，PAM是一种有希望的高灵敏度成像技术，基于光学吸收选择性地突出生物分子。特别是，DNA/RNA高度吸收紫外线，使得UV-PAM可以在不染色的情况下可视化细胞核，因此该技术被强烈探索作为一种无标记组织学工具（即光声组织学（PAH））。然而，在临床应用中，无标记PAH技术仍难以提供与熟悉的H&E染色全景扫描图像（WSIs）相当的颜色编码高分辨率组织病理学图像。为了解决这一挑战，无标记图像需要被转化为包含足够信息用于临床诊断的可解释图像。

**深度学习（DL）图像处理的发展，包括虚拟染色和组织病理图像分析（HIA），极大地扩展了无标记图像的临床应用。**首先，虚拟染色允许从无标记显微镜获得的图像模仿各种组织化学染色风格揭示的形态特征。然而，传统的DL方法使用了需要图像对的监督学习算法，这在数据预处理期间涉及到一个困难的图像配准过程。作为替代，研究人员采用了诸如周期一致性生成对抗网络（CycleGAN）之类的无监督图像转换方法，即使在未配对的数据集情况下也足以进行网络训练。通过结合CycleGAN，无标记显微镜可以生成虚拟染色的组织病理图像。然而，当一个域中的图像比另一个域中的图像包含更多信息时，CycleGAN中的周期一致性可能导致较差的重建，并且使用两个生成器和两个鉴别器是耗费内存和时间的。Pérez等人提出了使用对比无配对翻译（CUT）通过最大化生成图像和输入图像之间的互信息来进行虚拟染色。CUT模型使用基于补丁的对比学习以实现更好的虚拟染色质量和比CycleGAN更轻更快。然而，对于安全关键的医疗数据分析的应用，黑箱问题，即通过深度学习得出结论的过程未知，需要进一步研究。其次，基于DL的HIA，另一种基于DL的图像处理方法，是组织病理图像诊断早期阶段的关键步骤。基于DL的HIA使用一种自动化分析系统，使客观评估成为可能并降低了诊断成本。提出了许多基于DL的HIA任务，包括图像分类、目标或病变识别和细胞核分割。然而，大多数基于DL的HIA主要依赖于常规组织病理图像，并且常常与无标记图像不兼容。即使当它们确实适用于无标记图像时，它们通常是为单一的HIA任务设计的。显然，需要一种兼容无标记图像并且能够提供敏感和准确分析结果的基于DL的HIA。

**在本文中，作者开发了一个用于自动HIA的基于DL的框架，该框架在无标记PAH图像中执行虚拟染色、分割和分类（图1）。**PAH图像可以揭示组织学特征，但也向病理学家呈现相对不熟悉的图像，这可能使诊断变得具有挑战性。作为第一步，提出了一种可解释的CUT（E-CUT）方法用于虚拟染色，将灰度PAH图像转换为虚拟H&E染色图像（图1a）。对于虚拟染色，E-CUT使用显著性损失和集成梯度不仅保留图像内容而且可视化显著性信息和特征归属以增加可追溯性。接下来，它执行图像分割和特征提取以提取进一步分析的信息（图1b）。从分割图像中提取诸如细胞面积、细胞计数和细胞间距离等特征。最后，提出了一个基于DL的分类模型，使用逐步特征融合方法（StepFF），结合PAH、VHE和分割深度特征向量（DFVs）来分类非癌性和癌性肝细胞。StepFF的性能与传统H&E进行了比较（图1c）。这个多步骤的基于DL的框架不仅将PAH图像转换为适用于临床的H&E风格图像，而且还通过融合多个DFV实现了精确分析。虚拟染色、分割和分类的单框架创新揭示了以下几个见解：（1）使用UV-PAM获得了高灵敏度的无标记组织病理图像。（2）设计了可解释的基于DL的无监督虚拟染色技术（E-CUT），可以在输入数据中突出组织学上重要的形态特征，并突出对鉴别器预测有重要贡献的输入特征。（3）使用基于U-Net的分割技术从VHE图像中清晰地提取生物特征。（4）通过结合深度特征向量，提出了基于DL的逐步特征融合方法（StepFF），用于病理分类人体肝细胞癌（HCC）图像。通过对报告的基于DL的无标记组织学技术的比较，确认了所提出系统的优越性（表S1）。

**|**匠心独运

**图1：用于执行无标记PAH的虚拟染色、分割和分类的自动化HIA的基于深度学习的框架。**a 具有可解释性的虚拟染色序列，以生成无标记PAH的VHE图像。PAH表示光声组织学图像；VHE表示虚拟H&E染色。b 生成特征的分割序列：细胞面积、细胞计数和距离。c 用于分类是否为癌症的分类序列，结合PAH、VHE和分割的深度特征向量。

**图2：无标记PAH成像系统。**a PAH系统的示意图及其信号采集模块的放大图。PD光电二极管，OBS光学分束器，NDF中性密度滤光片，BE光束扩展器，M反射镜，OBJ物镜，OUC光-超声波束组合器，DAQ数据采集，UST超声换能器，AL声透镜，TH组织夹持器。b 人肝组织的PAH图像。c 对应的H&E染色图像。比例尺，500 μm。H&E，苏木精和伊红染色图像。d，e 分别为非癌性和癌性区域放大的PAH图像。f，g 分别为非癌性和癌性区域放大的H&E图像。比例尺，100 μm。

******|****卓越性能
**

**图3：整体虚拟染色网络架构及结果。**a 可解释的对比无配对翻译（E-CUT）网络架构。b PAH（输入）与不同网络的VHE结果的视觉比较：CycleGAN，可解释的CycleGAN（E-CycleGAN），CUT，E-CUT，以及H&E（真实值，GT）。比例尺，100 μm。放大的图像比例尺，50 μm。黑色箭头突出显示细胞核，显示不同网络之间在形态保持方面的差异。c 不同VHE网络的量化比较结果，采用FID和KID评分。结果是在总共100个测试图块上进行评估的。FID Fréchet初始距离，KID 核初始距离。

**图4：整体特征分割网络架构及结果。**a 基于U-Net的特征分割网络架构，分为两个阶段：分割和特征提取。b 在PAH、VHE和H&E图像中细胞核的分割。比例尺，100 μm。c PAH、VHE、H&E图像中每个特征的三维散点图。蓝色和红色点分别代表非癌性和癌性病例。d 细胞面积、细胞计数和距离特征是从PAH、VHE和H&E图像中计算得出的。

**图5：整体分类网络架构及结果。**a 整体逐步特征融合（StepFF）分类网络架构。b 不同来源特征输入的深度学习分类结果的可视化。c StepFF的癌症概率输出（0表示非癌性，1表示癌性），以及真实标签。d StepFF与病理学家分类结果的比较。

在这里插入图片描述