Nature Mach. Intell. |

01

对标志性细胞器（如细胞核、核仁、细胞膜、核膜和脂滴）进行相关活细胞成像对于系统细胞生物学和药物发现至关重要。 然而，仅依靠分子标记来实现这一目标仍然具有挑战性。利用深度神经网络从无标记图像中对多个细胞器和细胞状态进行虚拟染色是一种新兴的解决方案。 虚拟染色可以释放光谱用于成像分子传感器、光操控或其他任务。目前用于标志性细胞器虚拟染色的方法在成像、培养条件和细胞类型存在干扰变化时常常会失败。

2025年6月23日，在 Nature Machine Intelligence 在线发表题为 “ Robust virtual staining of landmark organelles with Cytoland ” 的研究论文。 该研究 通过Cytoland解决了这一问题，Cytoland是一组用于在多样化的成像参数、细胞状态和类型中稳健虚拟染色标志性细胞器的模型。这些模型通过自监督和监督预训练，使用灵活的卷积架构（UNeXt2）以及受光学显微镜成像启发的增强方法进行训练。

Cytoland模型能够在多种成像条件下对多种细胞类型（包括人类细胞系、斑马鱼神经丘、诱导多能干细胞（iPSCs）和iPSC衍生的神经元）的细胞核和细胞膜进行虚拟染色。通过从虚拟染色和实验染色的细胞核与细胞膜中获得的强度、分割和应用特定测量结果来评估这些模型。这些模型能够补救缺失的标记、纠正不均匀的标记，并减轻光漂白。作者共享了多个预训练模型、用于训练、推理和部署的开源软件（VisCy）以及数据集 。

02

匠心独运

由于促炎巨噬细胞向抗炎巨噬细胞的复极化受损，传统的骨组织工程材料难以在糖尿病期间恢复生理性骨重塑。

构建动态细胞系统的预测模型需要分析细胞和细胞器之间的相互作用。 目前，使用多种荧光蛋白进行遗传标记是多路复用成像细胞器动态的标准方法。尽管细胞工程技术取得了进展，但用荧光蛋白标记多个细胞器的工作量大且限制了通量。例如，在斑马鱼发育过程中对细胞类型的出现进行成像需要追踪单个细胞类型和发育信号。然而，构建能够表达多种荧光报告基因（用于发育信号、细胞类型、细胞核和细胞膜）的胚胎是耗时的。荧光标签本身以及成像多个荧光通道引起的光毒性会损害细胞健康。荧光团的光漂白限制了实验的时间分辨率和持续时间。在涉及多种干扰和细胞类型的高通量实验中，这些权衡变得更加复杂。

无标记成像数据的虚拟染色是应对上述挑战的新兴解决方案。 三维（3D）定量相位成像（QPI）方法能够一致地在单张图像中可视化多个标志性细胞器，包括细胞核、细胞膜、核仁、核膜和脂滴。定量偏振成像方法可以测量有序细胞器（如细胞骨架）的排列和方向，并且可以与QPI复用。拉曼显微镜也可以根据核酸、氨基酸和脂质的相对浓度报告多个细胞器。如果这些细胞器的物理和化学特性与荧光标记的分布相关联，深度学习模型可以通过无标记对比度同时解复用观察到的细胞器。与使用人工注释训练无标记图像分割模型不同，虚拟染色避免了对三维体积和视频中细胞器进行繁琐且容易出错的人工注释。也有研究报道了从无标记反射图像中对细胞器和细胞功能状态进行虚拟染色。除了细胞动态分析之外，虚拟染色现在还广泛应用于从自发荧光、光学相干断层扫描和拉曼显微镜获取的快速三维组织学成像。如果感兴趣的细胞器、细胞或组织结构能够通过无标记对比度一致地编码，虚拟染色比实验染色更具有可重复性。

上述研究结果表明，虚拟染色确实可以缓解动态成像中长期存在的多路复用瓶颈。那么，为什么虚拟染色尚未成为用于生物发现和临床诊断的主流人工智能工具呢？ 一个突出的挑战是，当前的虚拟染色模型（像大多数深度神经网络一样）无法推广到超出其训练数据分布范围的成像参数、细胞状态和细胞类型。在本文中，作者通过一组模型（命名为Cytoland）来解决这种推广差距。本文报告的模型能够在不同的成像条件、细胞状态和细胞类型中联合预测细胞核和细胞膜。具体贡献如下：

提出了去卷积和数据增强策略， 使虚拟染色模型对成像参数中的干扰变化和相位对比度的变化具有不变性，而无需额外的实验训练数据。

提出了一种两步预训练协议， 使用所有无标记图像和可用的无标记与荧光图像对，实现对新的成像参数和无标记对比度的零样本推广。

提出了一种预训练/微调协议， 通过最少的训练数据，使虚拟染色模型对新的细胞状态（例如细胞分裂、感染、发育阶段）和细胞类型（人类细胞系、干细胞、分化干细胞和斑马鱼组织）进行少样本推广。

提出了一种可扩展的卷积图像翻译架构（UNeXt2） 。

提供了经过训练的模型，用于从广泛可部署的Zernike相位对比或定量相位对比数据中对细胞核和细胞膜进行虚拟染色。 展示了将通用虚拟染色与现成的通用荧光分割模型相结合，能够实现可靠的单细胞分析。Cytoland训练协议已实现在基于PyTorch的开源软件包VisCy中。使用包括回归指标、实例分割指标和应用特定指标在内的一系列指标来评估由于架构改进、增强策略和训练协议带来的性能提升。

图1：稳健的虚拟染色及其应用。 a–c，训练协议包括从明场和宽场荧光体积图像中去卷积相位和荧光密度，基于成像系统的模型来增强数据集之间的对比度和一致性（a）。然后，使用FCMAE（自监督学习方法）预训练来初始化UNeXt2模型的权重，而无需配对数据或监督（b）。随后，第二阶段的预训练使用细胞核和细胞膜的配对相位和荧光图像对模型进行训练，从而生成一个通用的预训练虚拟染色模型（c）。d，使用VSCyto3D（HEK293T细胞和iPSCs）、VSNeuromast（斑马鱼神经丘）和VSCyto2D（A549和BJ-5ta细胞）对细胞核（蓝色）和细胞膜（橙色）进行虚拟染色。使用CellPose荧光分割模型对细胞核（蓝色轮廓）和细胞主体（橙色轮廓）进行分割，从而从相位图像（灰度）中实现单细胞检测。神经丘的X-Z切片取自X-Y图像的中心。比例尺，25微米。e–g，使用应用特定的评估指标对模型进行排名和优化，除了回归和实例分割指标外，还包括用于高内涵筛选的形态学测量（e）、用于分析细胞对感染动态响应的细胞状态测量（f）以及用于研究器官发生的细胞追踪测量（g）。

图2：去卷积和数据增强使虚拟染色模型对相位对比度的变化具有鲁棒性。
a，去卷积增强了虚拟染色的对比度。从上到下依次为：无标记输入、荧光目标和虚拟染色预测。模型在原始或去卷积后的无标记和荧光对比模式的配对数据上进行训练。
b，使用未经过增强的模型从相位图像（第一行）预测细胞核和细胞膜（第三行）与实验真实值（第二行）不一致，尤其是在存在噪声（中间列）或不同放大倍数（右侧列）时。使用经过空间和强度增强（具体细节见正文）训练的模型进行预测对噪声具有不变性，并且与放大倍数具有等变性。在分布内列的白框中突出了对丢失的荧光标记的恢复。在高放大倍数列的白框中显示，经过增强的模型正确预测了一个大的细胞核，而未经过增强训练的模型预测了两个较小的细胞核。
c，数据增强提高了对未见模态的泛化能力。虚拟染色模型被训练用于从相位密度预测荧光密度，然后用于从Zernike相位对比图像（左侧）预测细胞核和细胞膜。相关联的原始荧光图像（左侧第二张）由于相位对比物镜的光损失而显示出低信噪比。比例尺，50微米（a–c）。

03

卓越性能

图3：VSCyto2D模型对新细胞类型的少样本泛化。
a，流程图展示了三种训练策略，用于将使用A549和HEK293T细胞预训练的虚拟染色模型泛化到BJ-5ta细胞类型，且仅使用有限的训练样本。框图表示策略：蓝色，从头开始使用BJ-5ta的配对图像进行虚拟染色预训练；橙色，使用HEK293T和A549的配对图像进行预训练，然后使用BJ-5ta的配对图像进行微调；绿色，仅使用HEK293T和A549的相位图像进行FCMAE预训练，使用HEK293T和A549的图像进行虚拟染色预训练，然后使用BJ-5ta的配对图像进行微调。预训练步骤初始化了UNeXt2编码器（FCMAE）和解码器（虚拟染色）的模型权重。
b，使用d中描述的三种模型对BJ-5ta细胞的细胞核和细胞膜进行虚拟染色的图像。随着用于微调的BJ-5ta视场（FOVs）数量的增加，性能逐渐提高。比例尺，50微米。
c，随着用于训练策略a中测试数据集的FOVs数量增加，实验染色和虚拟染色的细胞核与细胞膜之间的实例分割平均精度（AP）和皮尔逊相关系数（PCC）的变化。预训练模型相对于用于微调的BJ-5ta FOVs数量表现出更优的性能提升。经过微调的预训练模型即使使用较少的数据也能与从头开始使用更多数据训练的模型相匹配甚至表现更好。
d，虚拟染色的iNeuron细胞恢复了用于细胞体分割和神经突追踪所需的对比度。细胞膜（品红色）和细胞核（绿色）染色经过预处理以过滤细胞培养中的碎片并归一化对比度。虚拟染色的细胞核和细胞主体分别以蓝色和橙色显示。预处理后的荧光图像中的青色箭头指向细胞主体和细胞核重叠的白色像素。细胞体分割以彩色填充标签显示，神经突追踪以白色线条显示。比例尺，100微米。
e，iNeuron分割的定量分析。与实验染色相比，从虚拟染色中可以识别出相似数量的每个视场中的细胞体数量、总神经突长度以及每个细胞体的神经突数量。

图4：使用VSCyto3D对细胞器和感染状态进行稳健的虚拟染色。
a，对hiPSCs细胞核和细胞膜的虚拟染色图像进行定性比较，展示有无预训练的差异。比例尺，25微米。
b，预训练提高了从虚拟染色中获得的分割效果。测量目标标签与从头开始训练的虚拟染色模型（蓝色框）、经过无标记预训练（橙色框）以及荧光成像获得的Cellpose分割之间的一致性。AP@0.5表示在20个测试视场（FOVs）中，当交并比（IoU）阈值为0.5时的平均精度（AP）。框图显示了中位数和四分位间距，须线表示12.5和87.5百分位数，圆圈表示异常值。
c，对A549细胞的细胞核、细胞膜和寨卡病毒（ZIKV）传感器进行虚拟染色。虚拟染色对感染传感器的预测重现了在荧光成像中观察到的寨卡病毒感染后的转位模式。第二行显示了细胞核（蓝色）和细胞膜（橙色）的虚拟染色。HPI表示感染后小时数。比例尺，50微米。

图5：使用VSNeuromast在斑马鱼发育阶段的泛化能力。
a，从受精后4天（4 dpf）开始，对斑马鱼神经丘进行12小时的延时成像。展示了在未包含在模型训练数据中的显微镜系统上进行成像的三个代表性时间点。第一行为相位图像，第二行为实验染色的细胞核和细胞膜，第三行为使用VSNeuromast进行虚拟染色的细胞核和细胞膜。该模型用于预测虚拟染色并恢复缺失的细胞核，提供了比实验染色更准确的细胞计数及其位置信息。
b，通过皮尔逊相关性图定量评估模型的性能，比较来自侧线的五个神经丘的荧光密度和虚拟染色结果（针对细胞核和细胞膜），以突出微调模型的精确性。相关性的下降与由于光漂白导致的强度下降相匹配，表明虚拟染色对光漂白效应具有鲁棒性。
c，显示五个神经丘的平均光漂白曲线，左侧为实验荧光的细胞核和细胞膜，右侧为虚拟染色的细胞核和细胞膜。虚拟染色的细胞核和细胞膜没有表现出光漂白效应，从而延长了成像时间。阴影区域表示单个细胞核在给定帧中的积分强度的标准差。
d，通过3D分割和追踪细胞膜后，实验荧光和虚拟染色的细胞计数对比。一致地应用了经过微调的Cellpose模型和Ultrack，显示出具有相当准确性的细胞计数。虚拟染色减少了过度分割和欠分割的情况，与实验荧光相比提高了准确性。
e，预测实验染色和虚拟染色的细胞核与细胞膜中的细胞死亡和组织重组。t表示自采集开始的时间（分钟）；T表示自采集开始的时间（小时）。

参考：

Liu, Z., Hirata-Miyasaki, E., Pradeep, S. et al. Robust virtual staining of landmark organelles with Cytoland. Nat Mach Intell 7 , 901–915 (2025). https://doi.org/10.1038/s42256-025-01046-2