南洋理工联合南安普顿提出超越衍射极限光学成像数据集与基准测试

能够解析纳米级特征的光学成像技术将彻底革新生物医学、智能制造和半导体质量控制等领域的科学研究与工程应用。然而，由于光的衍射现象，光学分辨率被限制在光波长的一半左右，这阻碍了对亚波长物体（例如冠状病毒的原始状态，通常小于200纳米）的观察。幸运的是，深度学习方法在揭示数据中的潜在模式方面表现出显著潜力，有望通过揭示衍射图像与其对应的物体真实图像之间的映射关系模式，突破衍射极限。然而，由于缺乏合适的数据集，这一领域的进展受到限制——收集亚波长物体的高质量光学数据极为困难，因为这些物体在传统显微镜下是不可见的，无法进行标准的视觉校准和漂移校正。

2025年3月，南洋理工联合南安普顿大学在CVPR 2025 在线发表题为“OpticalNet: An Optical Imaging Dataset and Benchmark Beyond the Diffraction Limit”的研究论文。该研究基于“构建模块”概念，提供了第一个用于挑战衍射极限的通用光学成像数据集。借鉴模块化构建原理，构建了一个包含亚波长基本元素的全面光学成像数据集，即可以组装成更大、更复杂物体的小正方形单元。然后，将任务定义为图像到图像的翻译任务，并评估了各种视觉方法。

实验结果验证了“构建模块”概念，证明了在基本正方形单元上训练的模型可以有效地泛化到更复杂、未见过的真实物体上。最重要的是，通过突出这一尚未充分探索的“人工智能助力科学”领域及其潜力，作者希望推动光学科学的发展，促进视觉和机器学习社区的合作。

数千年来，能够亲眼目睹微观世界的奇妙之处一直吸引着研究人员。从古代的简易放大镜到如今的先进显微镜，这一发展历程促成了光学成像和显微镜学领域的诞生，这些领域已成为基础研究和工程应用（如生物结构成像和精密制造）中不可或缺的工具。然而，光的波动性表现为衍射，这是一种在光波与尺寸接近波长的结构相互作用时尤为显著的普遍现象，从根本上限制了光学系统中的观测分辨率。这一限制被称为衍射极限，它将成像平面上可观察到的最小特征限制在亚波长尺度。因此，使用可见光的传统光学显微镜的空间分辨率被限制在大约 200~250 纳米。

借鉴模块化构建的原理，即通过小单元组装创建更大的复杂物体，构建了OpticalNet数据集，将任意形状的物体分解为基本的构建模块——小的n×n网格区域，这些区域由小于衍射极限尺寸的正方形组成。该数据集是通过样本扫描的显微镜成像收集的，以训练一个基于深度学习的模型，以衍射图像作为输入来预测物体图像。通过训练好的模型，将复杂形状物体的衍射图像转换为它们对应的物体图像，并根据每个空间位置组装这些模块化预测，从而重建完整的结构，实现超越衍射极限的亚波长成像。

这一限制促成了电子显微镜的发展，它实现了原子级分辨率，但需要复杂的样品制备和真空环境。更重要的是，高能电子束的不可逆辐射损伤阻止了其在实时成像活体生物实体（如 SARS-CoV-2 病毒检测）中的应用。相比之下，光学显微镜能够实现非侵入性、实时观察，样品制备简单且能够进行长时间观察，尽管其分辨率受到衍射极限的根本限制。为了在保留光学优势的同时克服这一限制，各种光学超分辨率技术已被开发出来。值得注意的是，超分辨率荧光显微镜因其卓越的性能获得了诺贝尔化学奖，其分辨率达到了几十纳米。然而，这种方法需要侵入性荧光标记和复杂的样品制备，这削弱了光学成像的固有优势，并限制了其在实时成像和半导体计量学中的应用。这引发了以下根本性问题：“我们能否仅使用传统显微镜看到衍射极限之外的物体？”

类似于数字图像无法拥有无限小的像素，理想的点光源在成像平面上不可避免地会衍射成一个有限大小的艾里斑（Airy disk）。当两个相邻的衍射斑点之间的间距低于某个阈值时，它们将变得无法区分。

幸运的是，深度学习方法在揭示数据中的潜在模式方面表现出显著潜力。此外，神经网络高效解决逆散射问题的能力也已被证明，为使用深度学习提供了坚实的理论基础。因此，这使能够以端到端的图像到图像翻译方式实现亚波长分辨率的光学成像。光与物体的相互作用会产生衍射图像，其中包含关于被观察物体的详细计量学信息（如形状、大小和位置）的转换信息。这种被观察物体的计量学信息可以用二维图像表示，称为物体图像。给定衍射图像，神经网络可以直接用于解码它们以获得真实物体图像。借助视觉算法，这种端到端的方法无需对样品进行修改或标记，能够在低光强度下运行以避免光漂白，并且不依赖于非线性光物质相互作用。这与现有用于克服衍射极限的光学方法相比具有明显优势，甚至有可能实现活体生物实体的分子和原子级分辨率。

深度学习方法需要大量的训练数据。然而，据作者了解，目前尚不存在用于解决基本衍射极限挑战的开源亚波长成像数据集。虽然存在几个显微镜图像数据集，但它们高度特定于特定领域，并且局限于特定的成像目标，例如观察生物细胞和进行大于亚波长尺度的岩石磨损分析。此外，这些数据集在光学设置、数据格式和实验配置方面的多样性阻止了它们被共同用于训练能够泛化到观察不同和复杂物体的模型。缺乏高质量、可泛化的数据集严重阻碍了光学成像超越衍射极限的发展。因此，迫切需要一个开源的亚波长尺度显微镜数据集，以便视觉和机器学习社区广泛使用。

为了提供一个可泛化的数据集，作者采用了构建模块的方法，其中基本的亚波长正方形单元可以组装成任意复杂形状。贡献总结如下：

1.提供了第一个超越衍射极限的光学构建模块概念成像数据集。这需要使用先进的聚焦离子束（FIB）技术在纳米级精度下进行极其谨慎的设计和精确执行，同时配备高精度的定制显微镜系统和复杂的稳定化方法。鉴于涉及的显著成本，还提供了模拟代码，以便在实际实验之前进行概念验证测试。

2.提供了两个具有深度亚波长尺度特征的特殊测试集：i）“光”测试集，用于评估观察任意形状物体的性能；ii）“西门子星”（Siemens Star，SS）测试集，用于评估任意旋转和任意尺寸的性能。

3.为了进行算法基准测试，作者将问题定义为图像到图像的翻译任务，具体为像素级二元分类。通过对广泛视觉方法的评估，为未来研究提供了重要见解——专注于全局信息的 Transformer 在处理环境噪声方面优于基于 CNN 的方法。实验结果证明了概念的可行性，使使用传统光学显微镜克服衍射极限成为可能。

科学技术的发展离不开科研仪器的进步。凯视迈（KathMatic）自2014年创建以来，一直“致力于高精尖光学测量技术”，已成为集“研发、制造、销售”为一体的国产高端光学精密测量仪器新力量。推出了KC系列多功能精密测量显微镜、KS系列超景深3D数码显微镜以及KV系列激光多普勒测振系统，取得了良好的市场成绩。详情欢迎留言咨询!