近日，数学与信息学院、软件学院崔金荣副教授在计算机与医学交叉领域权威期刊IEEE Transactions on Medical Imaging（IEEE TMI，中科院一区，影响因子11.3）发表题为“Adjacent-aware Modality Recovery based on Incomplete Multi-Modal Brain Disease Diagnosis”的研究论文。崔金荣副教授为第一作者，学校2023级计算机科学与技术硕士研究生叶伟浩、南京航空航天大学朱旗教授和哈尔滨工业大学(深圳)文杰教授为文章合作作者。
多模态医学影像学习技术是实现脑疾病精准诊断的重要基础。现有多模态脑疾病诊断方法通常依赖完整的多模态数据输入，但在实际临床数据采集过程中，由于设备限制、成本因素或患者条件等原因，医学影像数据常常存在模态缺失问题，这不仅会降低多模态模型的诊断性能，也限制了其在真实临床环境中的应用。近年来，一些研究尝试通过模态恢复或跨模态表示学习来缓解模态缺失带来的影响，但这些方法往往忽略了样本之间潜在的邻域语义关系，导致恢复模态的质量仍然有限。
针对这一问题，本研究提出了一种邻域感知蒸馏恢复框架（ADRNet），用于解决不完整多模态脑影像学习问题。该框架通过利用标签引导的邻域信息挖掘样本之间的语义关系，以生成更加符合真实分布的恢复模态特征。同时，引入知识蒸馏机制对模态生成器进行优化，以提高生成模态的稳定性和表达能力。在此基础上，模型进一步联合模态恢复与多模态表示学习，实现端到端的不完整多模态脑疾病诊断。实验结果表明，在癫痫和阿尔茨海默病数据集上的多种模态缺失设置下，本文方法均取得了优于现有方法的诊断性能，验证了所提出方法在不完整多模态脑影像分析中的有效性与鲁棒性。这项研究成果为不完整多模态医学影像学习提供了一种新的解决思路，并为脑疾病智能诊断研究提供了重要参考。
自2022年来，崔金荣副教授课题组在人工智能领域开展了一系列的研究工作，取得突出成绩，成果相继发表在 IEEE Transactions on Image Processing（中科院一区，影响因子10.6）, IEEE Transactions on Neural Networks and Learning Systems （中科院一区，影响因子14.3）, IEEE Transactions on Medical Imaging（中科院一区，影响因子9.8）等知名期刊。
该研究得到国家自然科学基金项目（62576140、62371234、62076129）、深圳市科技计划项目(JCYJ20240813105135047)、广东省基础与应用基础研究基金（2024A1515030213）、北京航空航天大学虚拟现实技术与系统国家重点实验室开放项目(VRLAB2025B01)等资助。
相关论文链接：https://ieeexplore.ieee.org/document/11348991
文图/数学与信息学院、软件学院
