近日，数学与信息学院、软件学院崔金荣副教授团队在计算机技术与医学影像分析交叉领域国际权威期刊Medical Image Analysis（中科院一区TOP期刊，影响因子14.0）发表题为“Dual-Contrastive Modality Recovery for Incomplete Multi-Modal Brain Disease Diagnosis”的研究论文。崔金荣副教授为第一作者，2023级计算机科学与技术硕士研究生叶伟浩为第二作者，南京航空航天大学朱旗教授和哈尔滨工业大学(深圳)文杰教授为文章合作作者。
多模态医学影像学习技术是实现脑疾病精准诊断的重要基础。现有多模态脑疾病诊断方法通常依赖完整的多模态数据输入，但在实际临床数据采集过程中，由于患者身体状况、运动伪影、检查成本、设备故障和预约冲突等因素，功能磁共振成像（fMRI）、弥散张量成像（DTI）等医学影像常常存在模态缺失问题。这不仅会破坏不同影像模态之间的互补关系，降低多模态模型的诊断性能，也限制了相关技术在真实临床环境中的应用。近年来，一些研究尝试通过模态恢复或跨模态表示学习缓解模态缺失带来的影响，但这些方法通常侧重恢复特征与真实特征之间的数值相似性，缺少对疾病相关高层语义的显式约束，导致恢复结果可能偏离患者所属疾病类别的语义分布。
针对上述问题，本研究提出了一种受视觉—语言对比学习模型CLIP启发的两阶段框架BrainCLIP，用于解决不完整多模态脑影像学习问题。该框架将影像采集前获得的非影像临床文本作为语义锚点，在第一阶段通过对称InfoNCE损失分别建立临床文本与fMRI、临床文本与DTI之间的语义对应关系；在第二阶段利用预训练文本编码器提供稳定的语义指导，并结合已有影像模态恢复缺失模态。同时，研究设计了模态级和样本级双重约束，使恢复特征在保持数值准确性的同时保留疾病相关语义信息，并进一步联合模态恢复与多模态表示学习，实现不完整多模态脑疾病诊断。实验结果表明，在癫痫临床数据集和阿尔茨海默病神经影像计划（ADNI）数据集的多种模态缺失设置下，BrainCLIP均取得了优于现有方法的诊断性能和模态恢复效果。该研究还识别了与癫痫和阿尔茨海默病相关的重要脑区及脑连接，为模型结果的生物学解释提供了参考。
自2022年来，崔金荣副教授课题组在人工智能、多模态学习和医学影像分析领域开展了一系列的研究工作，取得突出成绩，成果相继发表在IEEE Transactions on Image Processing（中科院一区TOP期刊，影响因子10.6）,IEEE Transactions on Neural Networks and Learning Systems （中科院一区TOP期刊，影响因子14.3）,IEEE Transactions on Medical Imaging（中科院一区TOP期刊，影响因子11.3）等知名期刊上。
该研究得到国家自然科学基金项目（62576140、62371234、62076129）、广东省基础与应用基础研究基金（2024A1515030213、2026A1515011517）等资助。
相关论文链接：https://doi.org/10.1016/j.media.2026.104259
文图/数学与信息学院、软件学院
