基于图学习的缺失脑网络生成及多模态融合诊断方法

龚荣芳，黄麟雅，朱旗，李胜荣; GONG Rongfang; HUANG Linya; ZHU Qi; LI Shengrong

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

基于图学习的缺失脑网络生成及多模态融合诊断方法 PDF

- ORCID：
龚荣芳 ^1,2
✉
- ORCID：
黄麟雅 ¹
✉
- ORCID：
朱旗 ^3,4
✉
- ORCID：
李胜荣 ³
✉

1. 南京航空航天大学数学学院，南京 211106； 2. 飞行器数学建模与高性能计算工信部重点实验室，南京 211106； 3. 南京航空航天大学人工智能学院，南京 211106； 4. 脑机智能技术教育部重点实验室，南京 211106

中图分类号： TP391

最近更新：2024-08-08

DOI：10.16337/j.1004⁃9037.2024.04.006

摘要

融合大脑结构和功能网络的多模态脑网络能够挖掘不同模态间的互补信息，有效提高癫痫等神经系统疾病的诊断准确率，在神经疾病诊断上具有优势。然而，由于多模态数据采集时间长、成本高，在实际应用中常面临模态缺失问题，导致可用数据量减少，模型的诊断精度和泛化能力下降。针对某一模态数据完全缺失问题，提出了基于图学习与循环一致生成对抗网络（Cycle‑consistent generative adversarial networks， CycleGAN）的图CycleGAN方法。该方法通过引入图卷积神经网络与图注意力机制等图学习方法捕捉脑网络不同脑区间的特征信息，强化生成框架对图形式脑网络的特征提取能力，实现脑结构网络与功能网络的相互生成。此外，针对目前较少利用诊断结果评估生成数据质量的情况，提出了一种融合真实脑网络与生成脑网络的多模态融合分类模型，以进一步评估生成脑网络的有效性。在癫痫数据集上的实验结果表明，图CycleGAN方法能够有效利用已有的模态信息，实现缺失脑网络的生成。

关键词

脑网络; 模态缺失; 图学习; 生成对抗网络; 模态补全; 癫痫诊断

引言

癫痫、精神分裂症等神经系统疾病的诊断方法通常涉及神经系统检查、基因检测、脑电图和计算机断层扫描等多个方面。随着机器学习的发展，结合脑网络的诊断方法能够有效提高脑疾病早期诊断的准确率，尤其是融合大脑结构和功能的多模态脑网络融合诊断方法。脑网络是由大脑内部不同区域连接构成的复杂网络结构。根据连接类型的不同，脑网络可以分为脑结构网络（Structural brain network， SC）和脑功能网络（Functional brain network， FC），前者反映的是大脑脑区间的物理连接（解剖结构连接），而后者反映的是脑区间的功能连接，即在信息处理过程中不同脑区的相关性。SC和FC分别通过弥散张量成像（Diffusion tensor imaging， DTI）技术^［

1‑2］和功能磁共振（Functional magnetic resonance imaging， fMRI）技术^{［参考文献 3‑4}3‑4］采集获得。多模态脑网络融合诊断模型充分利用DTI和fMRI等不同模态数据间的互补性学习大脑的结构和功能模式，从而提高模型的诊断精度。然而，非侵入式成像技术时间或空间分辨率有限且设备昂贵，导致采集时间长、采集成本高，使得融合诊断常面临模态缺失问题。脑结构或功能网络模态缺失可能导致不同模态间的数据信息互补性丧失，进而造成模型的诊断精度和泛化能力下降。目前处理模态缺失的常见方法包括部分数据训练和模态补全，前者仅使用已有的模态数据，减少了可用的训练数据量，可能导致模型训练不足，后者则充分利用现有的模态信息，通过生成技术来生成缺失模态的数据。生成脑网络的技术作为模态补全的一类方法，不仅能够降低数据采集成本，而且能有效解决多模态脑网络融合过程中某种模态完全缺失的问题。

大脑的结构连接和功能连接密切相关，研究它们的相互关系对于揭示大脑工作原理、推动生成技术发展具有重要意义。一方面，已有研究表明SC是FC形成的基础，高精度FC能够通过SC生成。Honey等^［

5］通过计算FC和SC间相关性，发现静息状态下虽然大脑功能连通性可变，但其连接强度总是受到大脑皮层解剖结构的约束。换而言之，大脑的物理结构在一定程度上决定了大脑信息传递的路径，进而影响了大脑功能连接的强度。Gu等^{［参考文献 6

百度学术}6］发现大脑结构‑功能耦合在具有高度结构连接的大脑皮层区域上比其他任何地方都要强。Zamani等^{［参考文献 7

百度学术}7］观察到大脑结构‑功能耦合随着人的年龄增长而整体减少，虽然脑功能模式的可预测性降低，但总体上具有一定的稳定性和保留性。另一方面，Yeo等^{［参考文献 8

百度学术}8］采用聚类方法来识别脑功能网络，揭示了大脑皮层的结构和功能组织。Achard等^{［参考文献 9

百度学术}9］将离散小波变换应用于fMRI数据并认为其中相关的低频震荡可能反映了大脑的解剖结构连接。基于图论分析的方法^{［参考文献 10‑11}10‑11］表明SC与FC共享图的特征，如它们的拓扑结构相同，都表现出小世界特性^{［参考文献 12

百度学术}12］。这些研究揭示了实现大脑结构或功能连接模式的相互预测的可能性。

利用脑结构连接和功能连接的关系进行缺失模态信息的生成技术多种多样。例如Li等^［

13］通过图编码器‑解码器将SC嵌入图中来预测FC；Glomb等^{［参考文献 14

百度学术}14］尝试通过减弱伪统计相关性来使用SC改进FC；Patel等^{［参考文献 15

百度学术}15］利用贝叶斯框架来使用fMRI分析大脑连通性；Frässle等^{［参考文献 16

百度学术}16］通过回归动态因果建模推断全脑网络中的已知连接特征。上述基于向量的方法在将数据转向高维向量时容易丢失拓扑结构信息，而基于概率的框架计算成本高且高度依赖于先验知识。因此，越来越多的学者研究应用图论的方法来生成脑网络。借助于拉普拉斯算子，一些学者利用SC和FC共享特征向量相关且特征值呈指数相关的关系，提出了可实现SC与FC相互预测的脑动力学模型^{［参考文献 17‑19}17‑19］。然而这些基于扩散的图论模型要求功能上的反应必须沿着大脑皮层解剖结构连接的边缘传播，并没有考虑到脑区可能存在的其他活动模式。在现有的扩散方法的基础上，本文提出了一种结合图学习与循环一致生成对抗网络（Cycle‑consistent generative adversarial networks， CycleGAN）^{［参考文献 20

百度学术}20］的图CycleGAN（Graph‑CycleGAN）模型，基于脑区间的相关性和大脑解剖结构连接强度分别构建无向的FC和SC，通过流形学习捕获已有模态脑网络中脑区的特征，实现缺失模态脑网络的生成。利用生成技术恢复缺失模态信息后，可以进一步实现多模态网络的融合诊断。

现有的研究表明，多模态脑网络能够有效促进对大脑复杂性和动态性的理解，提高癫痫等神经系统疾病的诊断准确率。Venkataraman等^［

21］通过概率框架融合静息态fMRI和弥散加权成像（Diffusion weighted imaging， DWI）数据并用于精神分裂症的研究中。Karahan等^{［参考文献 22

百度学术}22］通过引入Markov‑Penrose图来使用张量分析脑电图（Electroencephalography， EEG）和fMRI数据。Yang等^{［参考文献 23

百度学术}23］提出了融合静息态fMRI数据和DTI数据的统一框架，在癫痫患者数据集上取得了较高的诊断准确率。Zhu等^{［参考文献 24

百度学术}24］提出了一种基于低秩表示的不完整多模态数据融合方法，通过恢复不完整模态以避免丢弃不完整的受试者数据，增强了癫痫诊断模型的鲁棒性。本文通过图CycleGAN模型生成缺失模态的脑网络数据，基于加权融合的思想，提出融合单模态真实脑网络与生成脑网络的图学习融合框架，能够充分利用生成数据来缓解多模态脑网络分析中的样本稀缺问题。

本文提出了结合图学习与CycleGAN框架的图CycleGAN生成模型，并介绍了一种能够融合生成数据与真实数据的多模态脑网络融合诊断方法，主要包括以下几个创新点：

（1）提出了适应高度非线性脑网络的图CycleGAN方法。将不同模态数据表示为图结构数据，通过引入图卷积神经网络与图注意力机制等图学习方法捕捉脑网络不同脑区间的特征信息、连接信息，强化了生成框架对图的特征提取能力，实现了图形式的脑结构网络与脑功能网络的相互预测生成。

（2）针对多模态脑网络构建中常面临的某种模态数据完全缺失问题，尤其是DTI模态数据缺失问题，提出的图CycleGAN方法不仅可利用现有模态脑网络实现缺失模态脑网络的生成，促进多模态脑网络融合，也可以从fMRI和DTI模态数据的补全扩展到其他模态的数据补全。

（3）提出了融合真实脑网络与图CycleGAN方法生成脑网络的多模态脑网络融合诊断框架。该框架采用加权融合思想策略，优先保留已有模态数据即真实脑网络的信息，将两种模态数据融合成一个综合的脑网络表示，即能够同时提供大脑结构和功能信息的多模态脑网络。通过对融合后的脑网络进行特征提取进行疾病诊断。在癫痫数据集上的生成效果和分类结果表明了图CycleGAN方法的可靠性。

1 方法

脑网络可以表示为一个无向图，其节点对应于神经元或大脑区域，边则对应于神经元间的脑区连接强度^［

25］。图结构数据能够利用节点、边的关系等语义信息，直观、灵活地表示复杂的脑网络及其连接模式，便于理解大脑的结构与功能间的相互作用，有效提升多模态脑网络融合诊断的准确率^{［参考文献 26

百度学术}26］。邻接矩阵和特征矩阵是描述图结构的两种最基本、最重要的表示形式，其中邻接矩阵表示图中节点的连接关系，特征矩阵表示节点的特征。一般来说，单模态的fMRI或DTI数据难以直接构建完整图数据，其中，单模态fMRI数据主要提供在静息状态或任务状态下各脑区的活动信息，即节点的特征，DTI主要提供大脑白质纤维束的数量，即构建邻接矩阵所需的信息。因此，利用已有模态信息构建单模态脑网络（称为真实脑网络），并通过图CycleGAN生成缺失模态脑网络（称为生成脑网络），从而实现两种模态脑网络相互生成。然后，基于加权融合思想，融合真实脑网络与生成脑网络，构建多模态脑网络分类框架，用于疾病诊断。

1.1　脑网络构建

1.1.1　脑功能网络构建

在脑网络的图论框架下，将大脑皮质区域划分为 $n$ 个感兴趣区域（Regions of interest， ROIs），即 $n$ 个脑区，也可称为 $n$ 个节点。静息状态下的fMRI数据是具有时间依赖性的血氧水平依赖（Blood oxygenation level dependent， BOLD）信号，能够提供脑区活动的重要信息。假设 $x_{i} \in R^{k} (i = 1,2, \dots, n)$ 为fMRI数据经过预处理后（包括去噪、头动校正等）第 $i$ 个脑区的时间序列特征向量，即第 $i$ 个脑区的平均活动信号， $X = (x_{1}, x_{2}, \dots, x_{n}) \in R^{k \times n}$ 表示整个大脑活动信号，其中 $k$ 表示时间序列中的时间点数。Pearson相关系数是脑科学研究中处理fMRI数据的一种常用方法，它具有简单、可解释性和应用广泛等优点。通常情况下使用fMRI的BOLD信号来计算脑区间的Pearson相关系数以表示脑区间的相关性。第 $i$ 个脑区和第 $j$ 个脑区间的Pearson相关系数 $p_{i j}$ 的计算表达式为

p_{i j} = \frac{C o v (x_{i}, x_{j})}{σ_{x_{i}} σ_{x_{j}}} = \frac{E [(x_{i} - μ_{x_{i}}) (x_{j} - μ_{x_{j}})]}{σ_{x_{i}} σ_{x_{j}}}

（1）

式中 $μ_{x_{i}}$ 和 $σ_{x_{i}}$ 分别为 $x_{i}$ 的均值和标准差，其定义分别为

μ_{x_{i}} = E (x_{i}) = \frac{1}{k} \sum_{l = 1}^{k} x_{l j}

（2）

σ_{x_{i}} = \sqrt[]{E [(x_{i} - E [x_{i} {])}^{2}]} = \sqrt[]{\frac{1}{k} \sum_{l = 1}^{k} (x_{l i} - μ_{x_{i}})^{2}}

（3）

不妨用 $P = (p_{i j}) \in R^{n \times n}$ 表示删去对角元后各脑区间的Pearson相关系数矩阵，即 $P_{i j} = p_{i j} (i \neq j), P_{i i} = 0$ 。为了避免在分析和推断的过程中出现偏差，引入Fischer提出的 $z$ 变换^［

27］来修正Pearson相关系数的分布特性，使其更接近正态分布。矩阵

P

经过

z

变换可以获得描述静息状态下整个大脑网络的功能连接模式

S = (S_{i j}) \in R^{n \times n}

，即

S_{i j} = \frac{1}{2} l n (\frac{1 + p_{i j}}{1 - p_{i j}})

（4）

式中 $S_{i j}$ 表示第 $i$ 个脑区和第 $j$ 个脑区间的相关性。

一个完整的脑功能网络不仅需要节点的特征信息，还需要节点间的连接信息。矩阵 $S$ 虽然能够反映大脑区域的活动模式，但无法直接提供脑区间的连接关系。然而，直接对 $S_{i j}$ 设置阈值来推断脑功能网络中脑区连接关系是不可靠的^［

7］。因此，考虑通过聚类分析的方法，将在功能上具有较高相似程度的节点聚集以形成具有相似功能的节点群集，间接推断其连接关系。记矩阵

S

的拉普拉斯算子为

L_{S}

，

L_{S} = D_{S} - S

，其中

D_{S}

是矩阵

S

的度矩阵。由于

L_{S}

能够帮助识别脑功能网络的关键脑区，因此对

L_{S}

使用聚类方法，如K均值聚类法（K‑means clustering algorithm， K‑means），可以揭示静息状态下脑功能网络的拓扑性质。首先根据轮廓系数法来选取最佳的聚类数目

K

，再根据聚类标签将脑区即节点划分为

K

个功能相似群集。具体来说，对于聚类数目

K

（通常选取

2 \leq K \leq 20

），选择

K

个初始中心点

c_{j} (j = 1,2, \dots, K)

表示簇的初始位置，计算每个节点

l_{i} (i = 1,2, \dots, n)

与每个中心节点

c_{j}

的距离

d (l_{i}, c_{j}) = \sqrt[]{\sum_{k = 1}^{n} {(l_{i k} - c_{j k})}^{2}}

（5）

通过比较每个节点 $l_{i}$ 与各中心节点的距离，找到最短距离并记 $d = \underset{j}{m i n} d_{j}$ 。根据节点与中心节点的最短距离 $d$ 将节点分配到距离最近的簇 $c_{j}$ 中，然后计算每个簇内所有成员的平均值 $c_{j} = \frac{1}{|M_{j}|} \sum_{l_{i} \in M_{j}} l_{i}$ 并以此作为新的簇的中心，其中 $M_{j}$ 表示属于簇 $c_{j}$ 的所有数据点集合。重复上述步骤直到簇的分配不再更新后，计算每个节点 $l_{i}$ 的轮廓系数 $s_{i}$ 与整个网络的平均轮廓系数 $s$

s_{i} = \frac{b - a}{m a x \{a, b\}}

（6）

s = \sum_{i = 1}^{n} \frac{s_{i}}{n}

（7）

式中： $a$ 表示节点 $l_{i}$ 到簇内其他节点的平均欧式距离； $b$ 表示节点 $l_{i}$ 到最近簇中所有节点的平均欧式距离。通过比较不同聚类数目 $K$ 下的平均轮廓系数，选取最大平均轮廓系数的聚类数目作为最终聚类数目，并据此划分节点。最后，根据聚类结果中每个节点所属的簇标签构造二值邻接矩阵 $A \in R^{n \times n}$ ，即

A_{i j} = \{\begin{array}{l} 1 节点 l_{i} 与节 点 l_{j} (j \neq i) 属于 同一 个簇 \\ 0 其他 \end{array}

（8）

不妨记脑功能网络（图1）的图表示为 $X = (S; A)$ ，其中 $S \in R^{n \times n}$ 表示功能连接矩阵， $A \in R^{n \times n}$ 表示邻接矩阵，且 $A$ 是稀疏的矩阵。由于 $A$ 是依据功能相似性对节点进行划分而得，它实际上表示的是脑功能网络 $X$ 中各脑区在功能上的连接关系，既无法说明各脑区的功能连接强度，也难以直接推测大脑各脑区间的解剖结构或物理连接关系。

图1 构造静息状态下的脑功能网络的流程

Fig.1 Process of constructing a brain functional network under resting‑state conditions

1.1.2　脑结构网络构建

脑结构网络是基于DTI成像数据而构建的。DTI通过测量水分子在脑组织中的弥散特性，能够揭示大脑白质纤维束数量，从而提供了脑区间的物理连接关系。从DTI数据中提取纤维束追踪信息并进行预处理后，可获得对称的结构连接矩阵 $G = (g_{i j}) \in R^{n \times n}$ ，其中 $n$ 表示脑区数量， $g_{i j}$ 表示脑区 $i$ 与脑区 $j$ 的纤维束数量。 $G$ 为非负矩阵，零元表示脑区间无直接连接，非零元则表示脑区间的直接连接强度。然而，脑区自身的特征难以通过DTI直接获得。为此，本文基于扩散的图论算法，利用脑区连接关系推断脑结构网络中脑区的功能特性。本文遵循先前研究大脑结构和功能联系的方法^［

3，5，18］，考虑使用相关性来描述脑结构网络中脑区的功能特性，并基于扩散的图论算法利用脑区连接关系来推导。不妨记脑结构网络的图表示为

Y = (Z; G)

，其中

Z \in R^{n \times n}

为脑结构网络中脑区的特征矩阵，

G \in R^{n \times n}

为结构连接矩阵，表示脑区间的解剖连接强度。记

G

的拉普拉斯算子为

L_{G} = Δ - G

，其中

Δ

是

G

的度矩阵，即

Δ_{i i} = \sum_{j = 1}^{n} G_{i j}

。一方面，大脑的物理连接稀疏，稀疏率即

G

中零元数量占总元素数量的比率高达85%及以上，如图2（a，b）所示，但

G

几乎满秩而

S

欠秩，如图2（c）所示。由于大脑的结构模式在相当大程度上决定了功能模式，因此假设

Z

与

S

具有共性是合理的。这意味着在脑结构网络

Y

中，

Z

可以被

G

线性表示。另一方面，基于正相关性与负相关性^{［参考文献 28‑29}28‑29］的大脑功能模式可以帮助理解脑区的激活状态。脑区

i

与脑区

j

间的正相关性是指当脑区

i

被激活时，脑区

j

也相应地激活，它们在当前状态下协同工作。脑区

i

与

j

的负相关性则是指在脑区

i

被激活时，脑区

j

表现出被抑制或降低的激活状态。在推断脑结构网络中基于相关性的脑区特征矩阵时，

L_{G}

不但能够捕捉脑区间的正相关性，而且能够捕捉负相关性^{［参考文献 30

百度学术}30］。因此，在构建单模态脑结构网络的过程中，可以考虑以

L {}_{G}

的特征模态为基函数来预测脑结构网络中各脑区的特征表示

Z_{i}

。

图2 大脑结构连接与功能连接矩阵的一些性质

Fig.2 Some properties of brain’s structural and functional connectivity matrices

假设 $Z$ 能够被 $L_{G}$ 的奇异向量线性表示，即 $Z = U W V^{*}$ ，其中 $U 和 V$ 分别为 $L_{G}$ 的左奇异矩阵和右奇异矩阵， $V^{*}$ 为 $V$ 的共轭转置，有

\underset{W}{m i n} {‖Z - U W V^{*}‖}_{2}^{2}

（9）

由于脑网络具有小世界属性，即具有高聚集性和短路径长度两个特征，因此假设随着连接强度的增加，脑区间的距离相应减少^［

31］。为了保证极小化过程中的稳定性，考虑使用Tikhonov正则化方法求解式（9），即在式（9）中增加Tikhonov正则化项

\sum_{i = 1}^{n} \sum_{j = 1}^{n} G_{i j} {‖w_{i} - w_{j}‖}_{2}^{2}

，其中

W = (w_{1}, w_{2}, \dots, w_{n}) \in R^{n \times n}

，于是，目标函数表示为

\underset{W}{m i n} {‖Z - U W V^{*}‖}_{2}^{2} + α \sum_{i = 1}^{n} \sum_{j = 1}^{n} G_{i j} {‖w_{i} - w_{j}‖}_{2}^{2}

（10）

式中 $α > 0$ 为正则化参数，其选取对求解至关重要。受He等^［

32‑33］的启发，注意到对于对称矩阵

G \in R^{n \times n}

，有

\sum_{i = 1}^{n} \sum_{j = 1}^{n} G_{i j} {‖w_{i} - w_{j}‖}_{2}^{2} = t r (W Δ W^{T}) - t r (W G W^{T}) = t r (W L_{G} W^{T})

（11）

因此，目标函数（10）可以进一步表示为

\underset{W}{m i n} {‖Z - U W V^{*}‖}_{2}^{2} + α t r (W L_{G} W^{T})

（12）

不妨记上述目标函数为 $f (W)$ ，式（12）可以利用梯度下降法求解，即

W^{(k + 1)} = W^{(k)} - γ • \nabla f {(W)}^{(k)}

（13）

式中： $γ$ 为学习率； $k$ 为迭代步数； $f (W)$ 关于 $W$ 的梯度 $\nabla f (W)$ 的计算公式为

\nabla f (W) = α W (L_{G} + L_{G}^{T}) - 2 U^{T} (Z - U W V^{T}) V

（14）

在实际计算中，梯度下降法可以通过结合早停法^［

34］来避免过拟合。具体来说，首先将训练数据集划分为训练集和验证集，并只在训练集上进行训练。每一周期迭代后在验证集上计算误差

‖W^{(N)} - W^{(N - 1)}‖

，其中

W^{N}

表示第

N

个周期的迭代结果，当

‖W^{(N)} - W^{(N - 1)}‖ > ‖W^{(N - 1)} - W^{(N - 2)}‖

时停止训练。式（13）也可通过结合一些加速正则化方法^{［参考文献 35

百度学术}35］或随机正则化方法^{［参考文献 36

百度学术}36］来实现正则化效果。

脑结构网络 $Y$ 的构造流程如图3所示。该迭代框架通过引入惩罚项 $\sum_{i = 1}^{n} \sum_{j = 1}^{n} G_{i j} {‖w_{i} - w_{j}‖}_{2}^{2}$ 来约束 $Z$ ，使其能够反映出随着脑区间连接程度增强，脑区间的距离减少且节点信息交流频率增加的趋势。此外，图2（d）展示了 $L_{G}$ 的最大特征值与次小特征值之差（ $L_{G}$ 最小特征值为0），注意到矩阵 $G$ 的高度稀疏导致 $L_{G}$ 的特征值间差异大，容易导致计算不稳定。不同于一般基于扩散的模型求解过程中涉及计算 $L_{G}$ 奇异值矩阵的指数，该脑网络构建过程避免了指数运算，在一定程度上增加了稳定性。需要注意的是，在静息状态下 $S$ 除了受到大脑解剖结构的限制外，还受到大脑活动的自发波动的影响^［

37］，因而不能视其与

S

等价。但在fMRI模态缺失的情况下，

Z

能够揭示大脑部分脑区的功能连接模式，有助于图CycleGAN模拟大脑的功能网络。

图3 构造脑结构网络的流程

Fig.3 Process of constructing a brain structural network

1.2　图CycleGAN模型构建

图CycleGAN模型具有两个生成器，不妨记为T和F，它们的框架相似，都涉及图卷积神经网络（Graph convolutional network， GCN）^［

38］与图注意力机制（Graph attention network， GAT）^{［参考文献 39

百度学术}39］。GCN能够通过聚合邻居节点信息来捕获脑网络的局部邻域信息，而GAT通过引入多头注意力机制动态调整节点与邻居节点间的权重，可以学习脑网络的全局结构信息。因此，生成器T和F通过交替使用GCN和GAT（图4），不仅能够捕捉脑网络的重要特征，而且增强了模型的鲁棒性。

图4 图CycleGAN模型框架

Fig.4 Framework of Graph‑CycleGAN model

每个由图CycleGAN生成器生成的脑网络实际上是无向图，同样能以特征矩阵与邻接矩阵的形式来表示。记脑功能网络 $X$ 经过生成器T获得的生成脑结构网络为 $\tilde{Y} = (\tilde{Z}; \tilde{G})$ ，即 $\tilde{Y} = T (X)$ ，其中 $T (•)$ 表示生成器T， $\tilde{Z}$ 和 $\tilde{G}$ 分别表示节点特征以及节点间的连接强度；脑结构网络 $Y$ 经过生成器F获得的生成脑功能网络为 $\tilde{X} = (\tilde{S}; \tilde{A})$ ，即 $\tilde{X} = F (Y)$ ，其中 $F (•)$ 表示生成器F， $\tilde{S}$ 和 $\tilde{A}$ 分别表示节点特征以及节点间的连接关系。将图CycleGAN生成器T和F的损失分为3部分，分别为身份损失 $L_{i d e n t i t y}$ 、对抗损失 $L_{G A N}$ 和循环一致性损失 $L_{c y c l e}$ 。具体来说，由于大脑神经网络中神经元间的直接连接较少，结构连接高度稀疏，如图2（a，b）所示。这种稀疏的连接模式不但保证了信息传递的高效，而且利于大脑动态调整以适应不同的任务。因此，图CycleGAN模型在图学习过程中通过增加 $L_{1}$ 正则化项来增加模型的稀疏性，于是身份损失函数 $L_{i d e n t i t y}$ 可以表示为

L_{i d e n t i t y} (\tilde{X}, \tilde{Y}; λ_{1}) = \sum_{i = 1}^{n} {‖Y_{i} - {\tilde{Y}}_{i}‖}_{2}^{2} + \sum_{i = 1}^{n} {‖X_{i} - {\tilde{X}}_{i}‖}_{2}^{2} + λ_{1} {‖\tilde{G}‖}_{1}

（15）

式中： ${\tilde{Y}}_{i}$ 为脑功能网络 $X$ 中脑区 $i$ 经过生成器T获得的图嵌入； ${\tilde{X}}_{i}$ 为脑结构网络 $Y$ 中脑区 $i$ 经过生成器F获得的图嵌入； $λ_{1}$ 为正则化参数，用于控制生成脑结构网络 $\tilde{Y}$ 的稀疏度。

记生成脑结构网络 $\tilde{Y}$ 经过生成器F获得的循环脑功能网络为 $\hat{X} = (\hat{S}; \hat{A})$ ，即

\hat{X} = F (\tilde{Y}) = F (T (X))

（16）

生成脑功能网络 $\tilde{X}$ 经过生成器T获得的循环脑结构网络为 $\hat{Y} = (\hat{Z}; \hat{G})$ ，即

\hat{Y} = T (\tilde{X}) = T (F (Y))

（17）

图CycleGAN模型希望能够实现 $X$ 与 $Y$ 的相互生成，并且在训练模型的过程中能够保持真实脑网络的特征。因此，定义如下带稀疏正则化项的循环一致性损失函数 $L_{c y c l e}$ 为

L_{c y c l e} (\hat{X}, \hat{Y}; λ_{2}) = \sum_{i = 1}^{n} {‖X_{i} - {\hat{X}}_{i}‖}_{2}^{2} + \sum_{i = 1}^{n} {‖Y_{i} - {\hat{Y}}_{i}‖}_{2}^{2} + λ_{2} {‖\hat{G}‖}_{1}

（18）

式中： ${\hat{Y}}_{i}$ 为生成脑结构网络 $\tilde{Y}$ 中脑区 $i$ 经过生成器F获得的图嵌入； ${\hat{X}}_{i}$ 为生成脑功能网络 $\tilde{X}$ 中脑区 $i$ 经过生成器T获得的图嵌入； $λ_{2}$ 为正则化参数，用于控制循环脑结构网络 $\hat{Y}$ 的稀疏度。

不妨记图CycleGAN的两个判别器分别为 $D_{X}$ 和 $D_{Y}$ ，定义对抗损失函数 $L_{G A N}$ 为

L_{G A N} (\tilde{X}, \tilde{Y}) = E_{Y} [- l o g (D_{Y} (\tilde{Y}))] + E_{X} [- l o g (D_{X} (\tilde{X}))]

（19）

式中： $D_{Y} (\tilde{Y})$ 为判别器 $D_{Y}$ 将生成脑网络 $\tilde{Y}$ 判别为真实脑网络的可能性； $D_{X} (\tilde{X})$ 为判别器 $D_{X}$ 将生成脑网络 $\tilde{X}$ 判别为真实脑网络的可能性。

图CycleGAN生成器T和F的目标是得到如下目标函数的最优解

\underset{T, F}{m i n} L_{i d e n t i t y} + α L_{G A N} + β L_{c y c l e}

（20）

式中 $α$ 和 $β$ 为常数。

图CycleGAN的两个判别器 $D_{X}$ 和 $D_{Y}$ 的输出表示将输入样本判别为真实样本的可能性（值介于0~1之间）。判别器的学习目标是学习真实样本的数据分布特征，而非识别生成数据与真实数据的差异，因此需要增强判别器的图学习能力。不同于生成器通过使用GAT来增强模型图表示学习的灵活性，判别器 $D_{X}$ 和 $D_{Y}$ 通过引入基于自注意力机制的图池化方法（Self‑attention graph pooling， SAGPooling）^［

40］来捕捉脑网络中结构和节点的关系，能够适应区分真假的图分类任务。虽然生成器T和F密切相关，但判别器

D_{X}

和

D_{Y}

可以看作是相互独立的分类器：判别器

D_{X}

尝试区分真实脑功能网络

X

和生成器F生成的脑功能网络

\tilde{X}

；判别器

D_{Y}

尝试区分真实脑结构网络

Y

和生成器T生成的脑结构网络

\tilde{Y}

。判别器

D_{X}

和

D_{Y}

的目标都是提升区分真实脑网络和生成脑网络的能力，具体来说就是最大化对真实样本和生成样本的判别准确率。因此，两个判别器的目标函数表达式分别为

\underset{D_{Y}}{m a x} E [- l o g (D_{Y} (Y))] + E [- l o g (1 - D_{Y} (\tilde{Y}))]

（21）

\underset{D_{X}}{m a x} E [- l o g (D_{X} (X))] + E [- l o g (1 - D_{X} (\tilde{X}))]

（22）

式中： $D_{Y} (Y)$ 和 $D_{X} (X)$ 分别为判别器 $D_{Y}$ 和判别器 $D_{X}$ 将真实脑网络识别为真的可能性， $D_{Y} (\tilde{Y})$ 和 $D_{X} (\tilde{X})$ 分别为判别器 $D_{Y}$ 和判别器 $D_{X}$ 将生成脑网络识别为真的可能性。

1.3　脑网络融合与分类框架构建

如前所述，多模态脑网络能够充分利用大脑结构与功能成像数据并挖掘其特征，从而提高癫痫等神经系统疾病的诊断准确率。为了验证图CycleGAN方法的有效性，本文提出一种能够融合真实脑网络与生成脑网络的多模态脑网络融合分类框架并用于癫痫诊断中。该分类框架分为以下3部分：（1）对于缺失某种模态的数据，充分利用已有模态信息，通过图CycleGAN模型生成缺失模态的脑网络；（2）通过融合生成脑网络与真实脑网络，构建多模态脑网络；（3）利用图学习捕捉稀疏多模态脑网络的特征，然后借助全连接层将图学习的特征映射到不同类别的决策空间。

不妨将融合生成脑网络与真实脑网络的多模态脑网络统一表示成 $B_{n e w} = (S_{n e w}; G_{n e w})$ ，其中 $S_{n e w}$ 和 $G_{n e w}$ 分别表示多模态脑网络的节点特征矩阵与带权重的邻接矩阵，即描述大脑的功能连接与结构连接。虽然图CycleGAN模型生成的脑网络与真实脑网络具有一定的相似性，但在融合过程中倾向于优先保留真实脑网络的信息再进一步融合，以保证 $B_{n e w}$ 的可靠性。受扩展卡尔曼滤波器方法^［

41］的启发，考虑根据如下格式融合真实脑网络

X = (S; A)

与生成脑网络

\tilde{Y} = (\tilde{Z}; \tilde{G})

，即

S_{n e w} = S, G_{n e w} = R e L U (A + ω (\tilde{G} - A))

（23）

式中： $ω$ 是与 $A$ 和 $\tilde{G}$ 有关的常数； $R e L U (x) = m a x (x, 0)$ 是一种激活函数，融合过程如图5（a）所示。同样地，按如下格式融合真实脑网络 $Y = (Z; G)$ 与生成脑网络 $\tilde{X} = (\tilde{S}; \tilde{A})$

S_{n e w} = Z + k (\tilde{S} - Z)

（24）

G_{n e w} = G

（25）

式中 $k$ 是与 $S$ 、 $Z$ 有关的常数，融合过程如图5（b）所示。

图5 多模态脑网络融合分类框架

Fig.5 Framework of multimodal brain network fusion classification

该融合多模态数据的分类框架的损失函数分为两部分，即生成脑网络与真实脑网络的融合损失函数 $L_{f u s i o n}$ ，以及分类损失函数 $L_{c r o s s}$ 。具体来说，带稀疏正则化项的融合损失函数 $L_{f u s i o n}$ 可定义为

L_{f u s i o n} (S_{n e w}, G_{n e w}; λ_{3}) = μ {‖G_{n e w} - G‖}_{2}^{2} + (1 - μ) \sum_{i = 1}^{n} {‖S_{n e w_{i}} - S_{i}‖}_{2}^{2} + λ_{3} {‖G_{n e w}‖}_{1}

（26）

式中： $S_{i}$ 和 $S_{n e w_{i}}$ 分别为 $X$ 和 $B_{n e w}$ 中脑区 $i$ 特征的图表示；常数 $μ \in \{0,1\}$ ， $μ = 1$ 时表示融合 $X$ 与 $\tilde{Y}$ ， $μ = 0$ 表示融合 $Y$ 与 $\tilde{X}$ ； $λ_{3}$ 为正则化参数。用二分类交叉熵损失函数来定义分类损失函数 $L_{c r o s s}$ ，可表示为

L_{c r o s s} (p) = - [y l o g (p) + (1 - y) l o g (1 - p)]

（27）

式中： $y$ 为真实标签（0或1）； $p$ 为该融合多模态的分类框架预测为正类的概率。因此该框架的目标函数格式为

\underset{B_{n e w}}{m i n} L_{f u s i o n} + γ L_{c r o s s}

（28）

式中 $γ$ 为常数。

2 实验设计和结果分析

2.1　数据采集

实验数据来源于南京大学医学院附属金陵医院，通过西门子Trio 3T扫描仪采集获得。共有217名参与者，其中正常者（Normal controls， NC）114人，额叶癫痫（Frontal lobe epilepsy， FLE）患者103人，详情可查看表1。Rs‑fMRI 的扫描重复时间为2 000 ms，回波时间为30 ms，翻转角度为90°，横向切片数目为30；视野为240 mm×240 mm，切片厚度为4 mm；间隙差距为0.4 mm；体素的大小为3.75 mm×3.75 mm×3.75 mm。在数据预处理后，首先使用解剖自动标记（Anatomical automatic labeling， AAL）模板将 rs‑fMRI 图像划分为90个ROIs。对于每个区域，取所有体素的rs‑fMRI时间序列的平均值作为时间序列。计算当前ROI在这个时间过程中与其他ROIs的时间过程之间的Pearson相关系数，并删去所得矩阵的对角元。通过Fischer的 $z$ 转换将Pearson相关系数转换为满足正态分布的数据后，将其转化为 $z$ 分数，并根据Bartlett理论来校正自由度，由此建立静息态脑功能网络。两个ROIs间的结构连接强度通过计算白质纤维束数量得到。本文模拟了由90个脑区组成的脑结构网络和脑功能网络。

表1 额叶癫痫数据集

Table 1 Frontal lobe epilepsy dataset

类型	数量/人	男/女	年龄分布/岁	平均年龄/岁
NC	114	58/56	20~38	26.2
FLE	103	53/50	17~51	24.1

2.2　实验设计与评价指标

在本实验中，通过融合多模态脑网络的分类框架在数据集上的分类效果，将提出的图CycleGAN方法与基线方法生成的脑网络进行比较。根据脑结构网络预测，脑功能网络的基线方法包括：（1）扩散模型（Diffusion model， DM）^［

18］，基于图扩散推导出的脑动力学网络，其中扩散量在图上进行随机游走；（2）低秩近似表示（Low rank approximation， LRA），用较少的基向量来近似节点特征特征；（3）线性网络模型（Linear network model， LNM）^{［参考文献 5

百度学术}5］，在高斯噪声源的驱动下，通过关联不同脑区间信号的混合来获得脑区间的功能连通性；（4）GCN模型，在LRA的基础上应用由两层图卷积神经网络层堆叠构建的网络。通过脑功能网络预测，脑结构网络的基线方法包括：（1）逆DM模型（Inverse DM， IDM），DM的反演；（2）K‑means聚类法，一种无监督学习算法，通过迭代将节点划分为

K

个簇；（3）截断奇异值分解法（Singular value decomposition， SVD），对功能连接数据设定阈值进行截断后进行奇异值分解得到左奇异矩阵和右奇异矩阵，通过寻找最优权值矩阵

W

，结合奇异向量生成邻接矩阵的近似；（4）LRA，用较少的基向量来近似结构连接矩阵；（5）GCN，在截断奇异值分解法的基础上应用由两层图卷积神经网络层堆叠构建的网络。

在多模态脑网络构建过程中，DTI模态数据的缺失较为常见。一方面，脑功能网络的获取难度较低，即使是缺失fMRI模态数据，现有生成方法也能够预测和生成较高质量的脑功能网络；另一方面，DTI扫描设备不但设备成本高、操作要求高、敏感性高，而且扫描时间长，容易增加患者负担。此外，DTI数据中包含详细的脑部结构信息，涉及待诊者的隐私保护问题，因而公开数据较少。由于上述种种原因，在多模态融合诊断实验中，更加侧重于处理DTI模态缺失的情况。换而言之，本实验将只考虑真实脑功能网络与生成脑结构网络的融合诊断，即按一定比例随机选取真实脑网络与各生成方法的生成脑网络，并按式（23）融合后用于分类。本文评估了融合多模态数据的分类模型在癫痫数据集上的诊断结果，并采用10倍交叉验证来验证其性能，即将数据集平均分为10个子集，所有子集全部被训练和测试。为了衡量该模型的分类效果，实验采用的分类指标包括准确性（Accuracy， ACC）、敏感性（Sensitivity， SEN）和特异性（Specificity， SPE）、均值（Balanced accuracy， BAC）、F₁分数以及ROC曲线下面积（Area under curve， AUC）。它们的计算表达式分别为

A C C = \frac{T P + T N}{T P + F N + T N + F P}

（29）

S E N = \frac{T P}{T P + F N}

（30）

S P E = \frac{T N}{T N + F P}

（31）

B A C = \frac{S P E + S E N}{2}

（32）

P P V = \frac{T P}{T P + F P}

（33）

F_{1} = 2 \times \frac{S E N \times P P V}{S E N + P P V}

（34）

式中：TP、TN、FP和FN分别表示实际为癫痫患者且预测也为癫痫患者的样本数、实际为正常者患者且预测也为正常者的样本数、实际为正常者但预测为癫痫患者样本数和实际为癫痫患者但预测为正常者的样本数。

2.3　实验结果

由图CycleGAN模型生成的脑网络（统称为生成样本）实际上是无向图，分别对 $\tilde{X}$ 和 $\tilde{Y}$ 进行特征提取可获得带权重的邻接矩阵 $\tilde{A} \in R^{n \times n}$ 和特征矩阵 $\tilde{Z} \in R^{n \times n}$ ，前者描述了节点间的连接关系或边的权重，后者则反映了节点间的功能连接强度或节点间的相关性。图6展示了真实样本的脑网络，其中图6（a）为脑功能网络的特征矩阵 $S$ ，图6（c）为脑结构网络的结构连接矩阵 $G$ 。不难发现，大脑各脑区间的物理连接稀疏而功能联系密切。此外，在没有直接物理连接的区域也能观察到强功能连接，这验证了大脑处理信息的高效性。图6（b， d）进一步展示了真实样本的频率（数）分布直方图，以便评估各生成方法在模拟脑功能网络或脑结构网络时的表现。

图6 真实样本的脑网络

Fig.6 Brain networks of real samples

图7展示了各生成方法在fMRI模态缺失情况下利用DTI模态生成脑功能网络的效果，其中第1行为脑网络的节点特征矩阵 $Z$ ，第2行为各脑区相关性的频数分布直方图，第3行为真实样本与生成样本的节点特征矩阵的平均绝对误差，即 $S$ 与 $Z$ 的平均绝对误差。对比图6（a~b）和图7（e），不难看出，本文提出的图CycleGAN模型生成的样本与真实样本具有一定的相似性。换而言之，图CycleGAN模型生成的脑功能网络与真实样本的功能脑网络相比，虽然在局部细节上仍存在差距，比如部分功能连接强度较弱，但仍能够描述大脑功能连接模式的主要信息。其他生成方法，如GCN，在模拟的各脑区间的功能连接模式时，呈现出较弱的连接强度。相比之下，假设信息传递是沿着大脑通路传播的DM，生成的脑功能网络则显得较为复杂，需要减少一些冗余连接来优化模拟效果。

图7 各生成方法的生成脑功能网络效果对比图

Fig.7 Comparison of generated FC across different generation methods

图8展示了各生成方法在DTI模态缺失的情况下利用fMRI模态生成脑结构网络的效果，其中第1行为脑网络的邻接矩阵 $\tilde{A}$ ，第2行为各脑区相关性的频率分布直方图，第3行为真实样本与生成样本的邻接矩阵平均绝对误差，即 $G$ 与 $\tilde{A}$ 的平均绝对误差。从数值结果来看，IDM和LRA生成的脑结构网络能够基本模拟大脑脑区间的连接关系，但存在部分冗余连接，影响其准确性；K‑means的缺陷在于它只模拟了脑区间的连接关系，难以模拟连接强度，使其精度降低，因而其误差最大；SVD生成的脑结构网络较为复杂，脑区间的连接最稠密，可能会导致计算资源的浪费；GCN生成的脑结构网络则过于稀疏，未能从功能连接模式上推断出部分脑区的结构连接关系。与其他生成方法相比，图CycleGAN模型生成的脑结构网络虽然在连接强度等细节上与真实样本相比有所差异，但保持了高稀疏性，并且具有较高的相似性，表明了图CycleGAN模型在DTI模态缺失时利用fMRI模态模拟大脑结构网络上的可靠性。

图8 各生成方法的生成脑结构网络效果对比图

Fig.8 Comparison of generated SC across different generation methods

一方面，由于脑网络的邻接矩阵 $G$ 和 $\tilde{A}$ 的特征值主要揭示了脑区间连接强度的分布特性，即大脑网络全局拓扑结构特性，因此本实验描绘了生成样本脑网络的 $\tilde{A}$ 与真实样本脑网络的 $G$ 的特征曲线，如图9（a）所示。 $G$ 和 $\tilde{A}$ 的趋势相近，这表明生成的脑网络和真实脑网络在全局拓扑结构上存在相似性。另一方面， $G$ 和 $\tilde{A}$ 的最大特征值通常与脑网络中的核心节点或连接有关，两者间的差距意味着生成的脑网络在核心结构上相对稀疏。换而言之，矩阵 $G$ 和 $\tilde{A}$ 的拉普拉斯算子 $L_{G}$ 和 $L_{\tilde{A}}$ 的特征值能够揭示脑区间的相对连接强度或脑区间的功能模式，反映局部拓扑结构特性，因此本文进一步描绘了 $L_{G}$ 和 $L_{\tilde{A}}$ 的特征曲线，如图9（b）所示。 $L_{G}$ 和 $L_{\tilde{A}}$ 的特征曲线趋势相近，表明生成的脑网络与真实脑网络的局部拓扑结构上存在相似性，这体现在脑区间相对连接强度等方面。

图9 特征值曲线

Fig.9 Eigenvalue curves

为了进一步评估生成脑网络的有效性以及融合真实脑网络与生成脑网络的多模态融合诊断框架在生成数据上的适用性，本文在癫痫诊断上设置了对照组，如表2所示，分别呈现了真实样本的多模态脑网络、单模态脑结构网络和单模态脑功能网络在癫痫数据集上的分类结果。对融合结构与功能的多模态脑网络框架来说，多模态脑网络在癫痫数据集上的分类准确率最高，为83.43%，并且其他指标也都明显高于单模态脑网络，这表明提出的多模态脑网络融合诊断框架能够充分利用脑结构网络与脑功能网络之间潜在的互补关系，更好地捕捉疾病在大脑结构与功能上的异常表现，从而提高了诊断准确率。

表2 真实脑功能网络与脑结构网络在癫痫数据集上的分类结果

Table 2 Classification results of real FC and SC on epilepsy datasets ( % )

类别	ACC	BAC	AUC	F₁
多模态脑网络	83.43	73.02	73.03	71.74
仅脑结构网络	70.50	57.52	56.95	54.79
仅脑功能网络	62.12	50.00	52.25	34.91

融合真实脑功能网络 $X$ 与图CycleGAN方法或其他方法的生成脑结构网络 $\tilde{Y}$ 的多模态脑网络 $B_{n e w}$ 在癫痫数据集上的实验结果如表3所示。在该分类任务中，对比其他生成脑结构网络的方法，本文提出的图CycleGAN方法表现出了最高的准确率，分别是82.12%、80.74%和76.00%。注意到， $B_{n e w}$ 在BAC、AUC等分类指标上的结果要高于真实样本的多模态脑网络，分析了可能造成这种现象的原因。首先，本实验数据集采集自医院，正常者与患者的比例约为1.1∶1，在一定程度上避免了类别不平衡对多模态融合分类模型的影响；其次，对于图CycleGAN方法，上文提到其生成的脑结构网络与真实脑网络相似，但在核心结构上相对稀疏，局部连接强度存在差异，其他生成方法如IDM、LRA和GCN的生成脑结构网络也能够基本模拟真实脑网络的基础结构，这种差异使得分类器在分类任务中更容易区分正常者与患者。此外，脑疾病诊断的可解释性工作指出，一些脑区发生异常是引起脑部疾病发生的关键原因，而各生成方法生成的脑结构网络的这种差异性可能恰好凸显了这些关键脑区的异常。通过对比表3中不同模态缺失比例下的实验结果，可以发现，当所有待诊者的DTI模态数据完全缺失时，图CycleGAN模型的生成效果依然稳定，其原因可能是大脑物理结构的稀疏性，即短时间内个体间脑功能网络的微小差异对于脑网络的结构影响有限。这在一定程度上表明，即使在DTI模态数据不完整的情况下，图CycleGAN模型也能通过学习fMRI数据的特征来捕捉脑网络的主要结构。

表3 生成脑结构网络与真实脑功能网络在癫痫数据集上的分类结果

Table 3 Classification results of the generated SC and the real FC on epilepsy datasets ( % )

模态完全缺失比例	方法	ACC	BAC	AUC	F₁
20%	IDM	77.42	77.21	73.18	75.52
	K‑means	68.74	67.70	62.20	66.90
	SVD	72.92	71.95	69.59	66.01
	LRA	70.52	68.34	65.54	64.21
	GCN	77.90	77.63	75.21	78.77
	Graph‑CycleGAN	82.12	81.71	83.04	77.86
60%	IDM	79.31	78.02	77.83	77.29
	K‑means	77.99	78.04	77.52	78.16
	SVD	77.49	76.24	74.62	74.11
	LRA	69.24	68.59	66.35	63.45
	GCN	75.15	75.62	80.25	76.42
	Graph‑CycleGAN	80.74	80.07	81.72	78.81
100%	IDM	67.69	66.19	63.61	60.32
	K‑means	73.23	72.95	66.13	73.52
	SVD	74.20	72.51	66.35	67.15
	LRA	71.41	69.92	66.81	66.27
	GCN	71.39	71.43	67.79	68.52
	Graph‑CycleGAN	76.00	74.49	72.48	71.53

注：模态完全缺失比例=DTI模态数据完全缺失的个体数量/所有受试者数量。

3 结束语

本文提出了基于图学习和对抗生成学习的图CycleGAN方法，通过引入图学习来优化生成框架，使得该框架能够有效处理具有非欧式结构的图数据。在癫痫数据集上的实验结果表明，在某一模态数据完全缺失的情况下，无论是缺失fMRI数据还是DTI数据，图CycleGAN方法都能够利用已有模态信息以生成缺失模态的脑网络。此外，该生成脑网络与真实脑网络相似，并且在分类中取得了较高的准确率，这验证了图CycleGAN方法的有效性。然而，目前生成脑功能网络只能模拟大脑功能模式的主要信息，在局部细节上仍有较大的改进空间。针对这一问题，未来可以考虑采用更复杂的脑功能网络的描述方法，使得生成模型能够进一步捕捉大脑活动的细微变化。此外，作为两种从不同角度描述大脑的成像技术，fMRI和DTI数据可能存在互补的信息，在未来的研究中可以进一步挖掘并利用这些先验信息以生成更精确的脑网络。

参考文献

ZALESKY A, FORNITO A. A DTI-derived measure of cortico-cortical connectivity[J]. IEEE Transactions on Medical Imaging, 2009, 28(7): 1023-1036. [百度学术]

FINGER H, BÖNSTRUP M, CHENG B, et al. Modeling of large-scale functional brain networks based on structural connectivity from DTI: Comparison with EEG derived phase coupling networks and evaluation of alternative methods along the modeling path[J]. PLoS Computational Biology, 2016, 12(8): e1005025. [百度学术]

BISWAL B, YETKIN F Z, HAUGHTON V M, et al. Functional connectivity in the motor cortex of resting human brain using echo-planar MRI[J]. Magnetic Resonance in Medicine, 1995, 34: 537-541. [百度学术]

CORDES D, HAUGHTON V M, ARFANAKIS K, et al. Mapping functionally related regions of brain with functional connectivity MR imaging[J]. American Journal of Neuroradiology, 2000, 21(9): 1636-1644. [百度学术]

HONEY C J, SPORNS O, CAMMOUN L, et al. Predicting human resting-state functional connectivity from structural connectivity[J]. Proceedings of the National Academy of Sciences, 2009, 106: 2035-2040. [百度学术]

GU Z, JAMISON K W, SABUNCU M R, et al. Heritability and interindividual variability of regional structure-function coupling[J]. Nature Communications, 2021, 12: 4894. [百度学术]

ZAMANI E F, FASKOWITZ J, SLACK J, et al. Local structure-function relationships in human brain networks across the lifespan[J]. Nature Communications, 2022, 13: 2053. [百度学术]

YEO B T, KRIENEN F M, SEPULCRE J, et al. The organization of the human cerebral cortex estimated by intrinsic functional connectivity[J]. Journal of Neurophysiology, 2011, 106(3): 1125-1165. [百度学术]

ACHARD S, SALVADOR R, WHITCHER B, et al. A resilient, low-frequency, small-world human brain functional network with highly connected association cortical hubs[J]. Journal of Neuroscience, 2006, 26(1): 63-72. [百度学术]

BULLMORE E, SPORNS O. Complex brain networks: Graph theoretical analysis of structural and functional systems[J]. Nature Reviews Neuroscience, 2009, 10(3): 186-198. [百度学术]

MEUNIER D, LAMBIOTTE R, BULLMORE E T. Modular and hierarchically modular organization of brain networks[J]. Frontiers in Neuroscience, 2010, 4: 200. [百度学术]

WATTS D, STROGATZ S. Collective dynamics of “small-world” networks[J]. Nature, 1998, 393: 440-442. [百度学术]

LI Y, MATEOS G, ZHANG Z. Learning to model the relationship between brain structural and functional connectomes[J]. IEEE Transactions on Signal and Information Processing over Networks, 2022, 8: 830-843. [百度学术]

GLOMB K, MULLIER E, CARBONI M, et al. Using structural connectivity to augment community structure in EEG functional connectivity[J]. Network Neuroscience, 2020, 4(3): 761-787. [百度学术]

PATEL R S, BOWMAN F D, RILLING J K. A Bayesian approach to determining connectivity of the human brain[J]. Human Brain Mapping, 2006, 27(3): 267-276. [百度学术]

FRÄSSLE S, MANJALY Z M, DO G T, et al. Whole-brain estimates of directed connectivity for human connectomics[J]. NeuroImage, 2021, 225: 117491. [百度学术]

RAJ A, KUCEYESKI A, WEINER M. A network diffusion model of disease progression in dementia[J]. Neuron, 2012, 73(6): 1204-1215. [百度学术]

ABDELNOUR F, DAYAN M, DEVINSKY O, et al. Functional brain connectivity is predictable from anatomic network’s Laplacian eigen-structure[J]. Neuroimage, 2018, 172: 728-739. [百度学术]

LIÉGEOIS R, SANTOS A, MATTA V, et al. Revisiting correlation-based functional connectivity and its relationship with structural connectivity[J]. Network Neuroscience, 2020, 4(4): 1235-1251. [百度学术]

ZHU J Y, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C] //Proceedings of the 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017: 2242-2251. [百度学术]

VENKATARAMAN A, RATHI Y, KUBICKI M, et al. Joint modeling of anatomical and functional connectivity for population studies[J]. IEEE Transactions on Medical Imaging, 2012, 31(2): 164-182. [百度学术]

KARAHAN E, ROJAS-LÓPEZ P A, BRINGAS-VEGA M L, et al. Tensor analysis and fusion of multimodal brain images[J]. Proceedings of the IEEE, 2015, 103( 9): 1531-1559. [百度学术]

YANG J, ZHU Q, ZHANG R, et al. Unified brain network with functional and structural data[C]//Proceedings of Medical Image Computing and Computer Assisted Intervention‑MICCAI 2020. Cham: Springer, 2020. [百度学术]

ZHU Q, LI H, YE H, et al. Incomplete multi-modal brain image fusion for epilepsy classification[J]. Information Sciences, 2022, 582: 316-333. [百度学术]

MEDAGLIA J D, LYNALL M, BASSETT D S. Cognitive network neuroscience[J]. Journal of Cognitive Neuroscience, 2015, 27(8): 1471-1491. [百度学术]

黄嘉爽, 接标,丁卫平, 等. 脑网络分析方法及其应用[J]. 数据采集与处理, 2021, 36(4): 648-663. [百度学术]

HUANG Jiashuang, JIE Biao, DING Weiping, et al. Brain network analysis: Method and application[J]. Journal of Data Acquisition and Processing, 2021, 36(4): 648-663. [百度学术]

JENKINS G M, WATTS D G. Spectral analysis and its applications[M]. San Francisco: Holden-Day, 1968. [百度学术]

FOX M D, SNYDER A Z, VINCENT J L, et al. The human brain is intrinsically organized into dynamic, anticorrelated functional networks[J]. Proceedings of the National Academy of Sciences of the United States of America, 2005, 102(27): 9673-9678. [百度学术]

ZHAN L, JENKINS L M, WOLFSON O E, et al. The significance of negative correlations in brain connectivity[J]. The Journal of Comparative Neurology, 2017, 525: 3251-3265. [百度学术]

MA J, YUAN Y, WANG Y, Hypergraph Laplacian diffusion model for predicting resting brain functional connectivity from structural connectivity[C]//Proceedings of the 2022 16th IEEE International Conference on Signal Processing (ICSP). Beijing, China: IEEE, 2022: 500-504. [百度学术]

ZHU Q, YANG J, XU B, et al. Multimodal brain network jointly construction and fusion for diagnosis of epilepsy[J]. Frontiers in Neuroscience, 2021, 15: 734711. [百度学术]

HE X, NIYOGI P. Locality preserving projections[C]//Proceedings of the 16th International Conference on Neural Information Processing Systems. Cambridge, MA: MIT Press, 2003: 153-160. [百度学术]

ZHANG G, ZHU Q, YANG J, et al. Functional brain connectivity hyper-network embedded with structural information for epilepsy diagnosis[J]. International Journal of Image and Graphics, 2021, 22(4): 2250029. [百度学术]

LUTZ P. Automatic early stopping using cross validation: Quantifying the criteria[J]. Neural Networks, 1998, 11(4): 761-767. [百度学术]

ZHANG Y. On the acceleration of optimal regularization algorithms for linear ill-posed inverse problems[J]. Calcolo, 2023, 60: 6. [百度学术]

ZHANG Y, CHEN C. Stochastic asymptotical regularization for linear inverse problems[J]. Inverse Problems, 2023, 39(1): 015007. [百度学术]

FOX M D, RAICHLE M. Spontaneous fluctuations in brain activity observed with functional magnetic resonance imaging[J]. Nature Reviews Neuroscience, 2007, 8: 700-711. [百度学术]

BRUNA J, ZAREMBA W, SZLAM A, et al. Spectral networks and locally connected networks on graphs[J]. Computing Research Repository, 2013. DOI: 10.48550/arXiv. 1312.6203. [百度学术]

VELICKOVIC P, CUCURULL G, CASANOVA A, et al. Graph attention networks[C]//Proceedings of International Conference on Learning Representations. Toulon, France: [s.n.], 2017. [百度学术]

LEE J, LEE I, KANG J. Self-attention graph pooling[C]//Proceedings of International Conference on Machine Learning. Long Beach, USA: [s.n.], 2019. [百度学术]

KALMAN R E. A new approach to linear filtering and prediction problems[J]. ASME Journal of Basic Engineering March, 1960, 82(1): 35-45. [百度学术]

您是本站第访问者

通信地址：南京市御道街29号南京航空航天大学(明故宫校区)

邮编：210016 传真：025-84892742

电话：025-84892742 E-mail：sjcj@nuaa.edu.cn

技术支持：北京勤云科技发展有限公司

基于图学习的缺失脑网络生成及多模态融合诊断方法 PDF

摘要

关键词

引 言

1 方 法

1.1 脑网络构建

1.2 图CycleGAN模型构建

1.3 脑网络融合与分类框架构建