解析循环神经网络计算能力背后的结构设计原则

揭示循环神经网络计算能力背后的结构设计原则

Identifying structural design principles shaping thecomputational abilities of recurrent neural networks

https://arxiv.org/pdf/2606.23874

摘要

理解神经网络的架构如何塑造其执行的计算，是神经科学和机器学习中的一个核心挑战。尽管特定的电路架构已与特定的网络计算联系起来，并且已经发现了广泛网络类别表达能力的理论界限，但我们仍然缺乏将有限网络的结构与其计算能力联系起来的普遍原则。在这里，我们通过训练大量不同的网络来计算大量布尔函数，将循环神经网络的计算能力表征为其连接性的函数。对于小型网络，我们构建了完整的“网络-函数”性能“目录”，这揭示了计算能力在不同架构之间差异很大，大多数网络表现出较差的性能，并且大多数函数很难计算。然而，我们表明，在网络中拥有局部的 2-环和 3-环能显著增强其计算能力，并且具有这些环的网络通常是能够解决特定函数的最小架构。我们进一步表明，一小部分结构统计数据可以准确预测网络的性能。将我们的分析扩展到大型网络表明，典型的网络甚至无法逼近随机选择的函数。令人惊讶的是，向网络中添加少量稀疏连接的受生物学启发的中间神经元会显著增加计算能力。与小型网络一样，添加短环提高了网络的能力，其表现优于无环或可达性匹配的对照组。因此，我们的结果将局部环确定为将神经连接与计算能力联系起来的设计原则，并提供了一个通用框架来探索计算网络中的结构-功能关系。

1 引言

真实世界网络的架构通常展现出反映其功能设计或发育过程的结构。例如，幂律或对数正态度分布常见于生物、社会或语言网络中，赋予其对错误和故障的鲁棒性 [1, 2]。这些结构可以通过不同的、相对简单的发育过程来解释，如偏好依附、空间分支和竞争 [3, 4]。同样，在生物和工程网络中，小型子网络“模体”（motifs）的出现频率远高于随机预期 [5]，并且已被与特定的计算角色联系起来 [6]。生物神经网络 [7, 8] 和人工神经网络 [9, 10] 所执行的卓越计算，以及它们在监督 [11]、无监督 [12] 或强化学习 [13, 14] 中的学习能力，使它们成为研究网络结构与其计算能力之间关系的特别有吸引力的系统。

神经回路详细连接图谱（或称“连接组”，connectomes）的重建 [15, 16, 17] 现在使得探索神经回路的精细结构与其可能执行的功能之间的关系成为可能 [18, 19]。虽然在少数情况下，架构与功能之间的关系已被映射和理解 [20, 21, 22]，但大多数回路并没有反映功能的清晰结构设计或对称性；虽然模拟特定的连接组可能在特定情况下反映回路的功能 [23, 24]，但这些并不能提供对这些映射的普遍理解。令人惊讶的是，神经回路架构的生成模型表明，它们可能由少量的生物和物理特征来解释 [25, 26, 27, 28]，但目前尚不清楚这些构建模块如何影响网络能够学习执行哪些计算任务，或者某些结构属性如何增强计算性能。

与生物神经网络典型的循环、稀疏架构及其能量效率相比，受真实神经网络启发的人工神经网络通常非常不同。特别是，许多这些网络依赖于高度前馈（feed-forward）的架构，其关键结构属性是网络的深度和层的宽度、神经元的激活函数以及专门的层结构，如全连接层、卷积层或注意力层。基础理论工作表明，具有指数宽度的前馈神经网络可以逼近任何连续函数 [29]，以及电路能计算什么的下界和上界 [30]，这些甚至已被扩展到某些神经网络模型 [31]。此外，深度在决定神经网络的能力方面已被证明在经验和理论上都发挥作用 [32, 33, 11]。PAC学习 [34] 等理论框架试图回答人工神经网络能够学习逼近什么。然而，这些本质上大多是渐近的结果，并不能直接转化为有限网络的局部属性如何决定其能力和表达力。对于在许多神经回路中普遍存在的循环网络（recurrent networks）而言，情况尤其如此 [35, 36]，虽然它们的计算能力在理论和经验上都得到了探索 [37, 38, 39]，但这些方法是从动力学的角度而非连接结构的角度来表征计算的。

对于特定类别的神经元，即组合抑制阈值线性网络（combinatorial inhibitory threshold-linear networks），网络动力学的性质已被证明可以从网络的结构中预测出来 [40, 41]。然而，这些结果仅关注网络动力学的性质，而没有解决学习详细计算任务的挑战，且尚未推广到其他类别的神经元和网络。对脉冲神经网络模型的分析已经识别出能够预测网络架构功能相似性的简单架构特征 [26]。理想情况下，我们希望结合这些方法，形成从结构预测功能的普遍预测。

虽然图论和网络科学中的广泛工作已经表征了网络结构如何塑造信息流、鲁棒性以及网络上展开的动力学 [42, 43]，但特定图拓扑实际上能够执行哪些计算的问题受到的关注较少。我们采取直接的方法，通过在大量且丰富的计算任务上训练大量网络架构并评估其性能，来研究循环神经网络的连接性如何塑造它们能够执行的计算任务（图1）。可能的任务空间既庞大又难以精确定义 [44]，因此我们专注于布尔函数作为一个全面的任务空间：它们足够多样化，能够捕捉广泛的计算需求，并且学习任意布尔函数的能力提供了对网络容量的严格测试，包括有效拟合随机结构的能力。由于 NN 个神经元的不同连接图的数量和 NN 位上的布尔函数的数量随 NN 呈指数增长，穷举分析仅对小网络可行，在那里我们枚举所有架构和任务。对于较大的网络，我们求助于对网络架构和函数进行采样。结合小网络的穷举分析和更大规模的采样探索，我们寻求将网络连接性与学习能力联系起来的普遍原则，并理解动力学和信息流的结构约束如何塑造循环网络中的结构-功能关系。

2 结果

由于可能的网络拓扑数量和布尔函数数量使得对大 NN 模拟所有网络变得不可行，我们首先探索小型网络，在那里我们可以穷举地研究所有可能的网络架构并评估它们的计算能力，并利用从这些网络中获得的见解来随后研究大型网络，而在大型网络中我们必须使用采样技术。

2.1 计算能力在不同网络间差异巨大

因此，虽然许多网络被证明能力有限，且许多函数难以计算，但仍有部分网络显示出高容量，所以我们接下来询问网络拓扑的哪些特征塑造了其计算能力。

2.2 识别塑造网络计算能力的特定连接模式

比较所有

网络类的效用分数（Utility score）和最小求解器分数（Minimal Solver score）揭示了几种截然不同的行为（图 3E）：许多低效用的网络通常不是任何函数的最小求解器，而一些高效用的网络的最小求解器分数也接近于零，这意味着更稀疏的网络可以复制它们的解，且它们额外的连接是冗余的。一小部分网络类因其最小求解器分数几乎与其效用分数一样高（这是其最小求解器分数的上限）而脱颖而出。因此，这些网络类在结构上是高效的，因为它们解决了许多函数，并且对于几乎所有的这些函数，没有更简单的网络足以胜任。值得注意的是，这些正是拓扑结构包含短循环（short recurrent cycles）的网络类，这在上述每个性能指标中都表现突出。综上所述，我们要表明局部循环连接性不仅拓宽了网络的功能库，而且是以一种结构上不可约的方式做到的。因此，我们转而询问我们能多好地直接从网络结构预测其计算能力。

2.3 从结构预测网络的计算能力

我们直接检查了

网络的不同局部网络结构的计算预测能力。正如预期的那样，连接更多的网络通常实现更高的效用，但在相同的连接密度下，效用存在很大的方差（图 4A）。此外，一些稀疏网络的表现优于密集网络，这验证了连接的排列（而不仅仅是数量）决定了计算能力的观点。拥有更多长度为 2 或 3 的循环的网络也往往表现更好（图 4B-C），而“汇点”（sinks）——即没有传出连接的神经元，它们无法与网络的其余部分共享其计算，只能与读出神经元共享——会损害性能（图 4D）。我们还检查了 16 种非同构的 3 节点有向模体（motifs）中的每一种的存在如何与网络效用相关联（图 4E；模体分解算法见方法部分）。对于每个模体，我们聚合所有包含该模体的网络并比较它们的效用分布，使我们能够表征特定的局部连接模式如何塑造计算性能。（关于使用准确率进行的类似比较，见补充图 S4。）

我们接下来询问这些结构特征在单独使用或组合使用时，能多好地预测网络的效用（Utility）或准确率（Accuracy）——在每种情况下，我们训练一个单隐层前馈神经网络来预测效用或准确率，使用 50/50 的网络训练/测试划分，并在 20 次随机划分中重复进行（图 4F；见方法）。仅使用连接数量会产生糟糕的预测（图 4G），而使用完整的模体分解则实现了近乎完美的性能（图 4H）。引人注目的是，仅结合三个标量特征——连接数量、2-环数量和 3-环数量（

）——就捕捉到了组合模体集或完整连接矩阵的大部分预测能力（图 4I）。

因此，小型网络的计算能力很大程度上由少量的局部结构统计数据决定，其中短循环起着核心作用。我们转而询问大型网络的结构如何塑造其功能，以及我们从小型网络中获得的见解是否适用于大型网络。

2.4 添加稀疏连接的中间神经元挽救了大型网络的计算性能

这种迅速下降与电路复杂度的经典结果一致，这些结果表明大多数布尔函数需要指数级大的二值门电路来计算 [49]，因此在标准的复杂度理论假设下很难学习 [50]。这些结果反映出，使用匹配规模的循环网络来计算任意布尔函数可能在本质上是困难的。这可能意味着针对全套布尔函数这一目标存在固有的局限性，并且不同的网络架构“覆盖”了函数空间的不同部分。此外，生物神经网络显然依赖于大得多的架构，并且在某些情况下，电路设计似乎是为了专门的指定计算而优化的。另一方面，其他神经回路，如皮层柱，通常被认为是高度 adaptable（自适应的）并且能够实现非常不同的功能。

受真实神经网络架构的启发，我们发现一种简单的架构扩展极大地改变了我们网络的能力，并使它们能够克服这些看似困难的函数类别。我们向网络中增加了额外的“中间神经元”（interneurons），即那些不直接接收外部输入，但参与循环动力学的神经元（见图 5A 和图 5D 以了解有无中间神经元的网络示例）。由此产生的架构在计算性能上表现出显著的提升。随着中间神经元数量的增加，随机采样的循环网络的近似准确率迅速提高（图 5E）。关键在于，即使对于连接非常稀疏的网络（即那些在没有中间神经元时无用的网络），情况也是如此。因此，有了额外的中间神经元，即使是稀疏网络也变得能够学会计算任意复杂的布尔函数。这一点特别有趣，因为这些网络缺乏任何强加的架构结构，因为所有网络都是从 Erdős–Rényi 模型中采样的。

然后我们询问，是否对连接性施加额外的结构特征可以进一步提高网络的容量。因此，我们测试了带有中间神经元的不同类别的网络，并比较了它们的平均近似准确率作为网络大小和连接密度函数的表现（图 6A）。Erdős–Rényi (ER) 网络（对应于图 5 中的那些）随着大小和密度的增加而改善，在

平面上产生了强烈的准确率梯度。值得注意的是，遵循小网络中循环的预测性质——这些 ER 图包含许多短循环，特别是 3-环，其预期丰度随着网络规模的增加而迅速增加（图 6B）。因此我们询问，循环是否是网络性能的关键贡献者。为了测试这一点，我们研究了一组对于每个 NN 值具有匹配连接密度 pp 的有向无环图（DAGs）集合，并发现它们在整个大小和密度范围内表现都很差，这表明去除循环反馈（cyclic recurrence）严重限制了计算。然后我们询问，这种失败是否纯粹是由于缺乏循环，或者循环是否贡献了不同的结构属性，例如通过网络改进的信息传播。为了分离这个因素，我们引入了一个结构化的无环集合（“输入扩展 DAG”），其中强制输入神经元广泛投射到下游中间神经元（见方法）。输入扩展 DAG 的表现明显优于无约束的 DAG，表明故意确保输入传播可以在没有循环的情况下部分挽救性能，但在大部分参数范围内，它们仍然不如 ER 网络有效。然后我们询问，循环架构的优势是否可以仅由改进的信号传播来解释。因为我们的循环动力学运行

步，信息在计算期间最多可以遍历三个“跳数”（hops）。因此，我们构建了一个“无环可达性”（Reachability-without-Cycles）网络集合，该集合明确最大化 3 步可达性，即在三个有向跳数内从每个输入可达的神经元数量，同时禁止 3-环（方法）。如果循环仅仅是高效传播的袋里指标，那么这些网络在匹配的

因此我们询问，通过向 ER 网络中直接添加更多循环来丰富它们，从而创建“丰富 3-环”（Enriched 3-cycles）集合（方法），是否会进一步提高性能。我们发现情况确实如此，这与对其他类别网络的解释一致（图 6C）。此外，我们发现这种改进在稀疏状态下最为显著，而在较高密度下（此时 ER 网络已经包含许多短循环）则会减弱。

3 讨论

通过系统地训练数亿对循环神经网络和目标函数，我们映射了网络连接性如何塑造有限循环神经网络的计算能力。我们发现大多数布尔函数在本质上是难以计算的，并且大多数循环神经网络架构只能学会计算其中的一小部分。虽然增加连接性通常会提高性能，但我们发现具有相似连接密度的网络在计算能力上存在极高的方差。我们表明，长度为 2 和 3 的短循环是塑造计算能力的关键因素，并且在计算特定函数所需的最小架构中占据主导地位，而无环组织和汇点节点（sink nodes）则会损害性能。对于小型网络，我们表明它们的计算性能可以从连接数量和短循环数量中准确预测。将我们的分析扩展到少数几个以上的神经元表明，典型网络甚至无法逼近典型函数。但是，受生物神经网络中中间神经元的启发，我们发现添加一组稀疏连接且数量较少的此类中间神经元会极大地改变大型网络的容量，使它们变得极具能力，并且在这里，短循环同样预测并提高了计算容量。

虽然这与小网络模体（motifs）的计算解释一致 [5]，但短循环在这里的重要性值得注意，因为许多被广泛研究和使用的人工神经网络都是无环电路——从多层感知机 [51]，到卷积网络 [52]，再到 Transformer [53]。这一点特别有趣，因为在我们的有限且资源受限的网络中（反映了众多生物回路的约束），我们发现局部循环往往是能够计算许多函数的最小架构。一种自然的解释是，循环提供了一种短期记忆的形式，允许信息在网络中持久存在，并在网络的运行期间被重新处理，而不是在几次前馈步骤后消散。我们的可达性匹配无环模型（reachability-matched acyclic model）的失败支持了这一观点，该模型可以传播信息但无法保留它。

未来的工作将探索更大的网络，并旨在发现超越我们在此发现的局部原则的、新的且更精细的架构原则，这些原则支配着高容量的连接模式，特别是对于具有稀疏连接中间神经元的网络。另一个扩展是超越我们在此考虑的两种神经元非线性类别，因为它们可能被证明在性质上是不同的。此外，我们在这里专注于

的情况，因为这是允许在处理输入以及网络内部记忆中产生复杂依赖关系的最小时间尺度，但更大的 TT 值可能会揭示更长循环动力学的潜在容量和局限性。我们还注意到，虽然我们对布尔函数的选择是基于它们的表达能力和计算易处理性，但其他类别的函数可能会揭示网络空间或函数空间（从网络性能的角度来看）更复杂或有趣的组织。我们的分析专注于寻找产生正确计算或其逼近的一组网络权重，而忽略了由于我们的学习范式或初始条件采样导致的学习成功率的变异性。量化网络在网络的随机初始化下可靠达到工作解决方案的程度，将提供网络设计的另一个维度——区分对初始条件敏感的拓扑（这意味着共享相同拓扑但具有不同连接权重的网络空间的景观是崎岖的）与如此有效以至于对初始条件不敏感的拓扑 [54]。我们还注意到，其他学习机制可能会揭示更有能力的网络设计，以及探索用于训练网络的更广泛的初始条件，或者替代地，在计算性能的选择下进化架构，并观察哪些主导结构会出现 [55]。

我们希望本文提出的分析将有益于真实神经回路连接组及其功能的研究，并且或许还能作为探索人工神经网络架构设计的一个框架。特别是，我们在此提出的框架使得我们能够探究哪些类别的架构对特定类别的计算任务有益，即表征大型且多样化的网络类别的目录矩阵和准确率矩阵的内部结构。固定的随机连接循环网络在仅训练读出层或反馈输入时提供丰富动力学的能力 [37, 38, 56]，为我们工作的另一个潜在扩展提供了可能，即探讨在这些“储备池”（reservoirs）中引入结构是否能改善它们的性能或构造。在更偏向理论的方向上，未来的工作将致力于把我们的发现与直接从连接性推导网络动力学的解析方法联系起来，例如阈值线性网络的图论规则，这些规则展示了特定的模体如何产生特定的动力学状态 [40, 41]。在连接模体与网络能够执行的计算之间建立类似严格的联系，对于桥接网络架构、动力学和功能将大有裨益。

原文链接：https://arxiv.org/pdf/2606.23874

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2026-06-26，如有侵权请联系[email protected] 删除