近期,我院陈涛教授团队在生命科学领域知名学术期刊《eLife》上发表题为“Adjoint propagation of error signal through modular recurrent neural networks for biologically plausible learning”的研究论文。该研究受大脑皮层多尺度循环连接启发,构建了伴随传播(Adjoint Propagation, AP)的学习框架,在解决类脑计算中权重对称性难题的同时,系统揭示了神经元在多认知任务下的动态复用规律,为理解生物大脑认知灵活性、开发新型类脑芯片、发展自适应智能体提供了理论支撑。
目前,主流深度学习模型主要依赖反向传播(Backpropagation, BP)算法进行训练。BP算法要求误差信号通过与前向路径权重完全对称的连接进行反向传递,即面临“权重传输问题”(Weight Transport Problem)。在生物大脑皮层中,神经连接普遍呈现稀疏且不对称的特性,缺乏支持这种精确误差回传的生理学基础。针对上述挑战,陈涛教授团队提出了一种基于模块化循环神经网络(MR-RNN)的“伴随传播”(AP)框架。神经科学指出,大脑皮层区域间存在广泛的循环连接(Recurrent Connections),但其在监督学习中的具体计算机制尚待阐明。对此,该项工作提出了一个重要的观点,认为这种循环连接可以解决误差传递问题。该观点得到了扎实的理论模拟研究支持。
AP框架继承了模块化循环神经网络(MR-RNN)的架构优势,并利用循环网络模块固有的收敛动力学特性,实现了快速且可扩展的训练。该框架消除了反向传播(BP)算法中生物学不合理的对称反馈机制,创新性地在同一循环神经网络内实现了多任务误差的协同传播。实验表明,在兼顾神经生物学合理性的框架下,AP框架在标准基准任务中取得了与BP算法高度接近的分类精度,且展现出优异的鲁棒性。

此外,该研究深入探索了AP框架在动态资源分配方面的潜力。研究指出,生物神经元的跨任务复用是大脑高效实现认知灵活性的关键。实验表明,AP框架支持神经元在多个认知任务中的动态复用,即灵活招募相同的循环神经网络模块处理不同任务(如同时处理MNIST和Fashion-MNIST分类任务)。这种机制赋予了网络根据任务需求动态调配神经资源的能力,有效避免了为单一任务构建专用网络的资源冗余。这一发现与认知神经科学关于大脑认知灵活性(Cognitive Flexibility)的观点契合,佐证了稀疏且模块化的网络架构足以支撑稳健的认知功能。

实验结果显示,在MNIST、Fashion-MNIST及CIFAR-10等基准测试任务中,AP框架取得了与传统BP算法相近的分类精度,并表现出优异的鲁棒性。该研究在理论上缩小了人工神经网络与生物神经网络在学习原理上的差异,并通过阐明神经元跨任务的动态复用机制,为未来开发基于神经形态硬件的高能效、多任务自适应智能系统奠定了基础。
对此,《eLife》期刊编辑在同行评审中对该成果给予了高度评价:“该研究致力于解决当前大脑皮层层级监督学习理论中的一个特定难题:即推理信号的传入路径并未与潜在的误差相关连接形成双向映射。为此,研究团队提出了一项重要创见——这种结构上的不匹配可以通过神经网络的循环连接来有效弥合。这一创新理论已获得严谨理论模拟的有力支撑。”
论文第一作者为我院博士研究生刘卓,通讯作者为陈涛教授。南方电网深圳供电局有限公司王玮博士提供重要支持。该项研究工作得到了中国科学技术大学和中国科学院的相关经费资助。
论文链接:https://elifesciences.org/articles/108237#content
(集成电路学院、国家示范性微电子学院)
