我国学者在脉冲神经网络的类脑学习算法方面取得进展

2024-04-10| 查看: 6 |原作者: 国基委：曹淼戴亚飞

摘要: 国家自然科学基金项目（批准号：T2350003、T2341007）等资助下，国科大杭州高等研究院陈洛南研究员团队在脉冲神经网络的类脑学习算法方面取得进展。

图混沌脉冲反向传播算法的原理示意图在国家自然科学基金项目（批准号：T2350003、T2341007）等资助下，国科大杭州高等研究院陈洛南研究员团队在脉冲神经网络的类脑学习算法方面取得进展。相关研究成果以“脑启发的混沌脉冲反向传播（Brain-inspired Chaotic Spiking Backpropagation）”为题，于2024年1月30日发表在《国家科学评论》（National Science Review）杂志上。论文链接：https://doi.org/10.1093/nsr/nwae037。深度神经网络已经成为工程和科研领域的基本工具之一，在图像识别、机器翻译和蛋白质结构预测等方向都有着广泛应用。然而，深度神经网络仍具有缺陷，如时空信息表征效率低、自组织学习能力弱、硬件实现难度大且能耗远超人类大脑等。相较于深度神经网络，脉冲神经网络具有更好的生物可解释性、更强的时空表征能力和更低的能耗，因此被誉为第三代人工神经网络。但是，脉冲神经网络难以直接高效地训练，使得它在目标任务上的准确率远不及同规模的传统深度神经网络，极大地限制了脉冲神经网络的应用。受大脑工作模式启发，陈洛南团队开发了混沌脉冲反向传播算法（CSBP），通过引入损失函数使网络权重产生类似大脑中的混沌，并进一步利用混沌的遍历性和伪随机性，显著提高了脉冲神经网络的学习性能。该工作发现CSBP 的学习过程最初是混沌的，随后出现各种分叉动力学，最终退化为梯度动力学并收敛。CSBP 在神经形态数据集（如DVS-CIFAR10和 DVS-Gesture）和大规模静态数据集（如CIFAR100和ImageNet）上的准确性和鲁棒性都明显优于目前最先进的方法。该工作为高效训练脉冲神经网络提供了一个重要的工具，并为理解大脑的学习过程提供了新的见解。

意见反馈

联系我们

意见反馈

我国学者在脉冲神经网络的类脑学习算法方面取得进展

相关分类