首页 资讯 技术 商机 产品 企业 展会 品牌 百科 工程 应用 视频

快速发布求购 登录 注册
行业资讯 行业 财报 市场 标准 研发 新品 会议 盘点 政策 本站速递
全网搜索

科学家构建深度脉冲神经网络学习框架

研发快讯 2023年10月13日 09:55:03来源:自动化研究所 17009
摘要“惊蜇”提供了全栈式的脉冲深度学习解决方案,支持了神经形态数据处理、深度SNN的构建、替代梯度训练、ANN转换SNN、权重量化和神经形态芯片部署等功能。

  【 仪表网 研发快讯】脉冲神经网络(Spiking Neural Network,SNN)被誉为第三代神经网络,使用更低层次的生物神经系统的抽象。它既是神经科学中研究大脑原理的基本工具,又因稀疏计算、事件驱动、超低功耗的特性,备受计算科学的关注。随着深度学习方法的引入,SNN的性能得到大幅提升,脉冲深度学习(Spiking Deep Learning)成为新兴的研究热点。传统SNN框架更多地关注生物可解释性,致力于构建精细脉冲神经元并仿真真实生物神经系统,不支持自动微分,无法充分利用GPU的大规模并行计算能力,并缺乏对神经形态传感器和计算芯片的支持。
  中国科学院自动化研究所研究员李国齐与北京大学计算机学院教授田永鸿团队合作,构建并开源了脉冲神经网络深度学习框架SpikingJelly(中文名为“惊蜇”)。“惊蜇”提供了全栈式的脉冲深度学习解决方案,支持了神经形态数据处理、深度SNN的构建、替代梯度训练、ANN转换SNN、权重量化和神经形态芯片部署等功能。
  “惊蜇”具有如下主要优势。第一,简单易用。脉冲深度学习作为计算神经科学与深度学习的交叉学科,要求研究人员同时掌握两个领域的知识体系,但实际情况是研究人员可能只对一个领域有深度了解。“惊蜇”提供了简单易用的PyTorch风格的API、中英文双语编写的教程、活跃友善的讨论社区,以及常用的网络模型和训练脚本,因此科研人员可以快速进行跨领域的学习和使用,通过寥寥数行代码轻松构建并训练深度SNN。第二,扩展性强。通过模仿真实生物神经系统或借鉴人工神经网络的成熟经验,改进和提出新的SNN算法和模型。这种研究范式已被广泛使用、成果颇丰。研究人员期望能够自由地定义和扩展新模型,仅需少量代码改动便对模型行为产生改变。这一开发理念与“惊蜇”的设计哲学不谋而合。“惊蜇”中的多数模块均是通过层次清晰的多重继承实现,既为开发者降低了开发成本,也给用户提供了定义新模型的范例。第三,性能卓越。深度学习涉及大规模数据处理、大尺度模型训练、脉冲深度学习。而SNN特有的额外的时间维度,使其具有更高的计算复杂度,因而脉冲深度学习对计算资源的需求更高。考虑到ImageNet这样百万规模样本的数据集已在SNN中广泛使用,研究愈发关注网络的训练速度。“惊蜇”利用SNN的特性,通过计算图遍历顺序优化、JIT(just-in-time compilation,即时编译)、半自动CUDA代码生成等技术来加速SNN仿真,与其他框架相比可达11倍的训练加速。第三方独立社区Open Neuromorphic组织对多个SNN框架进行精细的速度基准测试。结果表明,SpikingJelly(惊蜇)具有最快的仿真速度,比其他框架快10倍以上。
  基于“惊蜇”的研究工作已大量出版,将SNN的应用从简单的MNIST数据集分类扩展到人类水平的ImageNet图像分类、网络部署、事件相机数据处理等实际应用。此外,一些尖端前沿领域的探索也被报道,包括可校准的神经形态感知系统、神经形态忆阻器、事件驱动加速器硬件设计等。上述应用和研究表明,“惊蜇”的开源促进了脉冲深度学习领域的发展。
  10月6日,介绍“惊蜇”框架的论文(SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence),在线发表在《科学进展》(Science Advances)上。研究工作得到国家自然科学基金、“鹏城云脑”网络智能重大科技基础设施项目、北京市自然科学基金的支持。“惊蜇”在2020年至2022年连续获得科技部领导的启智社区优秀开源项目。启智社区亦为框架的发展提供了支持。
“惊蜇”的整体结构、示例代码、仿真速度、生态位及典型应用
“惊蜇”中的典型模块
“惊蜇”的典型应用

我要评论
文明上网,理性发言。(您还可以输入200个字符)

所有评论仅代表网友意见,与本站立场无关。

延伸阅读
版权与免责声明
  • 凡本网注明"来源:仪表网"的所有作品,版权均属于仪表网,未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明"来源:仪表网"。违反上述声明者,本网将追究其相关法律责任。
  • 本网转载并注明自其它来源的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品来源,并自负版权等法律责任。
  • 如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。
  • 合作、投稿、转载授权等相关事宜,请联系本网。联系电话:0571-87759945,QQ:1103027433。
今日 换一换
新发产品 更多+

客服热线:0571-87759942

采购热线:0571-87759942

媒体合作:0571-87759945

  • 仪表站APP
  • 微信公众号
  • 仪表网小程序
  • 仪表网抖音号
Copyright anceft.com    All Rights Reserved   法律顾问:浙江天册律师事务所 贾熙明律师   仪表网-仪器仪表行业“互联网+”服务平台
意见反馈
我知道了