7月23日下午，由中科南京人工智能创新研究院、中国科学院自动化研究所承办的“高效智能计算与软硬件协同专题论坛”在福建省福州市成功举行。高效智能计算与软硬件协同专题论坛作为2023中国人工智能大会（CHINESE CONGRESS ON ARTIFICIAL INTELLIGENCE, CCAI）分论坛之一，累计在线观看人次975688。

中国人工智能大会是我国最早发起举办的国际化人工智能会议，自2015年创办以来连续举办八届，已成为我国人工智能领域规格最高、规模最大、影响力最强的学术交流活动之一。高效智能计算与软硬件协同专题论坛作为大会的分论坛之一，聚焦人工智能领域核心引擎——高效智能计算。论坛由中科南京人工智能创新研究院程健院长和上海科技大学哈亚军教授共同主持。

深度学习算法和高性能算力让人工智能取得了巨大成功。随着大模型的快速发展，万亿级参数的模型成为现实，对高性能算力的诉求爆炸式增长。随着摩尔定律的消亡，芯片仅靠工艺的提升就能大幅提升性能的时代一去不复返。

同时“如何在不同的硬件平台上实现高性能、低功耗、低成本的深度神经网络加速，有效适配各种硬件架构满足AI的需求”一直是人工智能行业深度应用的研究热点。

有数据显示，语言大模型ChatGPT-3训练消耗了128万度电，排放出552吨二氧化碳。大规模计算带来的能源消耗已经产生了巨量碳足迹。

无论是在人工智能前沿研究、行业深度应用，还是能源环保议题下，高效智能计算已经成为重大诉求和技术挑战，受到从学术层面、产业层面以及国家战略层面的重点关注。

软硬件协同的高效智能计算正是目前人工智能领域广泛认可的突破口，通过打通人工智能技术和硬件平台的优势，实现全栈全场景高性能计算。

本次高效智能计算与软硬件协同专题论坛，邀请到了相关领域资深专家围绕高效智能计算的理论基础与方法、先进工艺的发展、软硬件协同设计与优化的技术与工具、高效智能计算与软硬件协同在各个应用领域的案例与经验等议题进行分享和探讨。

八位资深专家为论坛带来了精彩的成果分享和观点交流

北京大学博雅特聘教授、鹏城实验室（深圳）人工智能研究中心副主任、国家杰青获得者田永鸿做报告《通用神经网络的压缩加速研究与标准化》。

清华大学自动化系长聘副教授、国家杰青获得者、IAPR Fellow鲁继文做报告《视觉感知与自动驾驶》。

上海交通大学微纳电子学系副主任、教授贺光辉做报告《数据流驱动下的高能效AI加速器设计——从CNN到Transformer》。

复旦大学微电子学院副研究员薛晓勇做报告《先进工艺下存储器及存算融合技术》。

中国科学院自动化研究所复杂系统认知与决策实验室副研究员、中科南京人工智能创新研究院技术专家王培松做报告《基于量化和稀疏的神经网络训练加速》。

北京航空航天大学人工智能研究院助理教授郭晋阳做报告《神经网络低比特量化》。

AiRiA研究进展

中科南京人工智能创新研究院团队是国际上最早开展神经网络量化加速研究的团队之一。以量化及压缩技术的深厚积累为基础，研究院在高效智能计算软硬协同设计方向不断探索，取得了多项研究成果，发表于IEEE TPAMI、TNNLS、TCAD、NeurIPS、ICML、ICLR、MICRO、CVPR、ICCV、AAAI等高水平杂志和会议，并在电力、教育、电子等行业中应用落地。

在本次论坛中，王培松副研究员介绍了团队高效智能计算研究最新进展。面向智能模型、尤其是大模型在训练阶段所面临的高资源消耗难题，团队创新提出了2:4全稀疏训练加速方法，实现网络训练双向稀疏，对权值mask进行一致性约束增加收敛稳定性，并利用空间相似性提出基于移位的信息恢复模块实现激活稀疏。结合量化方法可实现2到4倍模型训练计算加速，可以大幅减少训练所需的算力和资源消耗。目前团队正在研究该方法应用于大模型预训练加速、面向训练的高效硬件架构设计。

作为高效智能计算与软硬件协同领域的研究者和开发者，研究院将继续打造交流平台，分享最新的研究成果、技术创新、应用实践等，与学术界和产业界共同推动人工智能高效能计算的发展与合作。