Garnter:决策智能未来重要战略技术

什么是决策智能?

喜讯 | 研究院团队最新研究成果入选国际顶会NeurIPS 2022
发布日期:2022-10-09

近日,全球最负盛名的 AI 学术会议之一——NeurIPS神经信息处理系统大会(Conference on Neural Information Processing Systems)公布了2022年论文接收结果。中科南京人工智能创新研究院科研团队在NeurIPS再获佳绩,三篇最新研究成果获得NeruIPS 2022大会录用

NeurIPS是机器学习和计算神经科学领域的顶级国际会议,涵盖了深度学习、计算机视觉、大规模机器学习、学习理论、优化、稀疏理论等众多细分领域。NeurIPS年度会议是每年 AI 科学界的盛事。本届会议共有全球 10411 篇论文投稿,接收率为 25.6%,略低于去年的 26%。

研究院科研团队,一直致力于人工智能计算的前沿探索和广泛应用场景中应用难题的突破。继团队在NeurIPS 2019大会的神经网络压缩与加速竞赛(MicroNet Challenge)中夺得双项冠军之后,在本届大会中,有三篇论文获得录用以下为三篇论文的简介。


基于自适应门控的统合脉冲神经元

GLIF: A Unified Gated Leaky Integrate-and-Fire Neuron for Spiking Neural Networks 

脉冲神经网络(Spiking Neural Network, SNN)自提出以来就被认为是第三代人工智能网络,从而被广泛研究。它最核心的特殊点就在于仿生的激活单元,即脉冲神经元。这几年,随着各种研究场景的不同,各种不同的脉冲神经元建模被提出。这些不同的脉冲神经元在不同神经行为上拥有相对不同的生物特征。

受到大脑神经元层级结构差异性的启发,我们提出了Gated LIF模型,将这些不同的特征都统合起来,并利用门控机制将同一个神经行为上的对偶特征进行平衡。得益于参数化技术和反向传播的充分利用,基于Gated LIF的SNN在每个通道上都会学得神经元特性完全不同的脉冲神经元,进而极大地提升网络的内部异质性。我们在CIFAR、ImageNet、CIFAR10-DVS数据集上进行验证,均取得了SOTA。

相关链接:https://github.com/Ikarosy/Gated-LIF


PKD:基于皮尔逊相关系数的通用目标检测知识蒸馏框架

PKD: General Distillation Framework for Object Detectors via Pearson Correlation Coefficient 

知识蒸馏(KD)是一种在目标检测中广泛应用的模型压缩技术。然而,目前对于如何在异构检测器之间进行知识蒸馏还缺乏相关研究。本文通过实验证明,尽管模型结构、检测头和标签分配算法不同,来自异构教师检测器的表达能力更强的FPN特征依然可以改善学生检测器。然而,直接对齐学生和教师网络提取的特征存在两个问题。首先,教师和学生网络特征幅值上的差异可能会对学生施加过于严格的约束。其次,激活程度较高的FPN层和通道会主导蒸馏损失的梯度,这将压倒知识蒸馏中其他特征的影响,并引入大量噪声。

针对上述问题,我们提出利用皮尔逊相关系数进行特征对齐,聚焦于来自老师的相关信息,放松对特征幅值大小的约束。我们的方法性能优于现有的针对目标检测的知识蒸馏方法,并适用于同构和异构学生-教师检测器对。此外算法收敛速度也较现有方法更快,且只有一个超参数并对参数设置不敏感,易于实际部署。在MaskRCNN-Swin检测器的指导下,基于ResNet-50的RetinaNet和FCOS检测器在COCO2017上的mAP分别达到41.5%和43.9%,分别比基线高4.1%和4.8%。


相关链接:https://arxiv.org/abs/2207.02039


一种元强化学习中梯度偏差的理论理解

A Theoretical Understanding of Gradient Bias in Meta-Reinforcement Learning

相关链接:https://arxiv.org/abs/2112.15400