自动化所提出用于时空稀疏小样本学习的大规模神经形态数据集
中国科学院自动化研究所类脑认知智能研究组在Scientific Data上，发表了题为N-Omniglot, a large-scale neuromorphic dataset for spatio-temporal sparse few-shot learning的研究论文，提出了用于时空稀疏小样本学习的大规模神经形态数据集——N-Omniglot，为脉冲神经网络的学习与训练提供了更具挑战性的基准。
深度学习的成功很大程度上归功于像ImageNet与COCO这样的数据集的引入。然而，针对类脑智能，特别是脉冲神经网络（Spiking Neural Network，SNN）的发展，目前广泛使用的数据集尚不完全适用。科研人员使用DVS研制并提供了许多神经形态数据集，但现有数据集往往存在时间相关性很低、无法完全反映和发挥时间信息处理能力等问题。除了稀疏编码降低能耗，从少数样本中快速学习新概念也是人脑的重要能力之一，但这仍是基于脉冲神经网络的机器学习中的开放问题之一。
为了解决上述问题并弥补这一差距，科研团队提出迄今首个用于小样本学习的神经形态数据集——N-Omniglot。原始的Omniglot数据集是在小样本学习领域被广泛使用的数据集。N-Omniglot由来自50种不同语言的1623个手写字符组成。每个字符只有20个不同的样本。N-Omniglot通常被认为是静态文字图像，而忽略了书写过程中丰富的时间信息。该研究提出，在神经形态小样本学习领域，SNN处于起步阶段，虽然构建了数据集，但尚未发展出合适的算法来支持这一任务。为了证明N-Omniglot与编码的Omniglot的区别，所有的实验都在N-Omniglot与编码Omniglot上进行。对待静态图像，研究采用泊松编码和常数编码。由于获取神经形态数据的DVS相机具有较高的时间分辨率，而过长的时间轴对目前时钟驱动的SNN算法来说是巨大的负担。因此，研究以或运算及脉冲发放率对事件数据进行处理。
为了证明N-Omniglot的有效性及为SNN算法的训练提供新挑战的潜力，本研究对四种SNN算法进行了实验，包括对两种通用的经典模式分类方法和两种小样本学习算法的适配或SNN版本。
最近邻方法可以在一定程度上评价数据集样本的可分性，同时可为其他算法提供可比较的基准（benchmark）。如图2c所示，科研团队针对事件数据进行了适配。最近邻方法将新输入的样本与训练集中的每一个样本比较，并找到根据给定的距离测量函数找到与其最近的K个样本，将该样本归属到K个邻居所属的最多的类别。实验使用了不同样本之间的欧式距离作为距离度量函数。其中，在使用直接编码时，为避免不必要的计算，研究利用直接编码的原始静态图像进行测试，对于其他编码则计算了每个时刻的合成帧的距离。
小样本学习的难点在于分类类别个数多，同时单个类别样本个数少。即使如此，此类任务仍可直接作为一般的分类问题，使用通用的分类器来处理。因此，研究构建了一个带有LIF神经元的脉冲卷积神经网络来处理数据集。它由两个卷积层和两个全连接层组成。每个卷积层后面都有一个步长为2的平均池化层。由于脉冲神经网络的不可微分特性，研究使用代理梯度进行训练。即使不是为小样本学习任务特殊设计的，该算法仍能得到相对有效的结果。同时，作为比较，研究还设计了ANN的网络模型，使用卷积层作为特征提取器，同时连接Long Short Time Memory（LSTM）用于整合时间维度的信息。
孪生网络（Siamese Net）是经典的基于度量的小样本学习算法。原始孪生网络无法处理神经形态数据集，因而科研团队对原始孪生网络进行改进，将使用了LIF神经元的SNN网络作为网络主干架构，为模型添加处理时序信息能力。孪生网络同时输入两个样本，样本对属于同一类别则标记为1，否则为0。网络通过对两个样本进行比较，判断是否属于同一类别。两个样本在结构上共享网络的前半部分，两个特征图的差值输入到后面的全连接层中。测试过程中，给定查询集与支持集样本一一比较，输出概率值最大的类别作为分类结果。
模型无关的元学习（Model-Agnostic Meta-Learning，MAML）是经典的基于优化的小样本学习算法，基于同样的原因，研究将MAML改进为SNN网络，采用LIF神经元的SNN网络作为网络主干架构，让模型有能力处理神经形态数据集。MAML尝试训练一个可以在少量迭代后快速拟合的网络。研究在数据中随机抽取固定数量的类别，每个类别随机抽取样本，然后输入网络进行运算。复制权重并在支持集上进行几次迭代，然后使用查询集进行误差计算，并反向传播误差，得到的梯度在原始网络权重上更新。测试阶段则利用支持集更新几次迭代后测试。
研究结果表明，四种方法在N-Omniglot上的性能都低于在Omniglot上的结果，以Siamese Net实现20 way 1 shot任务为例，性能从75.3%下降到54.0%，原因在于所提出的数据集在空间维度上更加稀疏，数据在时间维上的相似性低于基于静态图像或泊松编码的输入，这给脉冲神经网络SNN学习带来了新挑战；另一原因在于缺乏神经形态数据集的预处理方法。
研究同时测试了两种经典的小样本学习方法在不同仿真时间下的识别精度。结果表明，模拟时间越长，精度越低。这是由于模拟时间越长，事件被划分的帧数越多，帧与帧之间的信息连接就越困难，说明数据描述符对于提高脉冲神经网络SNN提取更重要时空特征的能力至关重要。因此，关于研发未来的脉冲神经网络，N-Omniglot可被认为是有效的、具有挑战性的神经形态数据集。
该研究成果是中科院自动化所类脑认知智能研究组长期推进的科学探索项目“类脑认知智能引擎”（Brain-inspired Cognitive Intelligence Engine）（智脉BrainCog）的阶段性成果。
图1.对静态图像的编码以及对事件数据的预处理
图2.四种小样本学习基准挑战N-Omniglot数据
消息来源：中科院官网
