储备池计算（Reservoir Computing） ~ 前沿案例更新中

（2）神经元之间的连接关系随机产生；

（3）神经元之间的连接具有稀疏性。

上面的两个参数矩阵

都是事先给定的数值，在训练的过程中只需要计算

即可。

整个计算过程如下所示：

（1）从输入到储备池()的运算：

（2）储备池中r ( t ) 的更新：

（3）从储备池到输出：

（4）损失函数：

（5）使损失函数最小化 ……

比较官方的解释

二、储备池 计算 三个组成部分

前馈神经网络与递归神经网络的差别：

前者只允许信号从输入层向前传到输出层，信号的传递是单向的，它也不存在任何的回路，也就是说任何一层的输出都无法影响这层本身的数据，一般用于模式识别；后者通过引入循环的方法允许信号双向传递。

有以下三个关键特性 通常储备池有很多节点，且节点的连接是稀疏的，故矩阵是稀疏矩阵由于节点之间会形成很多循环，故储备池中的nodes形成的是递归神经网络各个节点会在学习阶段使用一种高效递归的架构使节点的权重不断更新

：储备池计算的关键特点在于：中间层的矩阵是随机生成的且生成后就保持不变，真正需要训练的只有输出层，这也使它比传统的方法快很多。

的概念，简单来说就是给一个随机连接的 (称为)一些输入，然后用现有的机器学习的方法来学习这个对于特定的输入的，从而达到 的目的。可以做一个类比，如果把SNN等同于大脑的的话，那么 就是从大脑里接出几个输出，然后判断这些连接输出地神经元都以怎样的活动并归类，从而判别输入端接受到了怎样的信息(这点有点像利用EEG做Brain 的方法)。当然的模型可以不仅限于SNN，node的模型也可以各种各样，包括之前提到的，就有人利用其作为做了一些模式识别方面的研究。

~以下是对知乎QA中有理的解释的摘录，大家也可以发表自己的看法

RC的好处是特征提取网络，即 ，是随机生成并在训练和预测阶段是固定的，只有部分是要学的，参数相对RNN要少，训练很快。

RC的缺点主要在于表达能力，数据量大的话精度受限。RC应该更适用于中小数据量的问题，比如生物医疗中的数据，但对于计算机视觉，自然语言处理等数据量大、标注丰富的领域，RC不如RNN表达能力好，因此性能也会打折扣。

三、运行过程

简介

下面提出一种 的示例，该的输入层有M个节点，中间层有N个节点，输出层有P个节点， 被定义为：

其中各变量意义如下：

3.1 训练

前期主要分为两个阶段，初始阶段( )和训练阶段( )。在初始阶段，一般认为所有信号都是已知的，此时无需记录中节点的状态。当初始阶段结束训练阶段开始时，需要将每一次计算得到的状态记录到一个矩阵中。

收集到这些状态以后，就可以训练输出层了，这里使用ridge 来训练。

3.2 测试

训练得到Wout之后，就可以使用公式

来测试了。

四、示例

该有两种用法，模拟信号与预测信号。

4.1 模拟

将 的三个信号作为input ，并在训练完成之后移除该，而将该产生的值作为input 再输入。从图中可以看到，该良好地模拟了 。

4.2 预测

举例：以x作为input , y & z作为 来训练，训练后便可以使用x来预测y & z：

五、一些很牛的栗子 5.1 北京大学黄如院士-杨玉超教授团队在深度储备池计算硬件研究中取得进展

储备池计算（ ）是一种低训练代价、低硬件开销的循环神经网络（RNN），在时序信息处理方面具有广泛的应用，例如波形分类、语音识别、时间序列预测等。储备池计算系统由神经元循环连接的储备池和输出层两部分组成，其中仅有输出层需要训练，从而显著降低了训练代价，而系统中的储备池可以由具有短时程特性的非线性器件来实现。当前国际上针对储备池计算系统的研究主要集中在探索使用不同类型的非线性器件（如忆阻器、自旋扭矩振荡器、纳米线网络、半导体光学放大器等）来构建单层储备池，但储备池状态数、记忆容量、复杂动力学特性等的局限从根本上制约了系统本身信息处理能力的提升。

针对这一关键问题，北京大学集成电路学院黄如院士-杨玉超教授课题组首次采用可级联短时程非线性单元构建了深度储备池（deep ）计算硬件，通过储备池层数的增加实现了层次化的信息处理能力、更丰富的储备池状态数、更大的记忆容量以及更复杂的动力学特性。该工作在构建深度储备池计算硬件系统、实现层次化的时序信息处理方面迈出了重要一步。

在技术路线上，北京大学集成电路学院研究团队研制了可级联的单层储备池硬件，通过将动态忆阻晶体管与平面器件进行串联分压，实现了电压输入、电压输出的短时程非线性单元。由于输入和输出为相同的物理量，解决了通常情况下电压输入、电流输出器件难以直接级联的问题，为构建深度储备池计算硬件奠定了器件基础。基于该类短时程非线性单元，他们进一步制备了深度储备池硬件系统，并结合分时复用的虚拟节点方法，获得了丰富的储备池状态。实验研究结果表明，相比同等规模的单层储备池计算系统，该工作所构建的深度储备池计算硬件具有更大的记忆容量、更丰富的储备池状态数、层次化的信息处理能力，并在波形分类、电能消耗预测等任务中展示了优异的性能，证明了深度储备池计算系统在时序信息处理任务中的潜力。

5.2 哈工大（深圳）赵毅教授团队：储备池计算模型的更紧致泛化上限

储备池计算模型（ ， RC）作为当前热门的轻量化深度学习模型之一，成功应用到真实复杂系统的建模分析中。这些实际应用彰显了RC模型良好的泛化性。而如何理解RC模型的泛化性尤其是其泛化能力上限则是至关重要的。

来自哈尔滨工业大学（深圳）赵毅教授团队为RC模型提供了一种泛化误差分析理论框架。该框架给出RC模型泛化误差理论上界，基于此更准确地量化RC模型的泛化能力。在此基础上，推导出一般RC模型在时序预测任务中泛化误差所满足的理论上界。如下图所示，与现有的方法对比发现，他们为RC模型推导出一种更紧的泛化误差上界。该泛化误差上界也刻画出RC模型实际经验泛化误差与模型超参数之间的关联关系。

在明确RC模型泛化上限的基础上，作者关注网络结构等具体构成对提出的理论泛化能力的影响作用。他们以ER无向储备池网络和有向无环储备池网络为例，推导出各自对应RC模型的泛化误差理论上界。通过比较发现，基于有向无环储备池网络的RC模型在泛化性能方面具有明显的优势。相比于ER无向储备池网络，有向无环储备池网络的RC模型的泛化性能对模型超参数波动呈现更好的鲁棒性（见图2所示），从而降低了RC模型超参数优化选择的难度。因此，作者提到“有向无环网络可作为储备池网络在实际应用中的默认选择。”