Echo state network

文献在线阅读
时间：2016年5月7日15:24

文献信息

文章题目：The "echo state" approach to analysing and trainning recurrent neural networks - with an Erratum note

文章主要内容

文章介绍

$$$\textbf{x}(n)$$$代表着循环神经网络RNN的神经元的状态，神经网络的输入是$$$\textbf{u}(n),\textbf{u}(n-1),...$$$，那么$$$\textbf{x}(n)$$$可以表示为$$$\textbf{u}(n)$$$的函数，即$$\textbf{x}=\textbf{E}(\textbf{u}(n),\textbf{u}(n-1),...)$$ 也就意味着$$$\textbf{x}(n)$$$可以作为过去输入的echo

什么是echo state

假设一个神经网络有K个输入单元，N个中间的神经元和L个输出单元，分别可用下面的公式表示：
* 输入单元：$$$\textbf{u}(n)=(u_1(n),u_2(n),...,u_K(n))$$$
* 中间神经元：$$$\textbf{x}(n)=(x_1(n),x_2(n),...,x_N(n))$$$
* 输出单元：$$$\textbf{y}(n)=(y_1(n),y_2(n),...,y_L(n))$$$

连接矩阵

• 输入连接矩阵$$$\textbf{W}^{in}=(w_{ij}^{in})$$$为N $$$\times$$$ K矩阵
• 中间神经元连接矩阵$$$\textbf{W}=(w_{ij})$$$为N $$$\times$$$ N矩阵
• 输出连接矩阵$$$\textbf{W}^{out}=(w_{ij}^{out})$$$为L $$$\times$$$ (K+N+L)矩阵
• 反馈连接矩阵$$$\textbf{W}^{back}=(w_{ij}^{back})$$$为N $$$\times$$$ L

连接

• 神经元的状态更新：$$\textbf{x}(n+1)=\textbf{f}(\textbf{W}^{in}\textbf{u}(n+1)+\textbf{W}\textbf{x}(n)+\textbf{W}^{back}\textbf{y}(n))$$
• 神经元输出：$$\textbf{y}(n+1)=\textbf{f}^{out}(\textbf{W}^{out}(\textbf{u}(n+1),\textbf{x}(n+1),\textbf{y}(n))$$

含有leaking decay rate

• 神经元的状态更新：$$\textbf{x}(n+1)=(1-C)\textbf{x}(n)+C(\textbf{f}(\textbf{W}^{in}\textbf{u}(n+1)+\textbf{W}\textbf{x}(n)+\textbf{W}^{back}\textbf{y}(n)))$$

一般前提

1. 输入u(n)来自于紧致集空间U
2. 神经网络状态在紧致集A

Examples

toy examples

代码

训练参数和结果

• 输入连接矩阵$$$\textbf{W}^{in}$$$：100$$$\times$$$1的矩阵，矩阵元素均匀从{-1,1}中选取
• 中间神经元连接矩阵$$$\textbf{W}$$$：100$$$\times$$$100的矩阵，矩阵元素值分别以{0.95，0.025，0.025}的概率选取{0，+0.4，—0.4}

Markey Glass Example

代码

训练参数和结果

• 输入矩阵连接神经元：为400×1的矩阵，元素值均匀从(-0.5,0.5)中随机选取
• 输出矩阵连接神经元：为400×400的矩阵，元素值分别从(-0.5,0.5)中随机选取
• leaking integrator C：0.3