RNN - 介绍

递归神经网络( RNN )是一种主要用于语音识别和自然语言处理(NLP)的人工神经网络。 RNN用于深度学习和模拟人类大脑中神经元活动的模型的开发。

循环网络旨在识别模式在数据序列中，例如文本，基因组，手写，口语，和数字时间序列数据来自传感器，股票市场和政府机构。

递归神经网络看起来与传统神经网络相似，不同之处在于将记忆状态添加到了神经元。该计算将包括一个简单的存储器。

递归神经网络是一种面向深度学习的算法，它遵循顺序方法。在神经网络中，无涯教程始终假设每个输入和输出都依赖于所有其他层。这些类型的神经网络称为递归，因为它们顺序执行数学计算。

RNN应用

RNN在预测未来方面有多种用途。在金融行业，RNN可以帮助预测股票价格或股票市场方向的信号(即正或负)。

RNN用于自动驾驶汽车，因为它可以通过预测车辆的路线来避免发生车祸。

RNN被广泛用于图像标题，文本分析，机器翻译和情感分析。 例如，应该使用电影评论来了解观众观看电影后的感觉。当电影公司没有更多时间审查，合并，标记和分析评论时，自动执行此任务非常有用。机器可以以更高的精度完成这项工作。

以下是RNN的应用:

1.机器翻译

无涯教程利用翻译引擎中的经常性神经网络将文本从一个转换为另一种语言。它们通过 lstm (长短短期记忆) s 等其他模型的组合来这样做。

2.语音识别

递归神经网络已取代了使用隐马尔可夫模型的传统语音识别模型。这些递归神经网络与LSTM一起，可以更好地对语音进行分类并将其转换为文本，而不会丢失上下文。

3.情绪分析

利用情感分析来判断句子的阳性，阴性或中性。因此，RNN最擅长顺序处理数据以查找句子的情感。

4.自动图像标记

RNN与卷积神经网络结合，可以检测图像并以标签形式提供其描述。例如，使用RNN可以更好地解释狐狸越过篱笆的图片。

RNN局限性

RNN应该及时携带信息。然而，当时间步长太长时，传播所有这些信息是非常具有挑战性的。当网络的深层过多时，它就变得无法训练。这个问题被称为:消失梯度问题。

如果还记得的话，神经网络会更新梯度下降算法的权重。当网络下降到较低层时，梯度会变小。

梯度保持恒定，这意味着没有改进的空间。该模型从其梯度的变化中学习；此更改会影响网络的输出。如果梯度的差异太小(即权重变化不大)，则系统将无法学习任何内容，因此输出也不会。因此，面对消失的梯度问题的系统无法收敛到正确的解决方案。

循环神经将执行以下操作。

首先将独立激活的转换转换为依赖于依赖的激活。它还为所有层分配相同的权重和偏置，这降低了参数RNN的复杂性。它提供了一个标准平台，用于通过将以前的输出作为下一个图层的输入设置为先前的输出。

具有相同权重和偏差的这三个层合并为一个循环单元。

为了计算当前状态，

h _t = f(h _t-1 ，X _t )

其中h _t = 当前状态 H _t-1 = 先前状态 X _t = 输入状态

要应用激活函数tanh，无涯教程有-

ht = tanh(W _hh h _t -1+ W _xh X _t )