学习时间 5月17日 到 6月24日 学习目标 继续学习RNN相关章节 学习 $\LaTeX$ 的使用 了解模型微调/双目视觉的基础理论 学习内容 RNN模型 GRU LSTM deep RNN 双向循环网

束搜索是权衡贪心和穷举的一种搜索方式 贪心搜索 贪心搜索的方式是每一个时间步都选择概率最大的那一个token，这样其实并不一定能找到最优解，因为

架构 编码器是一个RNN，读取输入句子 ，可以是双向RNN 解码器使用另一个RNN来输出 训练过程 将输入按照顺序输入给编码器 将编码器的最后一个时刻、

引入 实际上是对网络模型的进一步抽象，编码器即是把输入进行特征提取，解码器就是将特征进一步输出。 对于机器翻译任务：第一个组件是一个编码器（en

定义 对于任意时间步$t$，给定一个小批量的输入数据 $\mathbf{X}_t \in \mathbb{R}^{n \times d}$ （样本数$n$，每个示例中的输入数$d$）， 并且令隐藏层激活函数为$\phi$。

之前的RNN隐藏层只有一层，它的隐藏状态由上个时刻的隐藏状态决定，而深度网络是在纵向上进行了扩展，它的隐状态由上一时刻的自己和自己的上一层隐

长短记忆网络引入了记忆元，然后用输入门、输出门、遗忘门来控制记忆单元和隐藏状态的输出 输入门、忘记门和输出门 $\sigma$是sigmoid 函

门控单元的核心思想是控制隐状态的生成和传递 重置门和更新门 可以看出，$R_t$ 和 $Z_t$ 是完全相同的，它们有各自的参数，决定它们不同的是后续的操作。

暮气沉沉 暮气沉沉，汉语成语，拼音是mù qì chén chén，意思是形容精神萎靡不振，缺乏朝气。出自《访毛平仲问疾与其子适同游柯山》。 这是一种

学习时间 5月10日 到 6月16日 学习目标 学习RNN相关章节 RNN基础 学习 $\LaTeX$ 的使用 了解模型微调/双目视觉的基础理论 学习内容 RNN 循环神经网络 RNN手