定义模型 RNN层 num_hiddens = 256 rnn_layer = nn.RNN(len(vocab), num_hiddens) RNN模型 #@save class RNNModel(nn.Module): """循环神经网络模型""" def __init__(self, rnn_layer, vocab_size, **kwargs): super(RNNModel, self).__init__(**kwargs) self.rnn =

初始化模型参数 def get_params(vocab_size, num_hiddens, device): num_inputs = num_outputs = vocab_size def normal(shape): return torch.randn(size=shape, device=device) * 0.01 # 隐藏层参数 W_xh = normal((num_inputs, num_hiddens)) b_h = torch.zeros(num_hiddens, device=device) W_hh = normal((num_hiddens, num_hiddens)) # 这里是与单层神经网络的唯一区别，计算下一时刻的隐藏层 # 输

自回归模型 首先它是回归模型，它的“自”指的是对自己进行回归，具体来说，要预测 $x_t$ 的值，需要用到的也是x的信息: $[x_{t-1},\dots,x_{t-\tau}]$ 还有一种策略是隐变量自回归，直

引言 本文介绍了如何使用CNN来计算立体匹配代价，进而用传统方法进行视差估计，其中CNN作为一个分类器使用，它的输出代表某个像素点的视差是否估

学习时间 5月2日 到 6月9日 学习目标 深度学习计算章节学习 卷积神经网络章节学习 alexnet代码实现 ResNet论文阅读 学习内容 深度计算计算 模型

从ResNet到DenseNet ResNet和DenseNet的关键区别在于，DenseNet输出是连接（用图中的$[,]$表示）而不是如R

思路 本文的主要贡献在于让更深的网络模型的效果不下降 问题发现 在以往的工作中，大家都在尝试让网络层数更深，来获得更好的效果，然而作者发现随着层数

训练深层网络 批量规范化应用于单个可选层（也可以应用到所有层），其原理如下：在每次训练迭代中，我们首先规范化输入，即通过减去其均值并除以其标准

Inception块 Inception块由四条并行路径组成。 前三条路径使用窗口大小为$1\times 1$、$3\times 3$和$5\tim

模型结构 NiN块以一个普通卷积层开始，后面是两个$1 \times 1$的卷积层。这两个$1 \times 1$卷积层充当带有ReLU激活函数的逐像素全连接层。 第一层的