多头注意力即是在注意力的基础上，用独立学习得到的$h$组不同的 线性投影（linear projections）来变换查询、键和值。 然后，这$h

模型 这个新的基于注意力的模型与 seq2seq 中的模型相同， 只不过eq_seq2seq_s_t中的上下文变量$\mathbf{c}$ 在任何解码时间步$t&

学习时间 7月1日 到 7月7日 学习目标 3 paper reviews attention mechanisms 学习内容 Research-Progress-on-Binocular-Stereo-Vision-Applications paper_review/survey-on-depth-estimation raft-stereo 学习总结 本周阅读了一篇中文综述一篇英文综述。对双目视觉，基于深度学习的立体匹配涉及

范围和分类 SCOPE AND TAXONOMY 本篇论文主要讨论的是基于深度学习的立体深度估计。 深度估计的任务是从一张或者多张图片中获取图像的深度信息，这些图片可能来自同一

引言 双目立体视觉利用立体匹配算法对校正后的双目相机左右两幅图像进行密集匹配,建立两幅图像像素点之间的密集对应关系(用视差图表达),再根据相机

作者 Lahav Lipson 、 ZacharyTeed、Jia Deng 单位 Princeton University 期刊/会议 2021 (3DV) 关键词 代码 https://github.com/princeton-vl/RAFT-Stereo

学习时间 5月24日 到 6月30日 学习目标 注意力机制 注意力提示 Nadaraya-Watson 核回归 注意力评分函数 Bahdanau 注意力 multihead-attention transformer 学习内容 注意力提示 Nadaraya-Watson 核回归 注意力评分函数 学习总结

用数学语言描述，假设有一个查询 $\mathbf{q} \in \mathbb{R}^q$和 $m$个“键－值”对 $(\mathbf{k}_1, \mathbf{v}_1), \ldots, (\mathbf{k}_m, \mathbf{v}_m)$， 其中$\mathbf

非参数注意力汇聚 Nadaraya 和 Watson 根据输入的位置对输出$y_i$进行加权： $$f(x) = \sum_{i=1}^n \frac{K(x - x_i)}{\sum_{j=1}^n K(x - x_j)} y_i,$$ 其中 $K$ 是核（kernel）。 公式 所描述的估计器被称为 Nad

生物学中的注意力提示 如下面的两张图，生动展示了生物的注意力机制： 非自主性注意力：仅通过环境客观条件决定将注意力放在哪里，例如一杯红色的咖啡 自