第七周
目录
学习时间
5月24日 到 6月30日
学习目标
- 注意力机制
- 注意力提示
- Nadaraya-Watson 核回归
- 注意力评分函数
- Bahdanau 注意力
- multihead-attention
- transformer
学习内容
学习总结
所谓注意力机制，其实就是加权平均–将值通过查询和键进行加权平均。 本周学习内容较少，主要是个人事务耽搁了，不过从下周一也就是7月1日开始我将到学校进行全身心的学习和生活。
下周计划
- 3 paper reviews
- attention mechanisms