
Stanford CS336 学习记录 04:多头注意力怎样拆头、计算和合头
沿着 (2, 5, 64) 的输入追踪 QKV 投影、reshape、transpose、共享因果 mask 和合头,理解每个头仍处理完整序列,以及最后为什么还需要输出 Linear。
FOLLOW THIS THREAD
Notes on this topic
1 篇公开笔记,沿着这个标签慢慢读。

沿着 (2, 5, 64) 的输入追踪 QKV 投影、reshape、transpose、共享因果 mask 和合头,理解每个头仍处理完整序列,以及最后为什么还需要输出 Linear。