自注意力机制流程图

核心机制

自注意力原理

• Query-Key-Value三元组计算
• 缩放点积注意力机制
• 全局依赖关系建模

多头注意力

• 并行计算多个注意力头
• 捕获不同类型的依赖关系
• 增强模型表达能力

因果注意力

• 掩码机制防止信息泄露
• 支持自回归文本生成
• 保持时序依赖关系

位置编码

• 绝对位置编码
• 相对位置编码
• 旋转位置编码(RoPE)

更新日志

2025/8/19 16:09

查看所有更新日志

• 245db-feat: AI实验室文档结构优化与代码整理 v1.0.24于 2025/8/19
• bd1d0-迁移目录于 2025/8/18
• dc6b2-update于 2025/5/23

版权所有

版权归属：NateHHX

许可证：署名 4.0 国际 (CC-BY-4.0)