注意力机制

让模型动态聚焦输入中重要部分的计算机制。

注意力为每个输入单元计算与其他单元的关联权重，使模型能按相关性组合信息。它是 Transformer 的核心组件，也常被形象比喻为「查询-键-值」的匹配过程。