模型架构Transformer、注意力与混合专家等模型结构

编码器-解码器

由编码器读入输入、解码器生成输出的两段式架构。

编码器将输入压缩为语义表示,解码器据此逐 Token 生成结果。T5、BART 等采用该结构;主流大语言模型则多为仅解码器(decoder-only)架构,直接把提示词与续写融为一体。

相关术语