预训练

在海量无标注文本上训练模型学习语言规律的过程。

预训练让模型掌握语法、知识与推理基础，是模型能力的「底座」。成本极高（GPU 集群、数月周期），通常由厂商完成；用户在此基础上微调或直接调用。