持续预训练

在预训练之后用新语料继续训练，注入领域知识或新语言。

持续预训练让模型学习专业领域术语、行业数据或新语言，成本远低于从零预训练。常见做法是先领域预训练再指令微调，适合垂直行业模型。