一句话:先用目标领域的文本让模型熟悉行话(DAPT),再用目标任务的训练文本让模型熟悉题型(TAPT),最后用标注数据教它答题。少量贴近任务的文本也能带来收益。
- 原文:arXiv PDF · ACL Anthology
- 论文:Gururangan 等,Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks,ACL 2020。 阅读日期:2026-10-15。阅读顺序:先读第 1 节;对照原文 PDF 第 1、3、7 页的 Fig 1、Fig 2、Fig 3 读本文第 2 节;用第 4 节对照论文表 5、用第 3.3 节对照表 8;最后用第 6 节练习复述。








