不同的大模型的训练细节有所不同，例如基于 transformer 架构的 bert 和 gpt 就有非常显著的差别。 自编码的 bert 模型的训练是通过在句子中随机掩盖（mask）一个词元和预测下一句的方式