語言模型預訓練

Sophia是一個新穎的優化器，它可以以兩倍於Adam的速度解決LLMs。