安全提示:即将离开云搜,1秒后自动跳转...
大家在使用mixed precision混合精度训练模型时遇到过什么
来自官方博客的图,amp训练快很多,至少1.5倍速 那有小伙伴要问了,既然 pytorch 官方的优化不太行,deepspeed 的呢? mix precision in deepspeed deepspeed是个训练加速工具包,
立即访问