为了实现高效的推理和成本效益的训练，deepseek-v3 采用了多头潜在注意力 (mla) 和 deepseekmoe 架构，这两个架构在 deepseek-v2 中已经得到了充分验证。此外，deepseek