2
1
0
澄清一些DeepSeek里关于降本增效的概念：
首先，增加训练效率的是MOE，Mixture of Experts，也就是所谓混合专家模型。他指的是模型每一个Transformer Block在最后那一层网络中，仅选择1/k的参数激活进入下一个Block。
时政
(
twitter.com
)
由
勃勃OC
提交
澄清一些DeepSeek里关于降本增效的概念：
首先，增加训练效率的是MOE，Mixture of Experts，也就是所谓混合专家模型。他指的是模型每一个Transformer Block在最后那一层网络中，仅选择1/k的参数激活进入下一个Block。
这导致对于每一个token来说，一个600B的模型仅需激活了接近37B的权重，相当于每一个token的训练可以节省约80%算力，大大提高了训练速度。
其次，增加推理速度的是MLA，Multihead Latent Attention，多头隐空间注意力机制。名字很玄乎，本质就是通过一些矩阵把注意力机制中最关键的KQV三个矩阵投影到更低维的空间（隐空间）中，以便存在缓存中。这样每次推理的时候就不需要重新计算
大大增加了推理速度
这两个技术都不能说是颠覆性的。但DeepSeek都做了自己的改进，而且调通了
这就是他最厉害的地方
这两个重要概念，在DeepSeek V3 paper的第一页就有
当然更关键的是fp8，也就是8位浮点量化运算。之前推文介绍过了。是fp8从训练所需空间上限决定了，这个模型可以用2048个H800训练。
每个fp8相比fp16能节约50%空间，相比fp32 节约75%。矩阵乘法的运算速度甚至是按平方提升。
点击图片查看原图
Markdown支持
评论加载中...
您可能感兴趣的：
更多
4
2
1
1
5
4
3
3
6
3
2
2
8
2
1
1
