DeepSeek 用黑科技完成了fp8训练，取得了举世瞩目的效果结果今天，微软突然公布了自己在fp4上的训练成果要知道，fp4比fp8还要节省一半其实DeepSeek的DualPipe 本来就是和微软的ZeRO框架合作的有这样的成果，并不意外不过美中不足的是，

Warning: Missing argument 3 for write(), called in /www/wwwroot/biwei1.cn/incs/robot.php on line 68 and defined in /www/wwwroot/biwei1.cn/incs/data.php on line 487

site stats

DeepSeek 用黑科技完成了fp8训练，取得了举世瞩目的效果结果今天，微软突然公布了自己在fp4上的训练成果要知道，fp4比fp8还要节省一半其实DeepSeek的DualPipe 本来就是和微软的ZeRO框架合作的有这样的成果，并不意外不过美中不足的是，

发布时间: 2025-01-29 17:40:06

1分

数据加载中

关注推特

收听电报

2

1

0

DeepSeek 用黑科技完成了fp8训练，取得了举世瞩目的效果
结果今天，微软突然公布了自己在fp4上的训练成果
要知道，fp4比fp8还要节省一半
其实DeepSeek的DualPipe 本来就是和微软的ZeRO框架合作的
有这样的成果，并不意外
不过美中不足的是，
时政
( twitter.com )

4个月前由勃勃OC 提交

DeepSeek 用黑科技完成了fp8训练，取得了举世瞩目的效果

结果今天，微软突然公布了自己在fp4上的训练成果

要知道，fp4比fp8还要节省一半

其实DeepSeek的DualPipe 本来就是和微软的ZeRO框架合作的

有这样的成果，并不意外

不过美中不足的是，

这个技术仅在13B大小的模型上获得成功，还是不如DeepSeek的670B

美国，依然是那个永远成功的，科技大国！

ALL IN NVDA, ALL IN MSFT

Not Financial Advice

严肃讨论请参考日报，或者入群

点击图片查看原图

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

这个事情其实不难解释，我在2天前的DeepSeek论文分析报告中也已经总结，很多疑惑看过paper就有答案。
V3的低成本算力提升主要有三个因素
1）fp8 的低精度浮点数训练，之前有人尝试过fp8的低精度训练，但都失败了。deepseek靠着顶尖数学竞赛生，硬是把它调了出来
2) MoE,
时政
( twitter.com)

4个月前 • 勃勃OC • -- 点击 0 评论

2

2

1

1

解释下这个库能干嘛: DeepSeek一项重大进步是使用FP8精度进行训练。训练的本质其实是矩阵乘法。默认大家都使用NVIDIA CUDA库中提供的矩阵乘法。DeepSeek这个库在最优情况可以将矩阵乘法性能提升2.7x. 可以加速训练速度. 另外在早些年一些商用BLAS库(Basic Linear Algebra
时政
( twitter.com)

3个月前 • karminski-牙医 • -- 点击 0 评论

3

2

1

1

晚上有机会坐下来细看DS公布的数据，再次被深深震惊了。
DeepSeek在线服务的运行数据
英文版本见公布的Github链接。
所有DeepSeek-V3/R1推理服务均在H800 GPU上运行，且推理精度与训练一致：
🔹 矩阵乘法和调度传输采用 FP8 格式（与训练对齐）。
🔹
时政
( twitter.com)

3个月前 • Compute King • -- 点击 0 评论

4

2

1

1

NVIDIA 将拥有 6710 亿参数的 DeepSeek-R1 模型引入了位于上的 NVIDIA NIM 微服务：
- 使用单台 NVIDIA HGX H200 服务器即可实现每秒最多 3,872 个 Token 的推理吞吐量。
- 依托 NVIDIA Hopper 架构，DeepSeek-R1 利用 FP8 Transformer Engine 和 900 GB/s 的 NVLink
IT技术
( build.nvidia.com)

4个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:01:03

5

2

1

1

DeepSeek R1的论文非常值得仔细看，粗略扫了下，他们只用了GRPO+Reward Model在线RL就可以就训练出思考模型。而且很诚实的把PRM、MCTS放到失败尝试中。
同时这也证明领域级思考模型的训练目前的技术完全可以复现，只需要想办法合成对应的cot训练数据。
时政
( twitter.com)

5个月前 • 九原客 • -- 点击 0 评论

6

2

1

1

很多人担心DeepSeek的低成本训练会冲击显卡市场，但我认为其实是利好
首先一个误区是其他厂商模仿DeepSeek就不需要那么多卡了。
其实DeepSeek-R1的低成本训练方法是可以scaling的。也就是说用更多卡，理论上效果只会更好。他本质上是一种improvement of scaling
时政
( twitter.com)

4个月前 • JundeWu • -- 点击 0 评论

7

4

3

3

2月1日报道，DeepSeek遭到美、英、法等十国封杀。美国：商务部长提名人卢特尼严厉批评DeepSeek窃取美国技术，并誓言将阻止此类行为，甚至考虑征收关税。欧洲：英国科技大臣表示正在评估DeepSeek聊天机器人的安全性。意大利紧急下令限制DeepSeek取用意大利用户数据......
时政
( twitter.com)

4个月前 • 李老师不是你老师 • -- 点击 0 评论

8

3

2

2

特朗普的AI沙皇：DeepSeek的AI模型是用蒸馏技术跟ChatGPT学习的—— 《华尔街日报》美国总统特朗普的AI沙皇戴维·萨克斯周二表示，中国人工智能公司DeepSeek用OpenAI的内容训练出了风靡全球的新模型。
时政
( twitter.com)

4个月前 • 李老师不是你老师 • -- 点击 0 评论

9

5

4

4

为什么Deepseek在全球一夜名声大噪后变成名誉扫地？
从软件到硬件，都靠抄袭山寨。
DeepSeek使用“蒸馏”技术抄袭了
OpenAI的数据。你问DeepSeek问题，都是ChatGPT的数据库在回答你。这样确实成本低
时政
( twitter.com)

4个月前 • 大雄的微笑 • -- 点击 0 评论

0.07346 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by recha and the Google Privacy Policy and Terms of Service apply.

关注推特

').appendTo(document.body); } $(document).ready(function() { $("a.format_output").bind("click", function(e) { var tid = $(this).closest("div.entry").find("a.title").attr("vid"); if (tid) { clickCounter(tid); } }); });