很多人担心DeepSeek的低成本训练会冲击显卡市场，但我认为其实是利好首先一个误区是其他厂商模仿DeepSeek就不需要那么多卡了。其实DeepSeek-R1的低成本训练方法是可以scaling的。也就是说用更多卡，理论上效果只会更好。他本质上是一种improvement of scaling

Warning: Missing argument 3 for write(), called in /www/wwwroot/biwei1.cn/incs/robot.php on line 68 and defined in /www/wwwroot/biwei1.cn/incs/data.php on line 487

site stats

很多人担心DeepSeek的低成本训练会冲击显卡市场，但我认为其实是利好首先一个误区是其他厂商模仿DeepSeek就不需要那么多卡了。其实DeepSeek-R1的低成本训练方法是可以scaling的。也就是说用更多卡，理论上效果只会更好。他本质上是一种improvement of scaling

发布时间: 2025-01-27 14:20:03

1分

数据加载中

关注推特

收听电报

2

1

0

很多人担心DeepSeek的低成本训练会冲击显卡市场，但我认为其实是利好
首先一个误区是其他厂商模仿DeepSeek就不需要那么多卡了。
其实DeepSeek-R1的低成本训练方法是可以scaling的。也就是说用更多卡，理论上效果只会更好。他本质上是一种improvement of scaling
时政
( twitter.com )

4个月前由 JundeWu 提交

很多人担心DeepSeek的低成本训练会冲击显卡市场，但我认为其实是利好

首先一个误区是其他厂商模仿DeepSeek就不需要那么多卡了。
其实DeepSeek-R1的低成本训练方法是可以scaling的。也就是说用更多卡，理论上效果只会更好。他本质上是一种improvement of scaling law，可以参考我下面画的不太严谨的示意图。在deepseek出来之前，其他大模型用PRM (process reward model)的时候，已经观察到scaling law失效，边际效应递减了，因为需要额外的卡训练PRM模型来监督推理过程，但是deepseek的出现重新验证了scaling law，也就是多一张卡，性能就成正比提升。这对显卡市场显然是一种利好。

另一个误区是DeepSeek做的是推理，不是训练。其实DeepSeek-R1做的是纯纯的训练，他们是通过post-training，后训练，来训练出模型有更强的推理能力，这种训练和预训练对显卡的需求没有本质区别。纯粹的推理端scaling/搜索，也就是模型自己推理多种答案，然后再挑一个最好的给你，其实现在用的不是很多，因为对用户的延迟太长了，猜测o1-pro应该是用了推理端搜索，有趣的是deepseek发现PRM (process reward model)对推理后训练虽然没用，但对推理端搜索是有用的，只不过not worth it，性价比很低。

其实未来对显卡市场和Scaling Law的最大威胁不是模型，而是数据。现有大模型已经用了几乎所有互联网数据，未来数据获取难度将指数级上升。之后很可能会遇到空有大量显卡，但没数据的窘境。

点击图片查看原图

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

这个事情其实不难解释，我在2天前的DeepSeek论文分析报告中也已经总结，很多疑惑看过paper就有答案。
V3的低成本算力提升主要有三个因素
1）fp8 的低精度浮点数训练，之前有人尝试过fp8的低精度训练，但都失败了。deepseek靠着顶尖数学竞赛生，硬是把它调了出来
2) MoE,
时政
( twitter.com)

4个月前 • 勃勃OC • -- 点击 0 评论

2

2

1

1

OpenAI 研究员确认 DeepSeek 独立发现了一些o1的核心idea。
此外随着DeepSeek 的出圈，很多人担心审查、数据安全性。我只能说，这是一个开源模型，OK？
担心数据安全请选择其他服务商托管的版本（数据不会发给中国）；担心审查就耐心等待下，uncensored版本迟早社区会post -training
时政
( twitter.com)

4个月前 • 九原客 • -- 点击 0 评论

3

2

1

1

看了下DeepSeek论文，做了点笔记和思考
DeepSeek降低训练成本会不会让算力需求下降？看历史就知道了，GPT4级别token价格在一年半之内降低了100~1000倍，也没有类似的担忧(如图)
AI算力通缩是必然现象，长线旋律就是十年加速六个数量级：软件/算法加速三个数量级，硬件加速三个数量级
IT技术
( twitter.com)

4个月前 • fin • -- 点击 0 评论

4

2

1

1

DeepSeek 用黑科技完成了fp8训练，取得了举世瞩目的效果
结果今天，微软突然公布了自己在fp4上的训练成果
要知道，fp4比fp8还要节省一半
其实DeepSeek的DualPipe 本来就是和微软的ZeRO框架合作的
有这样的成果，并不意外
不过美中不足的是，
时政
( twitter.com)

4个月前 • 勃勃OC • -- 点击 0 评论

5

2

1

1

DeepSeek可以做很多事情，比如“和 Dexscreener 构建免费的 AI 加密交易机器人”，如果将DeepSeek部署在自己电脑里面，就可以训练自己的专属AI资料库。
✅今天分享《仅需3步，在本地部署DeepSeek》。本教程保姆级，内容详细，步骤简单，适合初学者【建议收藏】。
🧵教程如下：
时政
( twitter.com)

4个月前 • 加密狗 • -- 点击 0 评论

6

2

1

1

Awesome DeepSeek Integrations，很多有意思的集成 DeepSeek 的项目，也许能给你带来灵感
deepseek-ai/awesome-deepseek-integration
IT技术
( twitter.com)

3个月前 • 宝玉 • -- 点击 0 评论

7

2

1

1

晚上有机会坐下来细看DS公布的数据，再次被深深震惊了。
DeepSeek在线服务的运行数据
英文版本见公布的Github链接。
所有DeepSeek-V3/R1推理服务均在H800 GPU上运行，且推理精度与训练一致：
🔹 矩阵乘法和调度传输采用 FP8 格式（与训练对齐）。
🔹
时政
( twitter.com)

3个月前 • Compute King • -- 点击 0 评论

8

2

1

1

解释下这个库能干嘛: DeepSeek一项重大进步是使用FP8精度进行训练。训练的本质其实是矩阵乘法。默认大家都使用NVIDIA CUDA库中提供的矩阵乘法。DeepSeek这个库在最优情况可以将矩阵乘法性能提升2.7x. 可以加速训练速度. 另外在早些年一些商用BLAS库(Basic Linear Algebra
时政
( twitter.com)

3个月前 • karminski-牙医 • -- 点击 0 评论

9

2

1

1

DeepSeek推理成本上涨4-5倍，低价时代结束
时政
( twitter.com)

4个月前 • 勃勃OC • -- 点击 0 评论

0.6844 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by recha and the Google Privacy Policy and Terms of Service apply.

关注推特

').appendTo(document.body); } $(document).ready(function() { $("a.format_output").bind("click", function(e) { var tid = $(this).closest("div.entry").find("a.title").attr("vid"); if (tid) { clickCounter(tid); } }); });