复旦团队：全参数微调用于资源有限的大语言模型单台机器能够微调65B参数的LLaMA这项技术使得一个只有8块RTX 3090显卡（每块显存24GB）的单一机器能够完全微调一个拥有65B参数的模型。代码库：…

Warning: Missing argument 3 for write(), called in /www/wwwroot/biwei1.cn/incs/robot.php on line 68 and defined in /www/wwwroot/biwei1.cn/incs/data.php on line 487

site stats

复旦团队：全参数微调用于资源有限的大语言模型单台机器能够微调65B参数的LLaMA这项技术使得一个只有8块RTX 3090显卡（每块显存24GB）的单一机器能够完全微调一个拥有65B参数的模型。代码库：…

发布时间: 2023-06-20 09:46:52

1分

数据加载中

关注推特

收听电报

2

1

0

复旦团队：全参数微调用于资源有限的大语言模型

单台机器能够微调65B参数的LLaMA

这项技术使得一个只有8块RTX 3090显卡（每块显存24GB）的单一机器能够完全微调一个拥有65B参数的模型。

代码库：…
IT技术
( twitter.com )

2年前由 GPTDAOCN 提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

【复旦MOSS升级版开源上线，能搜索信息、生成图像，还能解数学应用题】“MOSS的道德感也很强，”复旦大学自然语言处理实验室博士生孙天祥说，对于有负能量的指令，它也可以给出令人满意的回复。
大陆资讯
( web.shobserver.com)

2年前 • 猪莉夜 • -- 点击 0 评论

2

2

1

1

最新开源模型选择个人推荐（超过40B的建议购买API服务，其他则建议自行int4部署）。
中文 RAG 选择 CommandR+
Agent/FunctionCalling 使用 Llama3-70B 或 CommandR+
中文文案写作用Qwen-72B，语言更Local一些。
特定任务的小参数微调base模型用 Llama3-8B 或 Mistral-7B
大参数微调base 模型用 Yi-34B
时政
( twitter.com)

1年前 • 九原客 • -- 点击 0 评论

3

2

1

1

马斯克旗下大模型公司xAI宣布正式开源3140亿参数的混合专家（MoE）模型“Grok-1”。Grok-1为当前参数量最大的开源大语言模型。
不过与目前推特X平台付费版的Grok不同，Grok-1从头开始训练，没有针对任何特定应用进行微调。
时政
( twitter.com)

1年前 • 外汇交易员 • -- 点击 0 评论

4

2

1

1

一个社会的生产能力是有限的。如果将精力用于生产某一物资，其他物资的产出就会减少。同样地，一个政府能支配的总资源也有限。如果政府把更多资源用于对付老百姓，那么只会有更少资源用于改善百姓生活。而一旦陷入死循环，就很难回头了，维稳开支会越来越大，百姓怨言也越来越大，直到体制崩溃为止。
时政
( twitter.com)

2年前 • Jacobson🌎🌸贴贴BOT • -- 点击 0 评论

5

2

1

1

可商用！复旦大学开源了160B参数的大模型MOSS
MOSS是一个支持中英双语和多种插件的对话语言模型，基座模型在约七千亿中英文以及代码单词上预训练得到。具备多轮对话能力及使用多种插件的能力
很多训练语料都使用ChatGPT AP…
推特中文圈
( twitter.com)

2年前 • nash_su • -- 点击 0 评论

6

2

1

1

大语言模型微调之道1——介绍

#大语言模型微调之道

欢迎来到由Sharon Zhou主讲的《大语言模型微调之道》课程。这门课程将教你如何在自己的数据上进一步训练开源LLM。

虽然你可能已经知道如何提示一个大语言模型，但这门课程会深入讲解另一个重要工具：微调。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:02:59

7

3

2

2

上海复旦张文宏团队研究的一组有关新冠病毒的数据。
时政
( twitter.com)

2年前 • twitter机器人 • -- 点击 0 评论

8

2

1

1

转：上海复旦张文宏团队研究的一组有关新冠病毒的数据：
时政
( twitter.com)

2年前 • twitter机器人 • -- 点击 0 评论

9

2

1

1

看了两篇最近比较火的论文，里面说的内容太过于牛逼，让我感觉有点吹牛 😂：

1. QLoRA：最大亮点是降低微调模型所需的硬件资源。使用这个技术，只需要用 48G 的 GPU 就能微调 650 亿参数的模型，同时还保留 16 位微…
推特中文圈
( twitter.com)

2年前 • JimmyWong • -- 点击 0 评论

0.1069 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by recha and the Google Privacy Policy and Terms of Service apply.

关注推特

').appendTo(document.body); } $(document).ready(function() { $("a.format_output").bind("click", function(e) { var tid = $(this).closest("div.entry").find("a.title").attr("vid"); if (tid) { clickCounter(tid); } }); });