Warning: Missing argument 3 for write(), called in /www/wwwroot/biwei1.cn/incs/robot.php on line 68 and defined in /www/wwwroot/biwei1.cn/incs/data.php on line 487
QLoRA 是一种LLM微调的新技术。- 12小时的单个消费级GPU上训练，性能就可以达到了ChatGPT的97％- 4bit训练，但是性能与16bit相当这个数据有点离谱。。
发布时间:
1分
数据加载中
关注推特
收听电报
1
0

QLoRA 是一种LLM微调的新技术。
- 12小时的单个消费级GPU上训练，性能就可以达到了ChatGPT的97％
- 4bit训练，但是性能与16bit相当
这个数据有点离谱。。

IT技术

 ( twitter.com )

由 orange.ai 提交
Markdown支持
评论加载中...
您可能感兴趣的： 更多
1
1
1

看了两篇最近比较火的论文，里面说的内容太过于牛逼，让我感觉有点吹牛 😂：

1. QLoRA：最大亮点是降低微调模型所需的硬件资源。使用这个技术，只需要用 48G 的 GPU 就能微调 650 亿参数的模型，同时还保留 16 位微…

推特中文圈

 ( twitter.com)

• JimmyWong • -- 点击
2
1
1

红杉预判的AI技术栈

这张图主要概括了在大语言模型（LLMs）API和自定义模型训练/调整技术栈中广泛采用和早期采用的各种工具和框架。

在LLM API技术栈中，有以下的工具：…

IT技术

 ( twitter.com)

• GPTDAOCN • -- 点击
3
1
1

#工程师学习 这个飞书知识库「一站式 LLM底层技术原理入门指南」，最开始看前面我以为是那种比较水的内容，看了看发现讲得很清晰，用于零基础入门大语言模型（Large Language Model, LLM)底层技术原理，最直接面向群体为非科班出身但想要了解AI技术原理的投资人。

IT技术

 ( s3tlxskbq3.feishu.cn)

• Tw93 • -- 点击
4
1
1

发现个好东西💎
这是一篇用于零基础入门大语言模型（Large Language Model, LLM）底层技术原理的飞书文档
其最直接面向群体为非科班出身但想要了解AI技术原理的AI爱好者们
这篇文档从浅到深，覆盖非常非常多的LLM相关内容细节，并且持续更新迭代最新的技术进展
链接如下：👇

时政

 ( s3tlxskbq3.feishu.cn)

• vigorxu • -- 点击
5
2
2

卧槽 !! 完了完了完了。。。这 8.4K stars 的 repo,特么害我今晚睡不着了呀：
这份开源的 llm 微调库，一网打尽了所有微调过的中文大预言模型。法律，金融，科技，居然还有农业

IT技术

 ( github.com)

• 黄赟 • -- 点击
6
1
1

这篇文章看完了，作者对 ChatGPT 的路线梳理和技术理解都远远超过了各种博主up主，如果想了解的话，一定要读。

通向AGI之路：大型语言模型（LLM）技术精要

推特中文圈

 ( zhuanlan.zhihu.com)

• orange.ai • -- 点击
闪电预览
7
1
1

清华 ChatGLM 的 llm 微调，拍案叫绝 !!



微调前，文案如水
微调后，文案似水

关键是，训练数据集的组织，非常简约
这妥妥的“洗稿”神器

IT技术

 ( www.heywhale.com)

• 黄赟 • -- 点击
8
1
1

#AI开源项目推荐：privateGPT

基于私有LLM（大语言模型）做个人的文档问答，不必担心隐私泄露

技术栈是 LangChain 和 GPT4All
- LLM默认用的 ggml-model-q4_0.bin.
- Em…

IT技术

 ( twitter.com)

• 宝玉 • -- 点击
9
1
1

OpenAI推出的函数调用(function calling)功能其实是一个巨大的创新。它面向开发者，技术性强，但所有从业者都应理解。

下面我们深入浅出地解释它的原理和能力。

从本质上讲，对于LLM的开发者，这就像是为Chat…

IT技术

 ( twitter.com)

• Jeffery Kaneda　金田達也 • -- 点击

0.0913 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。 联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年 零 -- 天  
This site is protected by recha and the Google Privacy Policy and Terms of Service apply.

关注推特

').appendTo(document.body); } $(document).ready(function() { $("a.format_output").bind("click", function(e) { var tid = $(this).closest("div.entry").find("a.title").attr("vid"); if (tid) { clickCounter(tid); } }); });