Warning: Missing argument 3 for write(), called in /www/wwwroot/biwei1.cn/incs/robot.php on line 68 and defined in /www/wwwroot/biwei1.cn/incs/data.php on line 487
推荐阅读：《深入了解大语言模型运维 (LLMOps) [译]》这篇文章 5 月份的，但并没有过时，对于大语言模型的运维(LLMOps)讲的非常系统。随着大语言模型的普及，未来的 Ops 肯定离不开 LLMOps ，甚至于需要专门的团队做 LLMOps。文章中把 LLMOps 分成了几个关键步骤：第 1 步：选择基础模型…
发布时间:
1分
数据加载中
关注推特
收听电报
1
0

推荐阅读：《深入了解大语言模型运维 (LLMOps) [译]》
这篇文章 5 月份的，但并没有过时，对于大语言模型的运维(LLMOps)讲的非常系统。
随着大语言模型的普及，未来的 Ops 肯定离不开 LLMOps ，甚至于需要专门的团队做 LLMOps。
文章中把 LLMOps 分成了几个关键步骤：
第 1 步：选择基础模型…

IT技术

 ( twitter.com )

由 宝玉 提交

推荐阅读：《深入了解大语言模型运维 (LLMOps) [译]》

这篇文章 5 月份的，但并没有过时，对于大语言模型的运维(LLMOps)讲的非常系统。

随着大语言模型的普及，未来的 Ops 肯定离不开 LLMOps ，甚至于需要专门的团队做 LLMOps。

文章中把 LLMOps 分成了几个关键步骤：

第 1 步：选择基础模型
是商业模型还是开源模型，亦或是混合使用

第 2 步：适应下游任务
LLM 的生成结果不像传统的服务，它的结果是不确定的，怎么让 LLM 生成你期望的结果？要不要微调？要不要使用 RAG？

第 3 步：评估
如何评估性能？由于 LLM 生成结果的不确定性，每次微调或者调整 Prompt 后，性能的变化需要可以量化的评估。

这部分可以配合《用 RAGAs（检索增强生成评估）评估 RAG（检索增强型生成）应用 [译]》 https://t.co/FTz0R43FM0 这篇一起看

第 4 步：部署和监控
和传统运维一样，对于 LLM 的线上的部署和监控也是必不可少的，但是又不太一样，外部 API 需要监控 API 可用性，故障了还要考虑能切换到其他 API。

以上就是主要的几个步骤，可以帮助你系统的了解 LLMOps，但是文章都没有深入展开，最好是配合 OpenAI 官方的 《OpenAI 生产环境最佳实践官方指南 [译]》https://t.co/dSbwbjRzze 一起阅读。

LLMOps 还是个很新也是个很有前途的领域，我个人对这方面也不专业，如果你有相关经验欢迎分享，或者有好的文章视频也欢迎推荐。

原文：https://t.co/3NBvNXGMVr
翻译：https://t.co/Kh8bJ0i0wd


点击图片查看原图

Markdown支持
评论加载中...
您可能感兴趣的： 更多
1
1
1

推荐阅读：把大语言模型封装成桌面应用
作者使用Electron+Transformer.js，把大语言模型打包成桌面应用，这样就可以本地运行大语言模型。
另外作者开发了一个框架叫ollama（ 2、Mistral等，但目前只支持Mac和Linux，还不支持Windows。…

IT技术

 ( github.com)

• 宝玉 • -- 点击
2
1
1

推荐阅读：《现代大语言模型架构 [译]》
GitHub 的官方博客内容：The architecture of today’s LLM applications，介绍了现在如果要基于大语言模型构建应用，常见的架构是什么样的。

IT技术

 ( baoyu.io)

• 宝玉 • -- 点击
3
1
1

推荐阅读：《构建企业级大语言模型应用的秘诀：GitHub Copilot 的实践之路》
GitHub Copilot 是目前最成功的大语言模型应用之一，可以帮程序员自动生成可用的代码，已经有超过一百万付费用户。
GitHub Copilot…

IT技术

 ( twitter.com)

• 宝玉 • -- 点击
4
2
2

推荐阅读：《我们是如何利用大语言模型 (LLM) 改进 GitHub Copilot 的探索之旅》，GitHub Copilot 官方发布的博客，原标题：How we’re experimenting with LLMs to evolve GitHub Copilot。
文章中讲述了很多他们在探索如何使用大语言模型改进 GitHub Copilot的尝试，比如自动写 PR…

IT技术

 ( twitter.com)

• 宝玉 • -- 点击
5
1
1

推荐阅读：《我们在使用大语言模型 (LLMs) 构建产品一年中的经验总结 (第一部分) [译]》
文章主要分享了大语言模型核心组件的最佳实践，包括提示词设计、对 LLM 输出结果的评估，什么时候该用 RAG 还是微调等等。
一、提示词设计
1. n-shot 多样例
在提示词中加入 5

IT技术

 ( twitter.com)

• 宝玉 • -- 点击
6
2
2

推荐阅读：《The Future is Rusty —— LLMs Make Programming Language Learning Curves Shallower》
众所周知，Rust 的学习曲线很陡峭，但现在，得益于大语言模型（LLMs）的发展，这个陡峭学习曲线的问题已经变得容易解决了。 无论是 Rust、Haskell…

IT技术

 ( twitter.com)

• 宝玉 • -- 点击
7
1
1

推荐：《Reading List For Andrej Karpathy’s Intro to Large Language Models Video》
Andrej Karpathy 大语言模型视频入门的精选阅读清单
作者针对Andrej Karpathy前几天的视频教程，把相关的参考文章、论文都分门别类整理出来了。
原文：
译文：

IT技术

 ( twitter.com)

• 宝玉 • -- 点击
8
1
1

推荐阅读：《人工智能辅助程序员的三种类型 [译]》
原文：Three types of AI-assisted programmers
中文翻译：
2023 年初，人们发现像 ChatGPT 这样的大语言模型 (LLM) 能够编写高质量的代码片段，这在 linkin…

IT技术

 ( twitter.com)

• 宝玉 • -- 点击
9
1
1

这个谷歌浏览器插件太适合学习英语了

插件集成了最新的 ChatGPT4.0 模型，帮助你更深入的理解单词意思和句子语法，开发了阅读和练习模式，能全面
提高听力和口语能力

IT技术

 ( chrome.google.com)

• 闪电头条⚡️ • -- 点击

0.06948 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。 联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年 零 -- 天  
This site is protected by recha and the Google Privacy Policy and Terms of Service apply.

关注推特

').appendTo(document.body); } $(document).ready(function() { $("a.format_output").bind("click", function(e) { var tid = $(this).closest("div.entry").find("a.title").attr("vid"); if (tid) { clickCounter(tid); } }); });