DeepSeek 开始搞多模态了。开源了一个多模态理解和生成一体的模型 Janus，既可以理解图片内容又可以生成图片。Janus的核心创新是将视觉编码分为两个独立的部分:一个用于多模态理解,一个用于图像生成。

Warning: Missing argument 3 for write(), called in /www/wwwroot/biwei1.cn/incs/robot.php on line 68 and defined in /www/wwwroot/biwei1.cn/incs/data.php on line 487

site stats

DeepSeek 开始搞多模态了。开源了一个多模态理解和生成一体的模型 Janus，既可以理解图片内容又可以生成图片。Janus的核心创新是将视觉编码分为两个独立的部分:一个用于多模态理解,一个用于图像生成。

发布时间: 2024-10-18 19:20:36

1分

数据加载中

关注推特

收听电报

2

1

0

DeepSeek 开始搞多模态了。
开源了一个多模态理解和生成一体的模型 Janus，既可以理解图片内容又可以生成图片。
Janus的核心创新是将视觉编码分为两个独立的部分:一个用于多模态理解,一个用于图像生成。
IT技术
( twitter.com )

7个月前由歸藏(guizang.ai) 提交

DeepSeek 开始搞多模态了。

开源了一个多模态理解和生成一体的模型 Janus，既可以理解图片内容又可以生成图片。

Janus的核心创新是将视觉编码分为两个独立的部分:一个用于多模态理解,一个用于图像生成。

这种解耦设计可以缓解理解和生成任务对视觉编码器的不同需求所带来的冲突,从而在两种任务上都实现更好的性能。

它采用统一的自回归变换器架构来处理不同模态的输入。

点击图片查看原图

点击图片查看原图

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

DeepSeek来了，他开源了一款统一的多模态理解和生成的模型：Janus 1.3B
Janus核心是可以同时理解和生成文字、图像，它可以看懂图片和文字，还能根据描述画出图片来
时政
( twitter.com)

7个月前 • AIGCLINK • -- 点击 0 评论

2

3

2

2

4月5日 Meta发布了其新一代开源大语言模型Liama4，其拥有超过4000亿参数，Meta宣称该模型是同类中最好的多模态模型（可以处理图像输入输出），在参数量更少运行门槛更低的情况下，编程和推理能力上和DeepSeek V3相当。
并且该模型完全免费开源，用户可以从Liama官网下载并部署在本地。
时政
( twitter.com)

2个月前 • 李老师不是你老师 • -- 点击 0 评论

3

2

1

1

我大鹅厂也开始开源了，希望别烂尾。
腾讯正式公布，旗下混元文生图大模型已完成升级，并对外开源。
此次升级的模型采用了与Sora相同的DiT架构，不仅能够支持文生图，也能作为视频等多模态视觉生成的基础。
这是业界首个中文原生的DiT架构文生图开源模型，支持中英双语输入及理解，15亿参数。
时政
( twitter.com)

1年前 • Leo Xiang • -- 点击 0 评论

4

2

1

1

有用户反映，询问DeepSeek属于哪个openai模型。开启深度思考R1模式后，DeepSeek回答自己是基于GPT-3.5的增强版模型即GPT3.5turbo
时政
( twitter.com)

4个月前 • 李老师不是你老师 • -- 点击 0 评论

5

2

1

1

#AI开源项目推荐#：Video-LLaVA
北京大学的多模态图像视频识别
论文摘要：…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:02:06

6

2

1

1

这这这。。。原来还可以把思想钢印抹掉？
PPLX 做了个 DeepSeek R1 的无审查版本 R1 1776，并且开源了
这是 DeepSeek R1 模型的一个版本，经过后期训练，可以提供未经审查、公正和真实的信息。
为了让模型在敏感话题上“不受审查”，创建了一个包含 1000 多个示例的多样化、多语言评估集。
IT技术
( twitter.com)

3个月前 • orange.ai • -- 点击 0 评论

7

2

1

1

AI取代人类从网购 / 刷短视频开始：CMU发布多模态Web Agent基准，让大模型冲浪比你还溜
大陆资讯
( www.ithome.com)

1年前 • 羡慕忌妒恨 • -- 点击 0 评论

8

2

1

1

昨天上海 AI lab 开源了一个非常强的多模态 LLM InternLM-XComposer-2.5 。
支持超高分辨率图像理解、细粒度视频理解、多轮图像对话。
另外专门针对网页制作和图文文章混排做了优化。
说来可笑，国内那几家大厂到现在也没有个好用的多模态 LLM，AI lab 就开源了。
IT技术
( twitter.com)

11个月前 • 歸藏(guizang.ai) • -- 点击 • 下载视频 0 评论

00:00:53

9

2

1

1

目前，中国的AI大模型DeepSeek已经在各种国产产品上大规模铺开应用。
时政
( twitter.com)

3个月前 • 李老师不是你老师 • -- 点击 0 评论

0.12287 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by recha and the Google Privacy Policy and Terms of Service apply.

关注推特

').appendTo(document.body); } $(document).ready(function() { $("a.format_output").bind("click", function(e) { var tid = $(this).closest("div.entry").find("a.title").attr("vid"); if (tid) { clickCounter(tid); } }); });