点击	回复
85	4

transformer和diffusion

初级魔法师四级

1楼发表于：2024-4-4 01:26

目前的两个主流架构，分别处理离散和连续的数据，比如说语言和图像。

但是diffusion其实是训练方式，transformer是模型架构，所以diffusion也可以是transformer，DiT就是这样。

所以两个模型其实是可以融合的。

从transformer在长上下文的表现来看，已经可以有效处理1000万token，作为通用人工智能是合格的，但成本还是很高的，可能会限制其应用范围。

执行总编二十一级

2楼发表于：2024-4-4 08:33

感谢介绍人工智能的相关知识

能否介绍一下transformer的常用训练方式？

大魔法师十一级

3楼发表于：2024-4-4 09:30

哇

执行总编二十一级

4楼发表于：2024-6-3 08:38

顺便一问，stable diffusion是不是其模型架构和训练方式都是diffusion？

	悄悄打开魔盒：模型架构可以选择，sd 1.5和sdxl都是UNet，而sd3是transformer，训练方式是diffusion
	2024-6-17 19:43 回复

回复帖子

本帖信息

点击数：85

回复数：4

	【新功能】现在手机版发帖也可以上传图片了
	【公告】布拉斯侃吧（Purasbar）全站已启用HTTP/2访问以及TLS1.3加密
	【新功能】楼中楼功能已上线
	【公告】Purasbar http访问方式已关闭，从现在起只能通过https方式访问
	【新功能】现在可以直接在发帖框中粘贴图片啦！
	【新功能】搜索框提示功能上線了
	【公告】第十五次補丁包安裝完畢
	【公告】從現在開始，管理員將停止審批會員
	【公告】阿斯兰侃吧现在开始支持简繁混合搜索
	【公告】阿斯蘭侃吧啟用https訪問
	【公告】从今天开始，本站实行主题编号制
	【新功能】图片缩放功能上线了

	©2010-2024 Purasbar Ver2.0 ▲
	除非另有声明，本站采用知识共享署名-相同方式共享 3.0 Unported许可协议进行许可。