點擊	回復
77	4

transformer和diffusion

初級魔法師四級

1樓發表于：2024-4-4 01:26

回復

目前的两个主流架构，分别处理离散和连续的数据，比如说语言和图像。

但是diffusion其实是训练方式，transformer是模型架构，所以diffusion也可以是transformer，DiT就是这样。

所以两个模型其实是可以融合的。

从transformer在长上下文的表现来看，已经可以有效处理1000万token，作为通用人工智能是合格的，但成本还是很高的，可能会限制其应用范围。

執行總編二十一級

2樓發表于：2024-4-4 08:33

回復

感谢介绍人工智能的相关知识

能否介绍一下transformer的常用训练方式？

大魔法師十一級

3樓發表于：2024-4-4 09:30

回復

哇

執行總編二十一級

4樓發表于：2024-6-3 08:38

回復

顺便一问，stable diffusion是不是其模型架构和训练方式都是diffusion？

	悄悄打开魔盒：模型架构可以选择，sd 1.5和sdxl都是UNet，而sd3是transformer，训练方式是diffusion
	2024-6-17 19:43 回復

回復帖子

本帖信息

點擊數：77

回複數：4

	【新功能】现在手机版发帖也可以上传图片了
	【公告】布拉斯侃吧（Purasbar）全站已启用HTTP/2访问以及TLS1.3加密
	【新功能】楼中楼功能已上线
	【公告】Purasbar http访问方式已关闭，从现在起只能通过https方式访问
	【新功能】现在可以直接在发帖框中粘贴图片啦！
	【新功能】搜索框提示功能上線了
	【公告】第十五次補丁包安裝完畢
	【公告】從現在開始，管理員將停止審批會員
	【公告】阿斯兰侃吧现在开始支持简繁混合搜索
	【公告】阿斯蘭侃吧啟用https訪問
	【公告】从今天开始，本站实行主题编号制
	【新功能】图片缩放功能上线了

	©2010-2024 Purasbar Ver2.0 ▲
	除非另有聲明，本站採用創用CC姓名標示-相同方式分享 3.0 Unported許可協議進行許可。