点击	回复
700	4

transformer和diffusion

上位魔导士十五级

1楼发表于：2024-4-4 01:26

目前的兩個主流架構，分別處理離散和連續的數據，比如說語言和圖像。

但是diffusion其實是訓練方式，transformer是模型架構，所以diffusion也可以是transformer，DiT就是這樣。

所以兩個模型其實是可以融合的。

從transformer在長上下文的表現來看，已經可以有效處理1000萬token，作為通用人工智慧是合格的，但成本還是很高的，可能會限制其應用範圍。

副总编二十三级

2楼发表于：2024-4-4 08:33

感謝介紹人工智慧的相關知識

能否介紹一下transformer的常用訓練方式？

大魔导士十七级

3楼发表于：2024-4-4 09:30

哇

副总编二十三级

4楼发表于：2024-6-3 08:38

順便一問，stable diffusion是不是其模型架構和訓練方式都是diffusion？

	悄悄打开魔盒：模型架構可以選擇，sd 1.5和sdxl都是UNet，而sd3是transformer，訓練方式是diffusion
	2024-6-17 19:43 回复

回复帖子

本帖信息

点击数：700

回复数：4

	【新功能】現在手機版發帖也可以上傳圖片了
	【公告】布拉斯侃吧（Purasbar）全站已啟用HTTP/2訪問以及TLS1.3加密
	【新功能】樓中樓功能已上線
	【公告】Purasbar http訪問方式已關閉，從現在起只能通過https方式訪問
	【新功能】現在可以直接在發帖框中粘貼圖片啦！
	【新功能】搜索框提示功能上線了
	【公告】第十五次補丁包安裝完畢
	【公告】從現在開始，管理員將停止審批會員
	【公告】阿斯蘭侃吧現在開始支持簡繁混合搜索
	【公告】阿斯蘭侃吧啟用https訪問
	【公告】從今天開始，本站實行主題編號制
	【新功能】圖片縮放功能上線了

	©2010-2025 Purasbar Ver2.0 ▲
	除非另有声明，本站采用知识共享署名-相同方式共享 3.0 Unported许可协议进行许可。