點擊	回復
495	4

transformer和diffusion

上位魔導士十五級

1樓發表于：2024-4-4 01:26

回復

目前的兩個主流架構，分別處理離散和連續的數據，比如說語言和圖像。

但是diffusion其實是訓練方式，transformer是模型架構，所以diffusion也可以是transformer，DiT就是這樣。

所以兩個模型其實是可以融合的。

從transformer在長上下文的表現來看，已經可以有效處理1000萬token，作為通用人工智能是合格的，但成本還是很高的，可能會限制其應用範圍。

副總編二十二級

2樓發表于：2024-4-4 08:33

回復

感謝介紹人工智能的相關知識

能否介紹一下transformer的常用訓練方式？

大魔導士十七級

3樓發表于：2024-4-4 09:30

回復

哇

副總編二十二級

4樓發表于：2024-6-3 08:38

回復

順便一問，stable diffusion是不是其模型架構和訓練方式都是diffusion？

	悄悄打开魔盒：模型架構可以選擇，sd 1.5和sdxl都是UNet，而sd3是transformer，訓練方式是diffusion
	2024-6-17 19:43 回復

回復帖子

本帖信息

點擊數：495

回複數：4

	【新功能】現在手機版發帖也可以上傳圖片了
	【公告】布拉斯侃吧（Purasbar）全站已啟用HTTP/2訪問以及TLS1.3加密
	【新功能】樓中樓功能已上線
	【公告】Purasbar http訪問方式已關閉，從現在起只能通過https方式訪問
	【新功能】現在可以直接在發帖框中粘貼圖片啦！
	【新功能】搜索框提示功能上線了
	【公告】第十五次補丁包安裝完畢
	【公告】從現在開始，管理員將停止審批會員
	【公告】阿斯蘭侃吧現在開始支持簡繁混合搜索
	【公告】阿斯蘭侃吧啟用https訪問
	【公告】從今天開始，本站實行主題編號制
	【新功能】圖片縮放功能上線了

	©2010-2025 Purasbar Ver2.0 ▲
	除非另有聲明，本站採用創用CC姓名標示-相同方式分享 3.0 Unported許可協議進行許可。