目前共有5篇帖子。 字体大小:较小 - 100% (默认)▼  内容转换:台灣正體▼
 
点击 回复
700 4
transformer和diffusion
上位魔导士 十五级
1楼 发表于:2024-4-4 01:26
目前的兩個主流架構,分別處理離散和連續的數據,比如說語言和圖像。

但是diffusion其實是訓練方式,transformer是模型架構,所以diffusion也可以是transformer,DiT就是這樣。

所以兩個模型其實是可以融合的。


從transformer在長上下文的表現來看,已經可以有效處理1000萬token,作為通用人工智慧是合格的,但成本還是很高的,可能會限制其應用範圍。

副总编 二十三级
2楼 发表于:2024-4-4 08:33
感謝介紹人工智慧的相關知識

能否介紹一下transformer的常用訓練方式?

 
大魔导士 十七级
3楼 发表于:2024-4-4 09:30
 
副总编 二十三级
4楼 发表于:2024-6-3 08:38
順便一問,stable diffusion是不是其模型架構和訓練方式都是diffusion?
 
悄悄打开魔盒:模型架構可以選擇,sd 1.5和sdxl都是UNet,而sd3是transformer,訓練方式是diffusion
  2024-6-17 19:43 回复

回复帖子

内容:
用户名: 您目前是匿名发表
验证码:
(快捷键:Ctrl+Enter)
 

本帖信息

点击数:700 回复数:4
评论数: ?
作者:悄悄打开魔盒
最后回复:悄悄打开魔盒
最后回复时间:2024-6-17 19:43
 
©2010-2025 Purasbar Ver2.0
除非另有声明,本站采用知识共享署名-相同方式共享 3.0 Unported许可协议进行许可。