为什么 waifu2x 图片放大效果那么差,我自己的算法效果那么好? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
3dwelcome
V2EX    程序员

为什么 waifu2x 图片放大效果那么差,我自己的算法效果那么好?

  3dwelcome 2021-06-28 14:06:07 +08:00 5329 次点击
这是一个创建于 1613 天前的主题,其中的信息可能已经有所发展或是发生改变。

一图胜千言:

原图对比

最上面就是原图片(像素是 400 宽度),中间是最新版本 waifu2x,而最下面是我自己的图片放大版本。

为什么最终差距会拉开那么大?首先申明,最下面没加任何锐化滤镜,就是原图输出。

35 条回复    2021-06-29 10:28:30 +08:00
3dwelcome
    1
3dwelcome  
OP
   2021-06-28 14:13:17 +08:00
我传了一张稍微高清点的图片



大家可以保存下来试试,用任何图片软件放大 2 倍,效果都很不好。除非用 photoshop 手动慢慢调。
snachx
    2
snachx  
   2021-06-28 14:14:32 +08:00
如果是真心要问为什么的话,应该贴算法细节和代码

如果只是秀的话,那当我没说,你发的这个例子看起来是很好的
shaojz2005
    3
shaojz2005  
   2021-06-28 14:23:49 +08:00
你的算法好像是抹匀了一样
idealhs
    4
idealhs  
   2021-06-28 14:27:57 +08:00   12
你写的算法,我怎么知道为什么?
mokeyjay
    5
mokeyjay  
   2021-06-28 14:28:29 +08:00
我尝试了一下,waifu2x 放大倍率 3,降噪 1 级,效果挺不错的。相比而言,我更喜欢涂抹感少的图片,你这个算法有点涂抹过头了
thet
    6
thet  
   2021-06-28 14:29:25 +08:00
你牛逼呗
MarkLeeyun
    7
MarkLeeyun  
   2021-06-28 14:33:48 +08:00
你牛逼。。。
hanyceZ
    8
hanyceZ  
   2021-06-28 14:36:07 +08:00
自己写的代码自己不知道吗,无语
3dwelcome
    9
3dwelcome  
OP
   2021-06-28 14:36:19 +08:00
@mokeyjay 我用的是 waifu2x-caffe,也不知道是不是原版本效果要稍微好一些。

可是 waifu2x 出的图,总有一种迷雾模糊的直观感觉。有些图效果很好(可能正好撞上训练集),这张图就不行,有没有办法后期处理掉模糊?
delectate
    10
delectate  
   2021-06-28 14:37:29 +08:00
原图不行,waifu2x 已经很不错了好不好?

你这个完全靠涂抹、去噪、锐化。调参侠,你这样瞎整有意义?
3dwelcome
    11
3dwelcome  
OP
   2021-06-28 14:37:57 +08:00
@hanyceZ “自己写的代码自己不知道吗,无语”

AI 说不清的,waifu2x 不是每一张图放大,效果都那么差,我就是不明白发挥不稳定的根本原因。
3dwelcome
    12
3dwelcome  
OP
   2021-06-28 15:06:21 +08:00
@delectate 我还有一堆对比图片,其中 90%都能秒杀 waifu2x

这是 PS2 模拟器上的截图对比。waifu2x 对细丝发卡完全没用,放大后马赛克满天飞,一点不夸张。

TrembleBeforeMe
    13
TrembleBeforeMe  
   2021-06-28 15:28:30 +08:00
涂抹大师
mokeyjay
    14
mokeyjay  
   2021-06-28 15:34:58 +08:00
你说那么多,不如把算法开源出来大家试试看几斤几两。waifu2x 都 2w star 了,你这开源出来保守翻一倍
lusi1990
    15
lusi1990  
   2021-06-28 15:50:57 +08:00
双线性插值?
F281M6Dh8DXpD1g2
    16
F281M6Dh8DXpD1g2  
   2021-06-28 15:51:49 +08:00   1
"原因是 waifu2x 选取的训练集有问题,他用一大堆高清原图缩小后,创建了训练对比样本,这一步就错了。这样放大时,AI 根本没办法添加原本不存在的更多细节,最多只是平滑和锐化画面算法。但其实 AI 卡通绘画需要的创造力细节,远远不止如此。"
原因你自己不是说了么
3dwelcome
    17
3dwelcome  
OP
   2021-06-28 16:00:18 +08:00
@liprais 话虽如此,但我总觉得无意间触发了 waifu 的 bug 。

我把一楼的图上传到 https://waifu2x.me 上,side by side 对比,放大后清晰度完全没变,只有噪点降下来了。

理论上不应该啊,很奇怪。
tankren
    18
tankren  
   2021-06-28 16:14:18 +08:00
涂抹感太重了
ynyounuo
    19
ynyounuo  
   2021-06-28 16:15:13 +08:00
你这个出图效果更类似 vmToon + WarpSharp
Kagari
21
Kagari  
   2021-06-28 16:19:58 +08:00
原图这么糊 waifu 来干啥
mikumkf
    22
mikumkf  
   2021-06-28 16:22:15 +08:00   1
是因为输入的原图,不仅仅经过了下采样的操作减低分辨率,还经过了各种的压缩损失了信息,从而出现 domain gap 。而 waifu 最原始的算法基于 SRCNN 在训练的时候并没有考虑到这些情况。如果重新训练 waifu 用楼主自己的数据集,在 2x 倍的放大倍率下应该是没太大差距的
3dwelcome
    23
3dwelcome  
OP
   2021-06-28 16:26:10 +08:00
@1423 这个效果才对嘛。。虽然缩小后细节都没了,但是边缘不糊了!

弄了大半天,是给 waifu2x 的原图片尺寸太大了吗?晕过去。
CrazyRundong
    24
CrazyRundong  
   2021-06-28 17:42:19 +08:00 via iPhone
刚好再过两个月就是 ICLR abstraction deadline 了,楼主对自己算法有信心的话交一篇 submission ?
3dwelcome
    25
3dwelcome  
OP
   2021-06-28 17:50:34 +08:00
@CrazyRundong 这图片只是刚好击中了 waifu 的软肋,只要原图不模糊,足够清晰,两者放大效果应该半斤八两。

最多就是加一点涂抹感,但厚涂也是艺术!
icyalala
    26
icyalala  
   2021-06-28 18:31:48 +08:00   1
如果单看楼主的那些图片:
waifu2x 是按图片是 "缩小" 过的为假设,尝试去还原 "原图"。
你给的图片是 "缩小&模糊" 过的,那 waifu2x 还原后的原图应该是 "模糊" 过的,这点 waifu2x 完全没问题。

例如我拍了张景深很浅的照片,背景本来就是漂亮的虚化,如果处理后虚化也给变清晰了那就不对了。
suyeH
    27
suyeH  
   2021-06-28 18:40:14 +08:00
不就是图像超分吗,随便找篇 sota 的顶会 paper 的开源模型就完事了,看你这效果十分不自然,这有什么可以炫耀的?
ReferenceE
    28
ReferenceE  
   2021-06-28 18:42:34 +08:00 via Android
@suyeH 别尬黑,别人是"自研"。是啥水平拉出来溜溜,算法代码开源一切都知道了
3dwelcome
    29
3dwelcome  
OP
   2021-06-28 18:51:50 +08:00
@suyeH 又不是所有的顶会 paper 都开源的,开源只是其中一部分而已。

比如 stylegen2 开源了,硬件要求 12G 显存,我估计 V2 硬件满足标准的人数,不到 1%。
longbye0
    30
longbye0  
   2021-06-28 19:27:08 +08:00
waifu2x 用的开源模型几年前的了,动画真的是 easy 模式
root99527
    31
root99527  
   2021-06-28 19:38:40 +08:00
你的输入图的退化模型是怎么样的?
jander1234
    32
jander1234  
   2021-06-29 06:06:18 +08:00
?清不说也己自以所?了法算的源开近最了考参是不是你
chocotan
    33
chocotan  
   2021-06-29 09:08:59 +08:00
@3dwelcome 你怎么不说全国全球硬件满足标准的人数呢。。。
3dwelcome
    34
3dwelcome  
OP
   2021-06-29 10:18:45 +08:00
@jander1234 肯定有一部分参考开源的,也有一部分是自己原创的。这点我不否认。

大部分是 AI 厚涂学习算法,不能算传统的图片处理算法。

至于这算法代码是不是开源,其实真无所谓,github 上高手满天飞。多我一个不多,少我一个不少。
3dwelcome
    35
3dwelcome  
OP
   2021-06-29 10:28:30 +08:00
@jander1234 我查了一下 AMD,没代码啊,说最早也要下个月呢。
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3023 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 28ms UTC 12:49 PVG 20:49 LAX 04:49 JFK 07:49
Do have faith in what you're doing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86