有什么好用的去除视频背景颜色工具 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
noobma
V2EX    程序员

有什么好用的去除视频背景颜色工具

  •  
  •   noobma 2023-11-15 17:51:00 +08:00 1367 次点击
    这是一个创建于 696 天前的主题,其中的信息可能已经有所发展或是发生改变。

    通过一些网站生成的数字人视频,用的绿色背景,视频内容就是一个站着的人在讲话,头有些轻微的转动,嘴巴会动,其他基本上就是不动的内容。

    现在是通过 ffmpeg 进行颜色替换把 mp4 转成 webm ,但是在人的边缘和背景交界的地方,还是能看出绿色的颜色,要是调大 colorkey 的第二个参数,可能会把人身上的一些颜色给替换掉了。

    下面这张图是 ffmpeg 替换的效果 https://imgur.com/a/Tytu8R8

    所以现在求一个效果好的工具,最好是开源、免费的;要是收费的话,可以提供试用看效果的也可以

    11 条回复    2024-08-27 17:47:16 +08:00
    ysc3839
        1
    ysc3839  
       2023-11-16 06:00:42 +08:00 via Android
    效果好的 keying 算法应该没有开源的,基本是跟随一些专业剪辑软件提供的。
    开源的基于 AI 的方案可以看看
    ysc3839
        2
    ysc3839  
       2023-11-16 06:02:03 +08:00 via Android
    可以看看 RobustVideoMatting ,不过这不是根据颜色来去除背景,而是通用的可以去除任何背景,但效果不一定比专业的 keying 算法好
    https://peterl1n.github.io/RobustVideoMatting/#/
    noobma
        3
    noobma  
    OP
       2023-11-16 10:11:05 +08:00
    @ysc3839 谢谢大佬,在 colab 上试了下 RobustVideoMatting ,也在 https://replicate.com/explore?query=background 这里找了些 ai 的去除方案,效果都不太理想,人物边缘的绿色还是有

    我在想用 ffmpeg 导出所有的图片,然后有没有什么工具可以识别人物轮廓的坐标,再沿着人物的轮廓把一圈的 1px 替换成透明的颜色,再把这些图片重新合成视频,最好是可以本地通过代码或者命令行调用的工具
    ysc3839
        4
    ysc3839  
       2023-11-16 10:43:34 +08:00 via Android
    @noobma 看看测试截图?印象中效果没那么差,该不会是没处理好边缘吧?
    noobma
        5
    noobma  
    OP
       2023-11-16 11:16:01 +08:00
    @ysc3839 https://imgur.com/a/NpiQ5YG
    大佬你看看,是不是跟我调成了输出图片序列有关
    noobma
        6
    noobma  
    OP
       2023-11-16 11:23:48 +08:00
    @noobma 这是原视频截图
    https://imgur.com/a/OYbsl02
    ysc3839
        7
    ysc3839  
       2023-11-16 11:51:14 +08:00 via Android
    @noobma 改成输出视频试试?需要改一下背景色,inference.py 115 行的 120,255,155 改成 0,0,0
    ysc3839
        8
    ysc3839  
       2023-11-16 11:55:34 +08:00 via Android
    StubbornHuang
        9
    StubbornHuang  
       2023-11-16 16:59:22 +08:00
    可以考虑 AI 的方案,前段时间刚刚开发过一个类似的产品,抠除人像效果还不错,对于不复杂的背景感觉效果很好
    foursking
        10
    foursking  
       2024-08-27 17:45:53 +08:00
    @noobma 请问找到好的方式了吗
    foursking
        11
    foursking  
       2024-08-27 17:47:16 +08:00
    @StubbornHuang 具体产品名字有吗
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2605 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    /div> World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 05:12 PVG 13:12 LAX 22:12 JFK 01:12
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86