使用 AI 大模型,一键生成高清故事短视频 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
abi
V2EX    分享创造

使用 AI 大模型,一键生成高清故事短视频

  •  2
     
  •   abi 252 天前
    这是一个创建于 252 天前的主题,其中的信息可能已经有所发展或是发生改变。
    Github 项目地址: https://github.com/alecm20/story-flicks 如果觉得不错的话,欢迎点个,谢谢~

    这个项目可以通过输入简单的一句话,系统就可以通过 LLM 解析主题,生成一个包含多个段落的完整的故事。并且通过图像模型生成符合主题的多张图片,以及调用语音、字幕服务等生成对应的语音和字幕,最终自动生成一个完整的包含故事剧情、语音、字幕、图片等多模态元素的完整视频。同时生成的视频也支持中英日韩等多种语言。

    对于视频创作者来说可以快速生成一个质量不错的视频,提升视频创作效率;对于教育工作者等,可以方便的创建具有教育意义的故事短片给儿童观看等。

    欢迎大家试用~
    20 条回复    2025-02-05 20:21:52 +08:00
    65r4Zgm364TDg652
        1
    65r4Zgm364TDg652  
       252 天前 via iPhone
    技术小白问,这个咋部署,部署在哪里,最低配置要求多少?
    abi
        2
    abi  
    OP
       252 天前
    @huguadao 这个目前可以在本地部署,后端是 python ,前端是 react 项目,对配置要求很低,因为大模型是用的阿里云或者 OpenAI 等的 api 服务。你可以看一下 GitHub 的 readme 的说明。等之后我可能会部署一个在线版,只需要提供 API key 就可以用了。
    oldlamp
        3
    oldlamp  
       252 天前
    请问可以使用本地的大模型么?比如 Ollama 运行的本地 llava 之类的?
    leonme
        4
    leonme  
       252 天前 via iPhone
    看来 AI 还任重道远,基本是不可用的状态
    abi
        5
    abi  
    OP
       252 天前
    @oldlamp 现在还不支持本地的模型,后面我研究下,文本模型应该可以支持。图片模型的话需要的电脑配置较高,可能先不做支持。
    abi
        6
    abi  
    OP
       252 天前
    @leonme 是说生成的效果不好,没办法正式使用吗?
    leegradyllljjjj
        7
    leegradyllljjjj  
       252 天前
    这感觉是个 ppt 吧,
    abi
        8
    abi  
    OP
       252 天前 via iPhone
    @leegradyllljjjj 现在视频里的图像素材只支持图片。ai 生成视频片段的效果还不是很稳定,成本也比较高,后面测测看,效果可以的话会接入进来
    08110920
        9
    08110920  
       252 天前
    @abi 能否接入下 siliconflow ,能免费用
    abi
        10
    abi  
    OP
       252 天前 via iPhone
    @08110920 我调研一下看哈,合适的话加进来
    abi
        11
    abi  
    OP
       252 天前   1
    @oldlamp 你好,现在加了 Ollama 中的文本模型的支持,我用 qwen2.5:14b 测了,可以正常使用。不要使用太小的模型,要不然生成的 json 格式不对。
    08110920
        12
    08110920  
       252 天前
    只能本地部署? 不能部署到服务器?
    abi
        13
    abi  
    OP
       252 天前
    @08110920 现在我是在本地开发&测试的,要部署到服务器的话,需要对后端项目做一些改造,估计需要过些天才能支持。
    leonme
        14
    leonme  
       252 天前
    @abi #6 是的,效果聊胜于无
    cnrting
        15
    cnrting  
       252 天前 via iPhone
    现在图文生视频基本处于骗钱阶段
    abi
        16
    abi  
    OP
       252 天前 via iPhone
    @cnrting 视频的效果还不是很稳定,但是已经有不少实际的应用场景了
    je11yfish
        17
    je11yfish  
       251 天前
    图间 IP 一致性?
    abi
        18
    abi  
    OP
       251 天前 via iPhone
    @je11yfish 现在没有做处理,目前的一致性方案也没有太稳定的,等之后观察吧
    abi
        19
    abi  
    OP
       251 天前
    @08110920 siliconflow 的 API 支持加上了,但是不同模型的格式不太一致,我用 qwen2.5 和 flux-dev 测了可以的。其他的可能会报错
    je11yfish
        20
    je11yfish  
       251 天前
    @abi 不做一致性基本上只能给很小很小的孩子用了。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2510 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 15:35 PVG 23:35 LAX 08:35 JFK 11:35
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86