大佬们 stable-diffusion-webui API 文生图怎么多人同时画图

可以试试秋叶启动器里有一个停用 gradio 内置队列的选项
但是禁用队列后我有疑问就是，如果用户 A 在用大模型 A 在出图中，而用户 B 这时候选择大模型 B 出图，那大模型 A 和 B 是不是都需要加载到显存里？那再来一个用户 C 选择大模型 C 呢？
没有队列后，是不是显存就需要无穷大了？

不用队列应该不行，多个用户同时画图的话，显存应该不够。

单机应该不行，本来一个任务就全力跑了，不排队的话大家都慢。
如果 api 有可以获取队列信息话，可以考虑在它前面套一个自己维护的负载，webui 部署多台机器，自己做任务分配。

多进程队列，我现在就是这么做的。不同进程可以加载不同的模型。

@hyperzlib 你好，你的方案需要魔改吗？

@dabingbing 不用，启动参数可以指定加载的模型和端口，不同模型开在不同端口上就行了。然后自己写一个调度中间件。