Win10 RVC-realtime 在后台运行效率很差

最近在试 RVC ，也就是这个 RVC-Project Retrieval-based-Voice-Conversion-WebUI。

我发现它有个实时变声的程序 rvc-realtime，这个很有意思，可以实时将你麦克风说的话转成训练后的声音效果。
但我在使用的时候发现当我开启实时变声之后，在前台全屏游戏之后，后台的 rvc-realtime 的执行效率就急剧降低，有时候没有声音反馈，有时候声音反馈非常卡顿。
目前不知道是 python 的原因还是 rvc 的原因，亦或者是 win10 调度的原因。
请问有大佬用过 RVC 的吗，这种情况怎么解决，感激不尽。

目前系统配置：
系统：win10-专业版
显卡：4060ti-8g
CPU：i5-12600KF
内存：32g
游戏：无畏契约

目前这个配置用 rvc-realtime 是很轻松的，所以没考虑性能问题。