各位 AI 大佬， 目前有流式输入的 llm 吗？ 有支持这个功能吗？

流式输入？输出流式最主要的是用户侧的使用体验。参考了 AVG 游戏里的文本显示形式。至于输入...你在输入的状态下就是流式的嘛

我能想到的产品就是火山引擎的 豆包实时语音对话 2.0 ，我之前接入语音合成接触过一点。
他的语音输入、输出是流式的，输出也可以转成文字直接输出。但这个产品可能不是完全适合你用

@SoulFlame 流式音频输入是 ASR 的常规操作，但是 llm 什么场景下会需要流式输入我没太想明白，你说的那个应该也是为了流式 ASR 而已