请教如何做一个在线口译系统 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
arkerdota

请教如何做一个在线口译系统

  •  
  •   arkerdota 2023 年 5 月 11 日 2659 次点击
    这是一个创建于 1080 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请教一下各位大佬,一位老同学做科研找上门来合作项目,想做一个在线的口译训练系统。

    前端需要能够识别 演讲者的语言(耳机),学生的语言(麦克风),还需要实时翻译成目标语言(中英文)。

    对这块真的不是很熟悉,请教一下大家怎么实现,或者有没有相关的学习资料。

    如果有现成的 demo 可以参考就更好了了。

    谢谢大家。

    15 条回复    2023-05-14 22:56:39 +08:00
    paradox8599
        1
    paradox8599  
       2023 年 5 月 11 日 via Android
    昨晚正好在看这个,但只是游戏社交用:

    https://nmori.github.io/yncneo-Docs/

    https://github.com/VRCWizard/TTS-Voice-Wizard
    superliy
        2
    superliy  
       2023 年 5 月 11 日
    用 chatgpt ?
    ruanimal
        3
    ruanimal  
       2023 年 5 月 11 日
    语音转文字,然后调用 chatgpt ?
    rsy
        4
    rsy  
       2023 年 5 月 11 日
    用现成的音频转写翻译服务就可以了
    https://sight.youdao.com/service/voice
    Alias4ck
        5
    Alias4ck  
       2023 年 5 月 11 日
    stt 服务,openai 的 whisper( https://github.com/openai/whisper),在官方 github 的 discussion 里面有很多相关的 application(huggingface 上面也有很多),还有可以在 cpu 上跑的比如 这个 https://github.com/ggerganov/whisper.cpp
    它的 examples 里面有 https://whisper.ggerganov.com/stream/, 实时翻译的 wasm 应用
    我看一楼给的最后一个项目也是基于 c#的 whisper wrapper
    rb6221
        6
    rb6221  
       2023 年 5 月 11 日
    TTS ,然后接个翻译 api
    metalvest
        7
    metalvest  
       2023 年 5 月 11 日
    上面说的都是很成熟的技术了,但要形成产品还不够,因为这个系统的重点在于训练,关键是要建库塞一堆课程,然后根据学生的成绩制定训练和学习计划,然后搞个收费标准。
    lff0305
        8
    lff0305  
       2023 年 5 月 11 日 via Android
    公司做过类似的,不算复杂
    前端调用 API 从麦克风采集音频,拿到音频以二进制形式通过 Web socket 发到后端,后端拿到之后把音频数据发给 ASR 把音频转换成文字,然后就是处理文字,比如翻译之类的

    最后把处理过的结果通过 tts 转换成音频数据,从 Web socket 返回,

    前端拿到音频数据后播放

    Asr tts 主流的云厂商都有提供
    wangtian2020
        9
    wangtian2020  
       2023 年 5 月 11 日
    win11 马上会加入一个实时字幕 Live Captions 功能
    fionasit007
        10
    fionasit007  
       2023 年 5 月 11 日
    科大讯飞不就是做这个的吗,实时口译,之前星火发布会的时候下面的双语字母不就是实时翻译的吗
    wumoumou
        11
    wumoumou  
       2023 年 5 月 11 日
    chatgpt 支持语音转文字,如果选择英文输出,直接会帮你翻译
    humbass
        12
    humbass  
       2023 年 5 月 11 日
    可以直接做一对一的接口,延时在 500 毫秒以内
    fox
        13
    fox  
       2023 年 5 月 11 日
    可以看看北语韩老师的科研项目 paratrans ,算是非常解决了业内(翻译学生)痛点的一个服务。
    https://paratrans.vip/login.php
    fox
        14
    fox  
       2023 年 5 月 11 日
    然后 讯飞新发布的产品好像有类似的应用?还没试过,不是很清楚
    javaDo
        15
    javaDo  
       2023 年 5 月 14 日
    蹲一波
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2699 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 61ms UTC 12:47 PVG 20:47 LAX 05:47 JFK 08:47
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86