如何区分中文和日文 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
vegetableChick
V2EX    程序员

如何区分中文和日文

  •  
  •   vegetableChick 2021-04-01 19:19:03 +08:00 3701 次点击
    这是一个创建于 1654 天前的主题,其中的信息可能已经有所发展或是发生改变。

    因为要把文本翻译成英文, 而使用的 sdk 需要指定源文字的语言类型。但 [BL-bm 长岛雄一] 这类的文字如何把它和中文区分开?

    感谢。

    17 条回复    2021-04-02 15:48:00 +08:00
    GeruzoniAnsasu
        1
    GeruzoniAnsasu  
       2021-04-01 19:31:31 +08:00
    使用的 SDK ? 你用这个文本的场合机翻都能对付了还管什么人名
    lululau
        2
    lululau  
       2021-04-01 19:37:25 +08:00 via iPhone
    单个或者少数几个字符怎么判断语言? ABC 三个字母算什么语言?英语?法语?德语?说中文也可以,因为使用拉丁字母的汉语拼音应该也算是中文吧
    gouflv
        3
    gouflv  
       2021-04-01 19:47:31 +08:00 via iPhone
    拿 char code 去 utf8 的表里查
    vegetableChick
        4
    vegetableChick  
    OP
       2021-04-01 19:49:41 +08:00
    @vegetableChick 补充一下信息吧。google 的 cloud translation api 要花钱, 于是找到一个免费的替代的包`googletrans`. 但是不指定 源语言 自动翻译的不准确 [`BL-bm 长岛雄一 => BL-BM Long Island`] , 如果指定 源语言是日文 则 得到 [BL-BM Otani Seibe]
    vegetableChick
        5
    vegetableChick  
    OP
       2021-04-01 19:52:14 +08:00
    @GeruzoniAnsasu 感谢回复, 之前都是直接填写 google 翻译后的结果, 现在想做成自动的, 所以想找个好用翻译的工具
    Kasumi20
        6
    Kasumi20  
       2021-04-01 19:52:57 +08:00
    名字你管它做球,其它大部分可以判断有没有假名在里面
    LinSP
        7
    LinSP  
       2021-04-01 19:54:56 +08:00
    有语种识别的,找找 API 吧
    muzuiget
        8
    muzuiget  
       2021-04-01 22:00:10 +08:00
    判断假名就行,字符数不够就无法判断。
    imn1
        9
    imn1  
       2021-04-01 22:47:21 +08:00
    Otani Seibe 也不是长岛雄一啊,Otani 是大谷(Ootani 简写)
    日语汉字多是繁体或异体,简体汉字以“日语”翻译也会出错的

    你这个实际上已经是语义理解了,需要 AI 级别判断,单纯字符很难做到
    不过有些取巧方法可以试试
    gyf304
        10
    gyf304  
       2021-04-02 07:03:32 +08:00 via iPhone
    @gouflv CJK code point 是有重合的
    dongtingyue
        11
    dongtingyue  
       2021-04-02 09:42:07 +08:00
    能做出来这个功能单独就可以卖钱了。。。
    marcong95
        12
    marcong95  
       2021-04-02 10:00:59 +08:00
    长岛雄一 就这四个字,读作 Changdao Xiongyi 的时候是中文,读作 Nakashima Yuuichi 的时候是日文,如果你只是要区分是日本人姓名还是中国人姓名的话,那倒还好说。找个两国百家姓做个词典?
    marcong95
        13
    marcong95  
       2021-04-02 10:02:38 +08:00
    @marcong95 #12 其实两国百家姓也不能解决问题,例如 Hayashi 的林,Duanmu 的端木
    krixaar
        14
    krixaar  
       2021-04-02 10:24:56 +08:00
    碰到类似 秦基博 菅义伟 这样的名字,你怎么区分是中文还是日文……
    UserDMM
        15
    UserDMM  
       2021-04-02 11:08:21 +08:00
    @vegetableChick 这个课题很难。
    简单点的就是火狐的那个检测库,但是处理不了你这种情况。
    你这种 CJK 都有的汉字,要结合语义来处理,也就是要结合人工智能了。
    vegetableChick
        16
    vegetableChick  
    OP
       2021-04-02 11:44:26 +08:00
    @GeruzoniAnsasu @Kasumi20 @LinSP @UserDMM @dongtingyue @gouflv @gyf304 @imn1 @krixaar @lululau @vegetableChick 统一感谢大家回复,还是花钱用 google 翻译服务了。 百度的翻译便宜 但是翻译过来,翻译不回去了 淦!!
    jiji9081
        17
    jiji9081  
       2021-04-02 15:48:00 +08:00
    日本人名字的发音非常搞,就算是日本人完全不能保证正确拼读更别说 AI 了,如果是重要场合的话必须人工校对。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1155 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 17:41 PVG 01:41 LAX 10:41 JFK 13:41
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86