V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 4709 days ago, the information mentioned may be changed or developed.
文章中混合有英文，中文的用什么词库分词呢。
 | 1 alexkh Jun 4, 2013 jieba分词？ |
 | 2 swulling Jun 4, 2013 Python的话，直接Google『中文分词 Python』 中英文混合分析和中文分词有啥区别么。。多出来的英文部分不要太简单 |
| 4 swulling Jun 4, 2013 |
 | 6 Eson Jun 4, 2013 分词使用的话，其效果我觉得很大程度上取决于你的词典，不然程序再怎么做也不可能尽如人意 |
 | 7 Hualin Jun 4, 2013  1 先对原文进行正则表达式匹配，把英文单词 数字 符号 和其他非中文字符进行 tokenize，然后把新的序列交给中文分词算法。 比如句子 string1：我爱 python，，， tokenize 为 string2：我爱 `EN`SYM`SYM`SYM` 然后交给中文分词，其中 EN 代表 英文单词特征，SYM代表标点符号特征 然后进行汉字标记 string3：SSSSSS 其中 S 表示单独成词的标记，其他 label 可以为 B （一个长词的开始），M（一个长词的词中），E （一个长词的结束）。英文单词和数字以及标点也被认为是 S （单独成词的汉字）。 |
 | 9 Gestalt Jun 8, 2013 看你对准确度的要求了…… CRF++，用这个实现个中文分词然后训练语料好的话似乎召回率能到97% |
Select Language