这是一个创建于 4287 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在在 V2EX 每个主题的右下角，多了一个新的自动打标签功能，及相关的聚合页面。
这是基于 jieba 做的。目前的效果在某些主题上还是不太理想，接下来会继续优化。
大家如果有什么好的思路，或者好的词典，还请多多赐教，谢谢。
这是基于 jieba 做的。目前的效果在某些主题上还是不太理想，接下来会继续优化。
大家如果有什么好的思路，或者好的词典，还请多多赐教，谢谢。
第 1 条附言 2014-01-14 21:01:41 +08:00
extract tags 部分已经被挪到一个独立的进程运行，通过异步方式调用。
现在 V2EX 在部署新代码的时候不会再因为等待 jieba 启动而产生 HTTP 5xx 错误了。
现在 V2EX 在部署新代码的时候不会再因为等待 jieba 启动而产生 HTTP 5xx 错误了。
 | 1 meteor2013 2014-01-14 10:15:00 +08:00 是不是要回复好几个贴才会出现标签？ 只有主题就不会出现？ |
 | 2 Livid MOD OP PRO @meteor2013 主题第二次 load 的时候就会有标签。 |
| 5 meteor2013 2014-01-14 10:16:59 +08:00 jieba是中文分词，有没有英文的分词的打标签的东东？ |
| 6 Livid MOD OP PRO 一个副作用就是，由于初始化过程比较慢，每次我们部署完新代码之后，你可能会看到大概 5 秒的 Bad Gateway 500。 |
| 7 meteor2013 2014-01-14 10:19:28 +08:00 @Livid 第二次load已经看到标签了，但是这个标签要是可以根据大家的回复，还有回复内容的频率改变就牛逼了。 |
 | 10 est 2014-01-14 10:21:57 +08:00 @Livid 不如可以针对用户 id 打标签。我觉得很有意思啊。。哈哈。比如某某谁吹过牛，招过人，创过页，做过什么东西，看tag一下子就知道了。 |
 | 12 gotounix 2014-01-14 10:22:38 +08:00 很赞的功能啊！大爱！！！ |
| 13 Livid MOD OP PRO |
| 14 Livid MOD OP PRO 接下来还可以有的几件好玩的事情： * 构建一个所有单词的标准拼写库，比如 v2ex -> V2EX，ssl -> SSL，simcity -> SimCity * 挖掘一下数据量更大的回复数据 |
 | 15 westy 2014-01-14 10:31:10 +08:00 标签位置很奇怪，会让人觉得是评论的标签。 |
 | 19 botao1 2014-01-14 10:43:54 +08:00  1 |
 | 20 mkeith 2014-01-14 10:44:48 +08:00 标签和主题放到一起吧，和回复在一起怪怪的啊。 |
 | 21 xiaojay 2014-01-14 10:45:04 +08:00 分词 然后用 TF-IDF ？ |
 | 24 nemoliu 2014-01-14 10:49:26 +08:00 能介绍一下计算的过程么？对标题分词然后根据tf-idf做关键词提取？ |
| 25 Livid MOD OP PRO |
 | 26 FarBox 2014-01-14 11:04:51 +08:00 1 中文词典应该都是接近的。如果有更好的，同求。 :) 我们原来有尝试用jieba+mongodb做全文检索，但试了下，性能很糟糕，没有办法用在生产环境。 最后选择用ElasticSearch作为纯粹的分词+索引的中间库，也算一种奇葩的用法；不过效果还挺不错的。 |
 | 27 dorentus 2014-01-14 11:07:26 +08:00 2  放这个位置不也挺好的么…… |
 | 28 mopig 2014-01-14 11:07:45 +08:00 1 http://v2ex.com/tag/tooyoung 不存在的 tag 会报错～ |
 | 29 Superoutman 2014-01-14 11:09:18 +08:00 非常赞同19楼 @botao1 的提议。 |
 | 30 ryon 2014-01-14 11:12:01 +08:00 tag和节点会不会有一定的重复？我们在设计的过程中也考虑过类似的问题，后来最终考虑还是采用节点，相比之下自动计算出来的tag可能很多情况下利用率不高。 |
 | 33 ayukun 2014-01-14 11:26:54 +08:00 和27楼想到一块了，放那里就挺好，还容易看见 ，刚刚找这个主题的表情费了好一会。可以考虑加淡彩 |
| 34 meteor2013 2014-01-14 11:27:32 +08:00 via iPhone 目前在iPhone 上看不到标签 |
| 35 dorentus 2014-01-14 11:32:42 +08:00 |
| 36 Livid MOD OP PRO @dorentus 对，在一个主题刚发布的前 300 秒，那里会有 MOVE 和 EDIT 按钮。1800 秒之后，会有 APPEND 按钮。 |
 | 38 xiaop 2014-01-14 11:47:33 +08:00 tag这个功能非常棒！如果能对tag做归类就更棒了 |
 | 39 ayang23 2014-01-14 11:48:12 +08:00 jieba启动慢，费内存，貌似要在每个django线程里加载一份词典，简单的不如用mmseg |
 | 40 Mihuwa 2014-01-14 11:55:48 +08:00 很赞的功能。 |
 | 41 SkyTodInfi 2014-01-14 11:55:49 +08:00 @livid 可以考虑有一个特定的标签库,毕竟tf-idf算出来的词比较杂乱,甚至一些是没有意义的 或者选定一些topic,包含一些特定的词语,文本只用jieba分词,打标签使用文本和topic之间的向量空间模型. |
 | 42 wwqgtxx 2014-01-14 12:04:39 +08:00 via Android 移动平台呢？ |
 | 43 cbsw 2014-01-14 12:29:36 +08:00 需要对一些特殊情况专门处理吧，比如 http://www.v2ex.com/t/96764#reply12 这里内容几乎就是代码， tag 分析出来的只有 print,outer,local 这些没啥意义的词（PS：V2EX 内部链接是怎么写的来着？） |
 | 44 Sunya 2014-01-14 13:48:11 +08:00 放 点击 收藏 那个 topic_buttons 区域会好点, 这样看起来会更让人觉得跟主题相关. 标签用自定义+分词相结合的会不会更好一点. 有些词未必已经收录了. |
| 45 xiaop 2014-01-14 13:51:53 +08:00 via iPad @SkyTodInfi 赞同 |
 | 46 gihnius 2014-01-14 14:02:54 +08:00 觉得对主题内容做 tag 已经没有什么意义，因为可以 google. 而且, 打开 tag 之后你会看到很多看过的内容. 最好能对用户做 tag, 当然也是基于用户的内容, 这样其它用户可以根据某个用户的 tag 决定是否关注这个用户的内容. |
 | 47 mozii 2014-01-14 14:06:36 +08:00 @Livid dorentus 赞设计师的直觉。补充个理由：需要变迁基本会是在看完这篇帖子之后，所以出现在末尾是恰当的，标签相当于对该帖子的延伸、补充、互动（这岂不就是回复的实质？），从此点来看，放在回复的这个卡片里，在人们需要的时候进入视野，是好的设计。 |
| 48 mozii 2014-01-14 14:25:52 +08:00 变迁 == 标签 |
 | 49 ipconfiger 2014-01-14 15:11:30 +08:00 @Livid -------------------------- 一个副作用就是，由于初始化过程比较慢，每次我们部署完新代码之后，你可能会看到大概 5 秒的 Bad Gateway 500。 -------------------------- 这个应该是可以避免的吧 |
 | 50 runninghack 2014-01-14 15:15:45 +08:00 可以分享一下词库和停词表吗？ |
 | 51 rwx 2014-01-14 15:20:53 +08:00 类似首页的「最热节点」一样，放在屏幕的右侧，比如用户数据的下面，做成标签云 还能防止某个主题标签过多把样式撑破 |
 | 52 run2 2014-01-14 15:24:48 +08:00 会提供关注某些tag的功能么？ /tag/iOS |
 | 53 isaced 2014-01-14 15:31:38 +08:00 赞同27楼的换个位置～ |
 | 54 xdata 2014-01-14 16:24:41 +08:00 标签能显示与该标签相关联的标签,按数量或拼写排序,并多重过滤么? |
 | 55 mimzy 2014-01-14 16:43:35 +08:00 没有回复的主题标签样式不太一样：   |
| 56 mopig 2014-01-14 17:24:53 +08:00 分词有硬伤啊～  |
| 57 xiaojay 2014-01-14 17:38:08 +08:00 via iPhone 期待根据tag来block |
| 58 run2 2014-01-14 17:38:45 +08:00 |
 | 59 Seita 2014-01-14 17:46:06 +08:00 tag 页 不分页？ |
 | 60 xiaoyustudio 2014-01-14 19:43:06 +08:00 传完图发现跟 27 楼想到一块去了...  |
 | 61 Perry 2014-01-14 19:49:51 +08:00 我不得不说这个功能真的好给力！ |
 | 62 Tianpu 2014-01-14 21:52:42 +08:00 觉得自动分的标签一点不好 还不如不分 虽然没有更好的思路 相信用户 让用户自己输入标签呢？ |
 | 63 geeklian 2014-01-14 21:55:16 +08:00 建议取消二手市场的tag... 我关注ipad，关注kindle，结果看到的都是二手的... |
 | 64 faceair 2014-01-14 21:55:29 +08:00 |
 | 65 jiangrongyong 2014-01-15 00:32:15 +08:00 根据之前的理解，Topic和Tag应该是多对一的关系吧？现在是多对多么？ |
 | 66 caomu 2014-01-15 00:35:32 +08:00 关于用户来打标签，可以扣财富值来打。 具体点，lz可以花100铜换掉一个已有的tag。然后，自动生成tag时，如果算出的关联度不高，就不要默认3个了（有时候就会出现不太对应的），这时候，如果tag没有满，那么其他会员可以用500铜打上个新tag。 |
 | 67 ong 2014-01-15 01:47:13 +08:00 非常酷！Great Job! |
| 68 xdata 2014-01-15 18:10:36 +08:00 话说 macbook air 与 ipad air 都被打上了air ... |
 | 71 blakefan 2014-03-04 10:46:38 +08:00 这个功能主要就为新手设置的，觉得很好！ |
Select Language