电影网站:关于大量关键字屏蔽与替换的设计思路 - V2EX
请不要在回答技术问题时复制粘贴 AI 生成的内容
xiaoks

电影网站:关于大量关键字屏蔽与替换的设计思路

  •  
  •   xiaoks Sep 14, 2015 5116 views
    This topic created in 3914 days ago, the information mentioned may be changed or developed.

    前几个月我做了一个电影分享网站,在运营的过程中发现:很多人分享 18 禁的内容,在评论里还有可能出现一些污秽语言。

    为了保证网站内部氛围的健康,之前采用在 code 写关键字的形式进行屏蔽。但是在运营的过程中还是会发现有不足,很多关键字依然没能屏蔽掉。关键字的维护工作也比较麻烦。不可能每次发现关键字都去调整代码。

    希望大家能分享一下简单有效设计思路,谢谢!

    ps :思路可行的前提下,尽量保证程序有效率。

    13 replies    2015-10-22 16:16:30 +08:00
    kslr
        1
    kslr  
       Sep 14, 2015   1
    DFA 算法,关键字去青云的青云志我记得有个文章里面带了份北京公安局给的关键词名单。
    yinheli
        2
    yinheli  
       Sep 14, 2015
    https://log.qingcloud.com/?p=389
    检索到了. 或许我也需要.
    virusdefender
        3
    virusdefender  
       Sep 14, 2015
    @yinheli 这关键词也太粗了吧

    自制
    购买
    直销
    订购

    提供
    专卖
    热销
    批发
    供应
    专供
    买卖
    自制
    订购

    专卖
    热销
    供应
    买卖

    销售
    直销
    批发
    供应

    这都是关键词...
    imn1
        4
    imn1  
       Sep 14, 2015
    有这个关键词详单分享一下
    seiwev
        5
    seiwev  
       Sep 14, 2015
    都做电影分享网站了还怕 18 禁?电影分享一样被禁。
    9hills
        6
    9hills  
       Sep 14, 2015
    > 关键字的维护工作也比较麻烦。不可能每次发现关键字都去调整代码。

    如果只是解决这个问题,那你把关键词做成可动态加载的字典不就好了。存到数据库里也行啊

    当时高级点还有些别的方法
    mengzhuo
        7
    mengzhuo  
       Sep 14, 2015
    直接上 cuckoo filter 不就结了,关键是分词得做好
    2015813
        8
    2015813  
       Sep 14, 2015 via iPhone
    这个自己写的话很麻烦,建议用现场代码
    nowcoder
        9
    nowcoder  
       Sep 15, 2015
    自己写很容易。把关键词做成一个字典树。 对 ugc 进行查找,效率很高的。 去百度搜 DFA ,字典树,敏感词代码到处都是,根本没几行
    nowcoder
        10
    nowcoder  
       Sep 15, 2015
    @kslr 求名单地址
    jugelizi
        11
    jugelizi  
       Sep 15, 2015
    存到数据库发布后状态为 0 不立即显示呀,后台跑个任务过滤完成了再显示出来
    dingyaguang117
        12
    dingyaguang117  
       Sep 17, 2015
    请搜索 AC 自动机
    About     Help     Advertise     Blog     API     FAQ     Solana     5541 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 73ms UTC 07:23 PVG 15:23 LAX 00:23 JFK 03:23
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86