Yet Another 反爬虫 - V2EX
请不要在回答技术问题时复制粘贴 AI 生成的内容
chocho

Yet Another 反爬虫

  •  
  •   chocho May 9, 2019 3568 views
    This topic created in 2575 days ago, the information mentioned may be changed or developed.

    之前我已经再社区做了一波反爬虫的推广了,但是因为那一批里面没有人可以成功拿到钱,这一波再送一波测试资源,原帖:t/551147

    简介

    Botsonar 一款企业使用的反爬虫管理平台。该平台集爬虫发现,策略,防御,流量分析于一体,目前处于 Alpha 测试版本,开源测试版本为旁路分析模式。

    站点概览

    image-20190508162011496

    防御和威胁分类

    image-20190508161900281

    攻击 IP 详情

    image-20190508173206891

    访问路径

    image-20190508173358940

    路径威胁详情

    image-20190508173523343

    特性

    • 全站流量统计
    • IP 攻击分类
    • 搜索引擎自动放行
    • 威胁类型分类
    • 验证码推送支持
    • IP、Country、UA 策略
    • 会话频率限制
    • Javascript 检查
    • 黑产 IP
    • 共享白名单
    • 机房 IP 分析
    • 数据投毒
    • 监控模式
    • 企业级 JS 加密方案
    • 鼠标轨迹 CNN 模型
    • 动态 URL 接口

    如何开始

    本次 Alpha 版本开源的是旁路分析模型,其接入方式是使用 Openresty 插件集成。

    插件使用方法请移步至 openresty lua plugin

    旁路分析工作模型

    image-20190508170633273

    API 文请参考 api.md

    内部原理

    反爬虫内部使用了四层流量监测模型:

    1. 设备环境检测
    2. 风险 IP 库
    3. 网络风险探测
    4. 时序轨迹 AI 模型

    判别流程如下:

    image-20190508163156067

    判别流程:

    1. 用户自定义黑白名单
    2. 公共 IP 风险库
    3. 四层拦截模型
    4. 用户策略处理(监控、验证码、拦截、假数据)

    正式测试

    旁路分析模型目前只利用了用户后端的数据日志进行流量的判别分析,没有集成用户设备环境检测功能。

    需要测试的用户请按照下面的信息模板发送邮件至管理邮箱:[email protected] ,我们会提供测试使用的 token,测试期间完全免费

    邮件主题: [反爬虫测试] 申请旁路测试

    • 网站归属:个人 /团体 /企业
    • 网站域名:请填写真实有效的站点,不然无法认证通过
    • 测试时间:请说明想要测试的周期
    • 个人联系方式:选填
    • 备注信息:

    工作日期间正常处理邮件,尽量工作时间申请,token 申请完成后,有效期内无需更换,请个人自行保留有效 token,不要重复申请。

    团队介绍

    我们是一个年轻的安全团队,目前有五名核心成员,两个产品旺,三个攻城狮,我们是极验内部一个安全团队,致力于反爬虫安全策略研究,公司给予了我们多方面的支持,产品整体处于市场探索阶段,团队不定期对外做沙龙分享,日常反爬虫技术分享,技术竞品调研攻坚总结等,有兴趣的小伙伴可以来撩。

    • Github

    https://github.com/gtbotsonar

    • 官网

    www.geetest.com

    • 对外公众号

    code

    10 replies    2019-06-19 14:45:20 +08:00
    xenme
        1
    xenme  
       May 9, 2019 via iPhone
    不懂得看图片很赞

    另:不会又是从哪里“拿”过来的产品吧
    Terry05
        2
    Terry05  
       May 9, 2019
    是极验啊,用了你们的登录滑动校验码,挺不错的
    botsonar
        3
    botsonar  
       May 9, 2019
    灵魂马赛克
    chocho
        4
    chocho  
    OP
       May 9, 2019
    @Terry05 yet another, 反爬虫产品不是我们独创的,我们只不过是有一些不错的点子 用到反爬虫上面
    chocho
        5
    chocho  
    OP
       May 9, 2019
    回复错了 @xenme
    chocho
        6
    chocho  
    OP
       May 9, 2019
    @Terry05 用了我们验证呀,不错,我们验证一直在推出新的验证形式
    justin2018
        7
    justin2018  
       May 9, 2019
    先 mark 晚点回去申请尝试一下~
    chocho
        8
    chocho  
    OP
       May 10, 2019
    @justin2018 是你吗?等你来约
    jean000
        9
    jean000  
       May 10, 2019
    邮件已经发送,麻烦处理一下。 话说可以给个微信或者什么的联系一下吗?
    botsonar
        10
    botsonar  
       Jun 19, 2019
    新帖: t/575474#reply0
    About     Help     Advertise     Blog     API     FAQ     Solana     5363 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 64ms UTC 07:21 PVG 15:21 LAX 00:21 JFK 03:21
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86