Scylla开源免费的代理 IP 池,更新到 1.1 版本:更好的验证策略、更简单的使用方式、改进的 Web UI - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  
爱意满满的作品展示区。
WildCat
V2EX    分享创造

Scylla开源免费的代理 IP 池,更新到 1.1 版本:更好的验证策略、更简单的使用方式、改进的 Web UI

  •  5
     
  •   WildCat 2018-05-31 18:54:02 +08:00 15096 次点击
    这是一个创建于 2690 天前的主题,其中的信息可能已经有所发展或是发生改变。

    banner

    image image image image

    GitHub: https://github.com/imWildCat/scylla

    几天前发布了 Scylla,感谢大家的帮助,一度冲到 GitHub Trending 前五的位置。

    欢迎在贴中留下您的邮箱,我可以发送你 1.1 版本的 demo 地址(暂时不打算公开发布)。如果您想留邮箱,请注意:

    • 可以使用 base64 编码
    • 在您的回复的第一行或者最后一行写(含有邮箱的那一行请不要写其他东西
    • 也可以用 [at] 或者 # 替代 @

    根据大家的在原帖里的建议,这几天又添加了如下功能(仅选重要的展示):

    1. 改进的 Web UI

    2. HTTP 正向代理服务器

    查看文档:https://scylla.wildcat.io/zh/stable/#http

    3. 验证策略

    查看文档:https://scylla.wildcat.io/zh/stable/#id9

    第 1 条附言    2018-05-31 19:47:47 +08:00
    已知一个小问题,将在 1.1.2 版本修复( 15 分钟内)
    第 2 条附言    2018-05-31 21:27:19 +08:00

    最新版的 Docker build 有点问题,如果运行后没有任何 IP,请先用 1.0 版本:

    docker run -d -p 8899:8899 -v /var/www/scylla:/var/www/scylla --name scylla wildcat/scylla:1.0 

    十分抱歉

    第 3 条附言    2018-06-01 00:48:06 +08:00
    Docker 问题已经完全修复,非常抱歉!
    170 条回复    2018-09-23 09:54:35 +08:00
    1  2  
    LeungJZ
        1
    LeungJZ  
       2018-05-31 19:13:48 +08:00 via iPhone   1
    前排资瓷。
    wjm2038
        2
    wjm2038  
       2018-05-31 19:30:57 +08:00 via Android
    wjm2038#gmail.com
    支持一下
    Anybfans
        3
    Anybfans  
       2018-05-31 19:32:59 +08:00
    MzA5ODcxMjcxQHFxLmNvbQ==
    支持一下 谢谢啦
    moack
        4
    moack  
       2018-05-31 19:48:01 +08:00
    dHNoZW5nQG1vYWNrLm5ldA==


    谢啦
    imyip
        5
    imyip  
       2018-05-31 19:49:35 +08:00
    docker 部署失败了?自动退出?
    moming87
        6
    moming87  
       2018-05-31 19:52:52 +08:00 via Android
    MzMxNTUxQEdtYWlsLmNvbQ==
    体验一下
    WildCat
        7
    WildCat  
    OP
       2018-05-31 20:08:49 +08:00
    @imyip 已知一个小问题,将在 1.1.2 版本修复( 15 分钟内)
    wwek
        8
    wwek  
       2018-05-31 20:12:50 +08:00
    @imyip 和你一样
    1507265844
        9
    1507265844  
       2018-05-31 20:21:45 +08:00 via Android
    d3dlaXl1YW5kaW5nQGdtYWlsLmNvbQ==
    了解一下
    WildCat
        10
    WildCat  
    OP
       2018-05-31 20:26:02 +08:00
    @wwek 在修复,docker build 太慢了。。。
    finely
        11
    finely  
       2018-05-31 20:30:42 +08:00
    MjQzNzUwNzgyQHFxLmNvbQ==
    支持楼主
    raychar
        12
    raychar  
       2018-05-31 20:46:35 +08:00
    cmF5Y2hhckBhbGl5dW4uY29t
    支持楼主
    WildCat
        13
    WildCat  
    OP
       2018-05-31 20:47:06 +08:00
    @wwek
    @imyip

    已修复!
    leonnadesico
        14
    leonnadesico  
       2018-05-31 20:51:12 +08:00 via Android
    d2FuZ2p1bjQyNDIxMUAxMjYuY29t
    oIMOo
        15
    oIMOo  
       2018-05-31 20:59:52 +08:00
    Ym93ZW5hY2hhdCNnbWFpbC5jb20=
    WildCat
        16
    WildCat  
    OP
       2018-05-31 21:02:21 +08:00   1
    @wwek
    @imyip

    似乎还有点小问题,我找下原因。pyppeteer 这个库太坑 b 了
    Backlitz
        17
    Backlitz  
       2018-05-31 21:06:10 +08:00 via Android
    enl3OTcxMkBnbWFpbC5jb20=
    感谢楼主
    veau
        18
    veau  
       2018-05-31 21:12:17 +08:00
    veau#foxmail.com

    感谢楼主
        19
    bSty  
       2018-05-31 21:19:18 +08:00
    dXRlbWl0ZmtAZ21haWwuY29t
    支持一下 感谢
    fzudust
        20
    fzudust  
       2018-05-31 21:25:30 +08:00 via Android
    zjz02936341#163.com
    支持
    fzudust
        21
    fzudust  
       2018-05-31 21:27:53 +08:00 via Android
    zjz02936314#163.com
    刚刚邮箱打错了
    maooyer
        22
    maooyer  
       2018-05-31 21:31:46 +08:00
    bWFvbWFvaGFja0BnbWFpbC5jb20=
    支持支持
    xxhjkl
        23
    xxhjkl  
       2018-05-31 21:33:17 +08:00
    eHhoamtsMUBnbWFpbC5jb20=
    前排支持,求发
    rails3
        24
    rails3  
       2018-05-31 21:40:23 +08:00
    MTM0NzIwMEAxNjMuY29t
    1024bytes
        25
    1024bytes  
       2018-05-31 21:42:51 +08:00
    aXB2NC5rZXZpbkBnbWFpbC5jb20=

    感谢楼主
    Finch
        27
    Finch  
       2018-05-31 22:46:57 +08:00 via iPhone
    wingoo
        28
    wingoo  
       2018-05-31 22:54:15 +08:00
    d2luZ29nb29AZ21haWwuY29t

    感谢
    whoami9894
        29
    whoami9894  
       2018-05-31 23:14:52 +08:00 via Android
    d2hvYW1pOTg5NEBnbWFpbC5jb20=

    感谢
    sgq1128
        30
    sgq1128  
       2018-05-31 23:40:02 +08:00 via Android
    ODEzODIyNzQ0QHFxLmNvbQ==
    好人一生平安
    crayhuang
        31
    crayhuang  
       2018-05-31 23:41:22 +08:00
    cray.huang [at] gmail
    warcraft1236
        32
    warcraft1236  
       2018-06-01 00:51:44 +08:00
    mac 不支持吗?
    WildCat
        33
    WildCat  
    OP
       2018-06-01 00:59:24 +08:00
    @warcraft1236 支持,Python 3.6.5 在 Mac 上有个 bug,具体看 issues。我就是在 Mac 上开发的
    WildCat
        34
    WildCat  
    OP
       2018-06-01 01:00:04 +08:00
    @crayhuang 你这个回复真的是气死我了:

    1. 先是研究过滤空格
    2. 然后发现智障 AI 还是不识别你这个回复是邮箱地址
    3. debug 办个小时发现你没写 .com
    ahbing
        35
    ahbing  
       2018-06-01 01:01:21 +08:00 via Android
    givemearainbowlife#gmail.com
    vipdomain
        36
    vipdomain  
       2018-06-01 01:08:15 +08:00
    v2 用户名 @vip.qq.com
    thx
    WildCat
        37
    WildCat  
    OP
       2018-06-01 01:09:07 +08:00   1
    @vipdomain 你这让我程序怎么爬你邮箱啊?天呢我一个一个手工爬么
    crayhuang
        38
    crayhuang  
       2018-06-01 02:03:08 +08:00 via iPhone
    @WildCat 我错了! 不是故意的
    warcraft1236
        39
    warcraft1236  
       2018-06-01 02:16:10 +08:00
    @WildCat 可是我 pip install 了之后,启动不起来
    warcraft1236
        40
    warcraft1236  
       2018-06-01 02:17:25 +08:00
    @WildCat
    报错 log 如下

    2018-06-01 - 02:17:02 DEBUG: create new db connection
    Traceback (most recent call last):
    File "/usr/local/bin/scylla", line 11, in <module>
    sys.exit(app_main())
    File "/usr/local/lib/python3.6/site-packages/scylla/cli.py", line 84, in app_main
    sys.exit(main(sys.argv[1:]))
    File "/usr/local/lib/python3.6/site-packages/scylla/cli.py", line 48, in main
    from scylla.proxy import start_forward_proxy_server_non_blocking
    File "/usr/local/lib/python3.6/site-packages/scylla/proxy/__init__.py", line 1, in <module>
    from .server import start_forward_proxy_server_non_blocking, start_forward_proxy_server
    File "/usr/local/lib/python3.6/site-packages/scylla/proxy/server.py", line 14, in <module>
    httpclient.AsyncHTTPClient.configure("tornado.curl_httpclient.CurlAsyncHTTPClient")
    File "/usr/local/lib/python3.6/site-packages/tornado/httpclient.py", line 302, in configure
    super(AsyncHTTPClient, cls).configure(impl, **kwargs)
    File "/usr/local/lib/python3.6/site-packages/tornado/util.py", line 354, in configure
    impl = import_object(impl)
    File "/usr/local/lib/python3.6/site-packages/tornado/util.py", line 181, in import_object
    obj = __import__('.'.join(parts[:-1]), None, None, [parts[-1]], 0)
    File "/usr/local/lib/python3.6/site-packages/tornado/curl_httpclient.py", line 23, in <module>
    import pycurl # type: ignore
    ImportError: pycurl: libcurl link-time ssl backend (openssl is different from compile-time ssl backend (none/other)
    WildCat
        41
    WildCat  
    OP
       2018-06-01 02:30:46 +08:00
    @warcraft1236 你电脑没装 lib-curl-dev,你自己 Google 去吧,不同系统不一样
    HFX3389
        42
    HFX3389  
       2018-06-01 04:01:31 +08:00
    Y2NjcGNjcEBxcS5jb20=
    感谢楼主
    xiaofengchen
        43
    xiaofengchen  
       2018-06-01 08:02:21 +08:00 via Android
    eGllX2NhbmdAb3V0bG9vay5jb20
    支持~
    safilar
        44
    safilar  
       2018-06-01 09:01:24 +08:00
    dTUyMDc1NDFAZ21haWwuY29t
    HuaBeau
        45
    HuaBeau  
       2018-06-01 09:07:52 +08:00
    NDI5NDYwMTY1QHFxLmNvbQ==

    支持楼主
    80868075
        46
    80868075  
       2018-06-01 09:29:40 +08:00 via Android
    后排支持楼主
    MzE1NDk4MTYxOUBxcS5jb20=
    safilar
        47
    safilar  
       2018-06-01 09:56:11 +08:00
    @Scylla 部署好多久会有 IP 进来啊
    safilar
        48
    safilar  
       2018-06-01 09:56:25 +08:00
    @WildCat 部署好多久会有 IP 进来啊
    fuckshiter
        49
    fuckshiter  
       2018-06-01 10:08:08 +08:00
    MzMyODk5MTVAcXEuY29t

    非常感谢,支持楼主的
    isin
        50
    isin  
       2018-06-01 10:14:35 +08:00
    aVFpZmVuZ0BIb3RtYWlsLmNvbQ==
    islee
        51
    islee  
       2018-06-01 10:32:51 +08:00
    c2xlZS5yZXBhbGNlQGdtYWlsLmNvbQo=
    gcod
        52
    gcod  
       2018-06-01 10:35:13 +08:00
    emh1Y2VAdnYxMjM0LmNu
    chi1st
        53
    chi1st  
       2018-06-01 10:35:37 +08:00
    支持支持
    eXVjaDEyMzBAcXEuY29t
    frozenthrone
        54
    frozenthrone  
       2018-06-01 10:47:28 +08:00
    bW9vbi56anVAZ21haWwuY29t

    thanks
    ch940621
        55
    ch940621  
       2018-06-01 10:55:01 +08:00
    Y2g5NDA2MjFAcXEuY29t
    资瓷一下
    ucmp0001
        56
    ucmp0001  
       2018-06-01 10:57:49 +08:00
    支持
    bXIuZnJpZW5kbHlAMTYzLmNvbQ==
    cedared
        57
    cedared  
       2018-06-01 10:58:25 +08:00
    MzQxNDUwNkBnbWFpbC5jb20=
    lingdong
        58
    lingdong  
       2018-06-01 11:00:29 +08:00
    bGluZ2Rvbmc3NTg2QGdtYWlsLmNvbQ==
    支持下
    woyao
        59
    woyao  
       2018-06-01 11:08:21 +08:00
    cndkc3FjOTg1NDBAY2hhY3VvLm5ldA==
    thx
    gmx1234
        60
    gmx1234  
       2018-06-01 11:09:12 +08:00
    Z214MTIzNEAxMjYuY29t
    支持 谢谢
    freemagico
        61
    freemagico  
       2018-06-01 11:09:15 +08:00
    dGdseTMwN0BnbWFpbC5jb20=

    赞美楼主
    shore507
        62
    shore507  
       2018-06-01 11:11:03 +08:00 via Android
    shorecw#gmail.com
    支持支持
    zhangchioulin
        63
    zhangchioulin  
       2018-06-01 11:24:45 +08:00
    Z21AY29yZWhlbGwuY29t

    蟹蟹
    gqlxj1987
        64
    gqlxj1987  
       2018-06-01 11:35:16 +08:00
    Z3FseGoxOTg3QGdtYWlsLmNvbQ==

    谢谢
    qshujun
        65
    qshujun  
       2018-06-01 11:47:50 +08:00 via Android
    cXNodWp1bkBnbWFpbC5jb20=
    多谢,辛苦啦
    hourann
        66
    hourann  
       2018-06-01 11:52:45 +08:00 via iPhone
    scylla,这个命名是取自越狱吗?
    azhi
        67
    azhi  
       2018-06-01 12:09:10 +08:00 via Android
    YWlrdXVlckBnbWFpbC5jb20=

    爬点小东西美滋滋
    yujizmq
        68
    yujizmq  
       2018-06-01 12:15:11 +08:00
    bWlrb3RvLnl1NTFAZ21haWwuY29t
    thx
    mutiple
        69
    mutiple  
       2018-06-01 12:16:33 +08:00
    emhhbmd4dWFucjExQDEyNi5jb20=
    蟹蟹
    vipwpcom
        70
    vipwpcom  
       2018-06-01 12:20:53 +08:00
    MjExNTE2MjEyQHFxLmNvbQ==
    支持 谢谢
    alwayshere
        71
    alwayshere  
       2018-06-01 12:21:59 +08:00
    请问你这个是爬取各大代理网站还是真正的爬取代理 ip 再来验证?
    SPACELAN
        72
    SPACELAN  
       2018-06-01 12:33:24 +08:00
    bHloYW1uQHFxLmNvbQ==

    谢谢
    yuluofanchen
        73
    yuluofanchen  
       2018-06-01 12:37:26 +08:00
    bHlubjEyOTk5QDE2My5jb20=

    谢谢~
    kingmo888
        74
    kingmo888  
       2018-06-01 12:37:38 +08:00
    bHpoLTM5MTZAMTYzLmNvbQ==
    感谢楼主,搭个车!
    Asugar
        75
    Asugar  
       2018-06-01 12:39:33 +08:00
    d2hvdG9AbXNuLmNvbQ== 谢谢
    Backlitz
        76
    Backlitz  
       2018-06-01 13:18:32 +08:00 via Android
    zyw9712#gmail.com

    不知道为什么一直没有收到,是不是之前格式错了?
    YY
        77
    YY  
       2018-06-01 13:18:43 +08:00
    djJleEBtYWlsaW5hdG9yLmNvbQ==

    谢谢
    Bisn
        78
    Bisn  
       2018-06-01 13:22:30 +08:00
    YmlzbkBxcS5jb20=
    Bisn
        79
    Bisn  
       2018-06-01 13:23:49 +08:00
    请问怎么和 Scrapy 集成?
    感谢!
    Bisn
        80
    Bisn  
       2018-06-01 13:25:11 +08:00
    http://api.ipify.org 这个网站估计有限制,经常不成功,返回的 ip 还是原先的
    http://ip.3322.net/ 换成这个网站没问题
    eastrd
        81
    eastrd  
       2018-06-01 13:29:06 +08:00
    ZTB0M3J4QGdtYWlsLmNvbQ==

    谢谢
    yolan
        82
    yolan  
       2018-06-01 13:30:05 +08:00
    dHJhc2gyNTgwQDE2My5jb20K
    3q
    taozywu
        83
    taozywu  
       2018-06-01 13:31:59 +08:00
    taozywu#qq.com
    咫尺一下
    huijian222
        84
    huijian222  
       2018-06-01 13:36:57 +08:00
    bGFpamluYmFuZzIwMDlAZ21haWwuY29tCg==
    3q
    zxy
        85
    zxy  
       2018-06-01 13:38:38 +08:00
    aXp4eUBsaXZlLmNvbQ==
    Sin
        86
    Sin  
       2018-06-01 13:40:17 +08:00
    c2lucnVlQGdtYWlsLmNvbQ==
    mmnnyycc
        87
    mmnnyycc  
       2018-06-01 13:46:59 +08:00
    MjYzMTMzODQ0MEBxcS5jb20=
    mosliu
        88
    mosliu  
       2018-06-01 14:01:58 +08:00
    bHgwMzE5QGdtYWlsLmNvbQ==
    谢谢楼主~~
    ilovebaicai
        89
    ilovebaicai  
       2018-06-01 14:13:23 +08:00
    Y2ZxdHhkMUBnbWFpbC5jb20=
    好人一生平安
    chinayb
        90
    chinayb  
       2018-06-01 14:15:13 +08:00
    Y24ueWJAZm94bWFpbC5jb20=
    Mrkon
        91
    Mrkon  
       2018-06-01 14:15:18 +08:00
    MTczMjkyNjE5QHFxLmNvbQ==
    谢谢
    Fechin
        92
    Fechin  
    PRO
       2018-06-01 14:31:20 +08:00
    bXIuZmVjaGluQGdtYWlsLmNvbQ==
    多谢
    demoxu
        93
    demoxu  
       2018-06-01 14:46:52 +08:00
    ZGVtb3h1MjAwOUBnbWFpbC5jb20=

    支持一下,多谢
    robinlovemaggie
        94
    robinlovemaggie  
       2018-06-01 14:48:06 +08:00
    cm9iaW4ud2hrQGdtYWlsLmNvbQ==
    正好需要写一个蕾丝工具,谢谢啦~~
    byron
        95
    byron  
       2018-06-01 15:13:21 +08:00
    Ynlyb25qaWFAZ21haWwuY29t

    吼啊。
    warcraft1236
        96
    warcraft1236  
       2018-06-01 15:27:23 +08:00
    @WildCat mac 还需要装这个吗?
    Caratpine
        97
    Caratpine  
       2018-06-01 15:51:09 +08:00
    做开源不易,支持一下。
    yyminmax
        98
    yyminmax  
       2018-06-01 15:56:21 +08:00
    bWlubWF4eXlAMTYzLmNvbQo=


    谢谢了~
    liujunsheng
        99
    liujunsheng  
       2018-06-01 15:59:31 +08:00
    YUBsaXVqdW5zaGVuZy5jb20=
    frankmdong
        100
    frankmdong  
       2018-06-01 16:00:16 +08:00
    c3VwZXJmcmFua2llNjIxQGdtYWlsLmNvbQ==
    感谢
    1  2  
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2227 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 31ms UTC 16:07 PVG 00:07 LAX 09:07 JFK 12:07
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86