求一个队友维护一个 Java 爬虫项目 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
decaywood
V2EX    程序员

求一个队友维护一个 Java 爬虫项目

  •  
  •   decaywood
    decaywood 2016-04-11 21:16:26 +08:00 4365 次点击
    这是一个创建于 3474 天前的主题,其中的信息可能已经有所发展或是发生改变。
    这是一个雪球网的股票爬虫项目,个人由于快找工作了,没时间管理,希望有朋友能够帮忙打理一下。主要是修复一些 bug : https://github.com/decaywood/XueQiuSuperSpider
    27 条回复    2016-04-14 19:45:19 +08:00
    root787
        1
    root787  
       2016-04-11 22:14:46 +08:00
    看了一眼,看到 Java ,顿时没了兴趣。
    cs4814751
        2
    cs4814751  
       2016-04-11 22:19:43 +08:00
    Java 菜鸟可以吗?(⊙⊙)
    weizhixiang
        3
    weizhixiang  
       2016-04-11 22:26:55 +08:00 via Android
    看不懂,刚学会用 python 的 Yahoo 接口获取数据画 k 线图
    ob
        4
    ob  
       2016-04-11 22:34:45 +08:00 via Android
    都抓哪些东西,有空我看看。
    decaywood
        5
    decaywood  
    OP
       2016-04-11 22:52:29 +08:00
    @ob 基本上都可以抓,架构为开放式设计的
    decaywood
        6
    decaywood  
    OP
       2016-04-11 22:52:53 +08:00
    @cs4814751 可以,按照约定开发即可
    zhtsuc /td>
        7
    zhtsuc  
       2016-04-11 23:04:27 +08:00
    java 多年,不知道咋打理
    Bryan0Z
        8
    Bryan0Z  
       2016-04-11 23:06:32 +08:00 via Android
    菜鸟来凑个热闹
    273579540
        9
    273579540  
       2016-04-11 23:10:54 +08:00
    我有兴趣,不过技术还不到家,多谢提供这么好我项目学习。
    reeco
        10
    reeco  
       2016-04-11 23:15:14 +08:00
    已 star
    gxz1989611
        11
    gxz1989611  
       2016-04-12 08:48:36 +08:00
    似乎是要升级到 java8 才能编译啊?我这 java7 编译失败了诶~
    sunfanteng
        12
    sunfanteng  
       2016-04-12 09:39:25 +08:00
    我也是做 Java 的,一起学习吧。
    zjxzhqq
        13
    zjxzhqq  
       2016-04-12 09:47:05 +08:00
    没做过爬虫,想试试
    decaywood
        14
    decaywood  
    OP
       2016-04-12 10:26:32 +08:00
    @gxz1989611 项目核心就是 Java8 的并行流,所以拓展性几乎没有限制
    decaywood
        15
    decaywood  
    OP
       2016-04-12 10:27:38 +08:00
    @zhtsuc 如果炒股的话,可以根据自己需要提供一些模块,以及修复一些可能的 bug ,虽然运行这么久鲜有 bug
    libiao5320
        16
    libiao5320  
       2016-04-12 11:47:34 +08:00
    Mapper: Network busy Retrying -> 2 times
    Mapper: Network busy Retrying -> 2 times
    Mapper: Network busy Retrying -> 3 times
    Mapper: Network busy Retrying -> 3 times
    Mapper: Network busy Retrying -> 3 times
    Mapper: Network busy Retrying -> 3 times
    Mapper: Network busy Retrying -> 3 times
    Mapper: Network busy Retrying -> 4 times
    Mapper: Network busy Retrying -> 4 times
    Mapper: Network busy Retrying -> 4 times
    Mapper: Network busy Retrying -> 4 times
    Mapper: Network busy Retrying -> 4 times
    Mapper: Network busy Retrying -> 5 times
    Mapper: Network busy Retrying -> 5 times
    Mapper: Network busy Retrying -> 5 times
    Mapper: Network busy Retrying -> 5 times
    Mapper: Network busy Retrying -> 5 times


    楼主为什么会出现这种情况?
    decaywood
        17
    decaywood  
    OP
       2016-04-12 11:54:49 +08:00
    @libiao5320 两种情况,一:你抓取太频繁,被限制了。 二:雪球网 cookie 机制有变化,这个问题需要经常维护的,你看看是那个模块出的问题
    kenshinji
        18
    kenshinji  
       2016-04-12 13:10:08 +08:00
    有意思,我有兴趣 :)
    decaywood
        19
    decaywood  
    OP
       2016-04-12 14:53:00 +08:00
    @kenshinji 非常欢迎~
    @libiao5320 bug 已修复,雪球访问协议改成 https 了
    helloworldwt
        20
    helloworldwt  
       2016-04-12 15:00:46 +08:00
    我也有兴趣,求加入
    yubeiluo
        21
    yubeiluo  
       2016-04-12 15:36:26 +08:00
    成电的高才生啊,还是老乡,我也有兴趣!
    mr253727942
        22
    mr253727942  
       2016-04-12 16:59:23 +08:00
    有兴趣 顺便我来学学 java8,楼主给力
    decaywood
        23
    decaywood  
    OP
       2016-04-12 21:59:36 +08:00
    @helloworldwt 直接 star 或者 fork 就可以开始了 :)
    decaywood
        24
    decaywood  
    OP
       2016-04-12 22:00:00 +08:00
    @yubeiluo 过奖了,湖南的?
    JaHIY
        25
    JaHIY  
       2016-04-13 21:33:42 +08:00
    最近刚学 groovy ,不是很懂 java …
    goribun
        26
    goribun  
       2016-04-13 21:58:14 +08:00
    算我一个
    zhjiann
        27
    zhjiann  
       2016-04-14 19:45:19 +08:00
    @helloworldwt 我次奥。头像重合了。我要换头像。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1065 人在线   最高记录 6679     &bsp; Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 18:10 PVG 02:10 LAX 11:10 JFK 14:10
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86