电商公司有一个爬虫小项目需要外包 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
linfox

电商公司有一个爬虫小项目需要外包

  •  
  •   linfox 2017 年 8 月 23 日 10871 次点击
    这是一个创建于 3167 天前的主题,其中的信息可能已经有所发展或是发生改变。
    1- 指定网店店铺(比如 20 家)有发布新产品,可以抓取图片标题链接等信息,并集中到一个页面下显示出来。
    2- 后期我方可以自己添加或者删除店铺。
    3- 编程语言最好是 python

    希望能找一位程序员可以长期合作的。类似小项目长期有。

    有意者请联系 企鹅号 264 九九 21953
    39 条回复    2017-08-24 09:42:04 +08:00
    graetdk
        1
    graetdk  
       2017 年 8 月 23 日
    这个需求其实并不小了
    CosimoZi
        2
    CosimoZi  
       2017 年 8 月 23 日
    如果是淘宝,甚至可以说很难
    SourceMan
        3
    SourceMan  
       2017 年 8 月 23 日   9
    小项目的意思是预算可能不是很多
    需求列的少的意思是可以酌情展开一些子需求
    ChristopherWu
        4
    ChristopherWu  
       2017 年 8 月 23 日
    @graetdk 看起来很小啊,自定义一下就好了
    linfox
        5
    linfox  
    OP
       2017 年 8 月 23 日
    V 友们是不是平常被坑多了,所以第一反应总是恶意的揣度对方。

    下面我做一下补充说明:

    0- 爬取对象是 亚马逊 amazon.com
    1- 抓取到的信息,只需要集中显示,方便浏览查看,不需要发布到某个平台。
    2- 不需要做客户端,后期的增减店铺,你可以告诉我方在哪个文件的哪个位置进行删减。
    3- 预算方面,我会根据大家的报价,定一个合适的。毕竟我需要的是一个 生产工具,能帮我赚钱提高生产力的,我都舍得投入。
    4- 各位 V 友要是怕我后期不断提需求,那么我们可以在交易前把相关需求全部列出来。文档以外的需求,你可以拒绝,或者我们再谈一个额外的价格。但是文档以内的,你必须做完,哪些需求做不了,请你事前说明。哪些功能会因为亚马逊平台官方的调整出现风险或者问题的,也请事先提醒。
    5- 之所以说是一个小项目。是因为我司还有其他需求需要外包,还有一个独立站需要优化推广。希望合作从这个小项目开始。
    wangxn
        6
    wangxn  
       2017 年 8 月 23 日 via Android   2
    凡是小需求都不小。
    Yourdaye
        8
    Yourdaye  
       2017 年 8 月 23 日
    @linfox V 友们怕的是:这么个小项目,给 200 够了吧
    agoodob
        9
    agoodob  
       2017 年 8 月 23 日
    我猜这个需求就是关注竞争对手的动态吧?不知道能不能做成 SaaS
    linfox
        10
    linfox  
    OP
       2017 年 8 月 23 日
    @agoodob 对的。 就是关注同行们最近上了什么新产品。
    CosimoZi
        11
    CosimoZi  
       2017 年 8 月 23 日
    @linfox 竞品动态我记得 v 站有个独立开发者就是做这方面内容的,你可以翻翻以前的帖子找找
    cyang
        12
    cyang  
    PRO
       2017 年 8 月 23 日
    给多少钱?可以明盘么?
    aksoft
        13
    aksoft  
       2017 年 8 月 23 日
    你第一个和第二个冲突。。
    NullMan
        14
    NullMan  
       2017 年 8 月 23 日
    按题主的描述,确实是个小项目,小到用 Scrapy 的话,最多 500 行代码搞定。
    Ehco1996
        15
    Ehco1996  
       2017 年 8 月 23 日 via iPhone
    我可以试试,时间期限是怎么样的?
    linfox
        16
    linfox  
    OP
       2017 年 8 月 23 日
    关于需求,我罗列的清楚些,报价就请按需求的报,如果我加需求,你可以要求加钱。

    1- 爬取字段四个: 标题 图片 链接 价格
    2- 平台仅仅针对亚马逊。 频率大概每天爬取一次。比如我关注了这 100 个亚马逊店铺,8.1 我爬取了一次,那么 8.3 日就是爬取这两天他们新上的产品。老产品不用爬,新产品全部要爬下来。
    3- 服务器。这个我不是很懂,公司的电脑不能用吗? 不能用的话买一个阿里云或者 DO 都没问题。
    4- 爬下来的结果通常是放到 excel 或者数据库是吧? 可以的。
    5- 源代码需要给到我。 一是方便我后期增减店铺数,二是如果后期的合作谈不拢,这个小项目我可以交给其他人去扩展。
    rocksolid
        17
    rocksolid  
       2017 年 8 月 23 日
    的确不大,看需求服务器都不需要
    linfox
        18
    linfox  
    OP
       2017 年 8 月 23 日
    坐标深圳: 如果有本地的 V 友当然最好方便面谈什么的。
    付款方式: 不知道这种项目一般怎么操作。 做完后给钱你怕我跑路,做之前给钱我怕你跑路,哈哈。
    robinlovemaggie
        19
    robinlovemaggie  
       2017 年 8 月 23 日
    @linfox 项目托管给第三方平台,走双方约束
    linfox
        20
    linfox  
    OP
       2017 年 8 月 23 日
    @robinlovemaggie 谢谢

    什么样的第三方? 类似 github ?
    rocksolid
        21
    rocksolid  
       2017 年 8 月 23 日
    @linfox 淘宝不就是,还有 https://mart.coding.net/
    vincenth520
        22
    vincenth520  
       2017 年 8 月 23 日
    @linfox 深圳哪里
    holajamc
        23
    holajamc  
       2017 年 8 月 23 日
    如果你能提供数据库或者 excel 的字段,可以约一发
    Immortal
        24
    Immortal  
       2017 年 8 月 23 日
    楼主表达能力不错 挺清晰的
    linfox
        25
    linfox  
    OP
       2017 年 8 月 23 日
    @vincenth520 龙华
    robinshi2010
        26
    robinshi2010  
       2017 年 8 月 23 日
    还好吧。需求不离谱。可以说说预算。如果大家感兴趣肯定会加你啦。

    不是故意往坏的地方想,我们程序员思维就这样的,第一时间考虑的都是边界值。
    tscat
        27
    tscat  
       2017 年 8 月 23 日
    为什么没人接。。看起来挺简单的
    prasanta
        28
    prasanta  
       2017 年 8 月 23 日
    爬虫简单,反反爬虫难
    robinlovemaggie
        29
    robinlovemaggie  
       2017 年 8 月 23 日
    @linfox 很多平台啦,关键是能建立相互的信任
    mark06
        30
    mark06  
       2017 年 8 月 23 日
    一个爬虫+一个后台管理页?
    Moker
        31
    Moker  
       2017 年 8 月 23 日
    PHP 可否?
    jianleer
        32
    jianleer  
       2017 年 8 月 23 日
    eminemcola
        33
    eminemcola  
       2017 年 8 月 23 日 via Android
    帮朋友的项目打个广告:zaoshu.io ,似乎可以满足楼主的需求
    herozzm
        34
    herozzm  
       2017 年 8 月 23 日 via Android
    我用 go 写过类似这种需求的,再加 100 以内代码可以实现 lz 需求,但是我已经不做外包了,来回沟通麻烦耗神,不想赚这钱
    chengxiao
        35
    chengxiao  
       2017 年 8 月 23 日
    最近写爬虫写的自己想吐了
    单写 20 家店铺不难 但是要带管理的话 写起来会麻烦很多
    qgb
        36
    qgb  
       2017 年 8 月 23 日
    @linfox 只能是纯 python 吗,可不可以搭配其他形式?比如做成浏览器扩展。。。。
    dowson521
        37
    dowson521  
       2017 年 8 月 24 日
    需求清晰,不撕逼。活儿也不难。看上去还靠谱。其实楼主也不是非要服务器,你自己电脑网速稍微快些搞个虚拟机也可以。实在不行再用服务器塞。python 爬爬可以,数据字段定好,每天导出一个 excel。
    wolffn
        38
    wolffn  
       2017 年 8 月 24 日
    Amazon 啊,好说啊,这个我熟
    omg21
        39
    omg21  
       2017 年 8 月 24 日
    后期维护呢?对方平台不可能没有变化,爬虫的生命周期不可控制,有可能交货第二天就挂了。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2965 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 96ms UTC 03:04 PVG 11:04 LAX 20:04 JFK 23:04
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86