什么值得买网站的定时检测爬虫 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
SheldonZheng
V2EX    Python

什么值得买网站的定时检测爬虫

  •  
  •   SheldonZheng 2016-12-22 15:01:31 +08:00 10367 次点击
    这是一个创建于 3250 天前的主题,其中的信息可能已经有所发展或是发生改变。

    https://github.com/SheldonZheng/SMZDM_Monitor

    昨天写的一个什么值得买网站的监测爬虫;可以实现检测指定关键字,如果出现关键字匹配的内容发送邮件到指定邮箱。

    代码写的很烂 第一次用 python 写东西 轻喷

    Usage 里写的不太详细 改改文件开头的那一堆东西就可以用了

    如图所示

    31 条回复    2024-10-11 10:28:20 +08:00
    riaqn
        1
    riaqn  
       2016-12-22 15:05:31 +08:00   3
    不用这么麻烦。 smzdm 自己提供 rss feed 的,你用 rss2email 加上过滤器就行了。
    SheldonZheng
        2
    SheldonZheng  
    OP
       2016-12-22 15:06:49 +08:00
    @riaqn 没想到 rss 还能干这事。谢谢了
    UnisandK
        3
    UnisandK  
       2016-12-22 15:09:59 +08:0
    之前我也写过一个,出现关键词自动给自己发短信
    不过兄弟我得告诉你个悲壮的事。。张大妈客户端有这个功能了。。
    SheldonZheng
        4
    SheldonZheng  
    OP
       2016-12-22 15:10:29 +08:00
    @UnisandK 你说那个关注么。。那个玩意经常刷不出来
    UnisandK
        5
    UnisandK  
       2016-12-22 15:21:18 +08:00
    @SheldonZheng = =我这儿没啊,挺好用的,之前电动牙刷关注了给我推了个接近历低的活动。。
    morefreeze
        6
    morefreeze  
       2016-12-22 17:12:05 +08:00
    @UnisandK 好像自从上次改版后关注特别难用,只能关注特定商品或者特定商城,不如原来的分类关注好了,我一般只关注买书方面,但关注中亚会推别的商品,好难用
    morefreeze
        7
    morefreeze  
       2016-12-22 17:14:02 +08:00
    哦哦 原来还是有的 只是让我强行关注了一波中亚啥的
    ytmsdy
        8
    ytmsdy  
       2016-12-22 17:16:24 +08:00
    开始写爬虫之前要关注两个事情,网站是不是有 API ,以及是否有 RSS 订阅!
    SheldonZheng
        9
    SheldonZheng  
    OP
       2016-12-22 18:03:05 +08:00
    @ytmsdy 这个就是用的网站的 API 拿到的直接是 JSON 数据
    changdy
        10
    changdy  
       2016-12-22 19:22:32 +08:00
    兄弟 加油,我最近也想做一个.. 张大妈自带的推送简直太垃圾了,甚至说废品。
    楼上有说 rss 订阅的,其实远远不够符合需求,有些时候我们要的并不是某一个特定商品,而是某一类商品,然后在从中挑选比较热门的,怎么评判。没有大数据的时候只能依靠 评论数 以及点赞的比例。
    ps... api 在哪,我怎么没找到?
    daiv
        11
    daiv  
       2016-12-22 19:30:54 +08:00
    等便宜 所花费的时间和精力 都可以赚回来了吧。

    划不来
    SheldonZheng
        12
    SheldonZheng  
    OP
       2016-12-22 20:31:31 +08:00
    @changdy 看一眼代码 抓到的包里有一个获取当前最新的 20 条信息的 API ,不算是官方提供的 API ,但是确实可以直接拿来用
    SheldonZheng
        13
    SheldonZheng  
    OP
       2016-12-22 20:32:01 +08:00
    @daiv 是的 这个只是玩票性质的 刚需的商品肯定等不了……
    dhlwing
        14
    dhlwing  
       2016-12-22 21:02:10 +08:00 via iPhone
    http://www.zhiribao.com 可以 app 微信 邮件推送,值得买的评论都可以在那里看,还要自己写啥?
    daiv
        15
    daiv  
       2016-12-22 21:12:25 +08:00
    @dhlwing 采集的?


    @SheldonZheng 有没有这样一个网站, 购物指导性质的,例如买个台灯,直接推荐 5 个最好的,并且分析优缺点
    dhlwing
        16
    dhlwing  
       2016-12-22 21:39:23 +08:00 via iPhone
    @daiv 是的
    daiv
        17
    daiv  
       2016-12-22 22:00:39 +08:00
    @dhlwing 评论好像没采到吧。 采这个 流量如何
    dhlwing
        18
    dhlwing  
       2016-12-22 22:07:43 +08:00 via iPhone
    @daiv 十分钟后才开始采集当前内容的评论,你去翻之前的内容。 V2EX 回复了一段点发送空白了
    yilin101
        19
    yilin101  
       2016-12-22 22:10:31 +08:00 via iPhone
    色魔张大妈 app 支持 添加关键字 推送
    changdy
        20
    changdy  
       2016-12-22 22:18:28 +08:00
    @SheldonZheng 等我手下的先忙完了... 再管这个 233 到时候如果找不到接口了,估计还要有劳楼主。
    ranleng
        21
    ranleng  
       2016-12-22 23:19:19 +08:00 via Android
    有个人有微信的公众号接口。可以跟 github 绑了 之后 拿到 key 就可以调用了。微信提醒 比邮箱要快
    lonelinsky
        22
    lonelinsky  
       2016-12-23 00:34:52 +08:00   1
    @daiv http://www.guiderank.org/ 刚发现了这个,但是只有品牌排行,看了自己比较熟悉的几个领域,还是比较中立的

    @SheldonZheng 张大妈还有一个 chrome 的插件,也支持过滤推送
    SheldonZheng
        23
    SheldonZheng  
    OP
       2016-12-23 07:16:37 +08:00
    @dhlwing ……谢谢 这个看起来蛮好用
    SheldonZheng
        24
    SheldonZheng  
    OP
       2016-12-23 07:16:58 +08:00
    @lonelinsky 涨姿势了
    SheldonZheng
        25
    SheldonZheng  
    OP
       2016-12-23 07:17:45 +08:00
    @ranleng 等干完活空了看下
    sxd
        26
    sxd  
       2016-12-23 08:21:52 +08:00
    以前做了监控关键词后推送到 qq ,用了一段时间后发现太费钱了就不用了。。。
    RangerWolf
        27
    RangerWolf  
       2016-12-26 09:52:46 +08:00
    @sxd 想问下 费钱费在哪里?
    推送 QQ 怎么做的?
    SheldonZheng
        28
    SheldonZheng  
    OP
       2016-12-26 13:54:39 +08:00
    @RangerWolf 费钱的意思就是买的多呗……推送 QQ 基本都是基于 WebQQ 的方案,你可以看看酷 Q 的接口
    sxd
        29
    sxd  
       2016-12-27 09:03:43 +08:00
    嗯 之前用 webqq 不太好用 现在用酷 q 缺点是 windows only
    ty89
        30
    ty89  
       2016-12-27 13:49:11 +08:00
    几年前写过一个类似东西,不过是监测二手东的
    sw3rt
        31
    sw3rt  
       2024-10-11 10:28:20 +08:00
    @SheldonZheng 现在抓到的包有签名算法,api 不能直接用了,得逆向复现签名算法
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2509 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 36ms UTC 11:58 PVG 19:58 LAX 03:58 JFK 06:58
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86