Q:有没有免费|付费工具能够监控网站某个数据变化,并且进行通知? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
mlhadoop
V2EX    程序员

Q:有没有免费|付费工具能够监控网站某个数据变化,并且进行通知?

 
  •   mlhadoop 2020-12-21 09:27:47 +08:00 4192 次点击
    这是一个创建于 1757 天前的主题,其中的信息可能已经有所发展或是发生改变。

    背景:

    想监测某个网站的数据变化,比如某疫苗新开放预约,某 xx 不定期上架等事件。然后提醒到自己。

    目前的方式是,间隔一定时间 n,发起请求跟本地数据进行比对。出现不同则推送消息给自己 [ teletgrambot ] ,不知是否还有其他更好的方式?

    附:

    细想这应该是一类问题 1- 获取数据 2- 规则匹配 3- 消息推送

    每一个子流程都能够进行抽象,不知道目前有没有这类的工具,只需要专注核心的规则匹配逻辑,满足触发条件后给自己消息提醒。

    第 1 条附言    2020-12-21 11:45:28 +08:00

    感谢各位v友的分享,为方便后面类似需求的朋友,把自己处理这个问题的方式也分享下

    大致有Huginn [功能非常强大,简直就像北冥神功,可以各处吸] ,urlwatch [提供filter能力,不知道是否支持webhook] ,Distill web monitor。 IFTTT [我比较喜欢把它当成msg通道,当然有更多好玩的玩法]

    因为针对我个人的需求而言,主要考虑两点

    1. 需要对变化对数据还有后续的一些计算才算满足我的规则,所以特殊性较强。
    2. 使用的频率不算很高,可能就是某个时间段针对某个具体场景进行监测,通用性不高,脚本随时需要变动
    3. 对2的脚本已经完成

    因此,部署一套Huginn似乎感觉太过笨重。用Distill web monitor灵活性不太够。最终选择使用云函数捕获数据变化+IFTTT [完成小电报推送msg] 。或者 可以使用 github action ? [如果不违法使用协议的话]

    以上,欢迎继续补充。

    20 条回复    2020-12-22 00:38:59 +08:00
    Tink
        1
    Tink  
    PRO
       2020-12-21 09:29:01 +08:00   2
    urlwatch
    Atukey
        2
    Atukey  
       2020-12-21 09:39:00 +08:00
    阿里云 站点监控
    omph
        3
    omph  
       2020-12-21 09:47:02 +08:00   1
    自己写
    PowerShell (对比数据,计划任务,发邮件)
    eason1874
        4
    eason1874  
       2020-12-21 09:47:38 +08:00   1
    站点监控,我用腾讯云的,可以自定义 UA,只能匹配静态的 HTML 内容,JS 改过的不行,不够用就自己用云函数撸一个吧。
    stardustree
        5
    stardustree  
       2020-12-21 09:55:52 +08:00   1
    Distill web monitor
    xider
        6
    xider  
       2020-12-21 10:00:19 +08:00   2
    IFTTT? 考虑一下 Huginn,简单配置以后支持推送到 Slack/Telegram/微信等软件
    SingeeKing
        7
    SingeeKing  
    PRO
       2020-12-21 10:00:49 +08:00 via iPhone
    inoreader 前几天新出了这个功能
    hello365
        8
    hello365  
       2020-12-21 10:27:39 +08:00   1
    阿里云的站点监控,可以匹配内容,有免费的短信通知和邮件通知。
    bhqt
        9
    bhqt  
       2020-12-21 11:00:11 +08:00   1
    OpenWebMonitor3 以前用来监控价格。
    dingdangnao
        10
    dingdangnao  
       2020-12-21 12:15:48 +08:00   1
    hengshenyu
        11
    hengshenyu  
       2020-12-21 14:15:19 +08:00   1
    cloudflare worker 每日免费 100,000 次调用,还有 cron 服务。感觉很适合你
    erwim
        12
    erwim  
       2020-12-21 14:28:10 +08:00   1
    mlhadoop
        13
    mlhadoop  
    OP
       2020-12-21 15:08:12 +08:00
    @hengshenyu 感谢,又提供了新姿势
    EEEcho
        14
    EEEcho  
       2020-12-21 15:56:01 +08:00
    阿里云站点监控
    lx19930805
        15
    lx19930805  
       2020-12-21 16:47:38 +08:00
    刚接触,这听起来像是 RSS 订阅?
    算是 RSS 订阅和爬虫的进阶吗?

    因为我以前也想过,RSS 可以定时获取信息但是可自定义的东西不够,然后想到通过爬虫对比发信息给自己。
    但是技术不行,不懂中间对比该学什么内容,之后就一直没动过什么念头,没碰过编程了。
    docx
        16
    docx  
       2020-12-21 18:44:21 +08:00
    像那种机构网站的新闻列表,网页代码比较有规律的,我用的 Feed43 抓自定义源,然后绑定 IFTTT 进行推送。
    现在 IFTTT 收费了,改成 Rss Bot 。
    duffercn
        17
    duffercn  
       2020-12-21 18:52:14 +08:00 via iPhone
    Google Apps Script 写个自动脚本
    zszhere
        18
    zszhere  
       2020-12-21 22:40:50 +08:00 via iPhone
    没有特殊的反爬机制的话 shell 里用 watch curl grep 就能撸出来个简单的实现 /doge
    wenlep
        19
    wenlep  
       2020-12-21 23:35:31 +08:00
    http://kkno1.com/soft/5.html
    卡卡网页变化监控软件 v1.0 实时监控网页访问状态、关键词变化、局部数值变化
    http://kkno1.com/book/49.html
    zszhere
        20
    zszhere  
       2020-12-22 00:38:59 +08:00
    睡前随手撸了个 shell 版本监测端口的 上线还带 beep 的提示音 嘿嘿嘿
    $ watch -b -n 1 'if [ -z "$(nmap 127.0.0.1 -Pn -n -sT -T4 --open -p 2333 | grep open)" ]; then echo offline; else echo online;return 1; fi'
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     959 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 19:20 PVG 03:20 LAX 12:20 JFK 15:20
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86