
如题,希望各路大佬知道,告知一下。
PS:本人比较喜欢看自然科学相关的文章,经常看环球科学的网站,加上我是做 iOS 开发的,所以我想用 swift 做一个 app 方便看文章。
本来是想自己做全栈的,包括设计和前后端(前后端全用 swift),但是由于我对爬虫方面的知识不太了解,我想先完成 app,后期再用 Perfect 自己学习写爬虫程序。所以要是有现成的爬虫并且是开源的就最好了。
1 loading 2018 年 3 月 3 日 via iPhone 幽灵蛛 |
2 malagebidi 2018 年 3 月 3 日 用 huginn+feedly,完全满足需求。 |
3 devjoe 2018 年 3 月 3 日 via iPhone 直接加载整个网页,然后利用 XPath 解析就行 |
4 bogun 2018 年 3 月 3 日 via Android 可以试一下 portia,可视化爬虫 |
5 likuku 2018 年 3 月 3 日 IFTTT ? |
6 chroming 2018 年 3 月 3 日 via Android 可以看下 pyspider |
7 4BVL25L90W260T9U 2018 年 3 月 3 日 via Android 那你就先 mock 一个数据开发呗,做完再说。说不定中途就放弃了 |
8 lScarlet 2018 年 3 月 3 日 via Android 马克 |
9 brotherlegend 2018 年 3 月 3 日 via Android 看大佬们回答 |
10 yuanfnadi 2018 年 3 月 3 日 via iPhone toapi 可以把网站变成 api |
11 silencefent 2018 年 3 月 3 日 神箭手 |
12 giuem 2018 年 3 月 3 日 via iPhone |
13 safedogcc 2018 年 3 月 3 日 这不就是我的 APP [下一栈]( https://nextstack.xyz) 该做的事吗! 原理也是一样,把网站的 html 或者 rss 或者 json api 转换成固定的 json 数据格式,只不过不用爬虫,直接在客户端进行爬取解析,欢迎体验! |
14 sparkssssssss 2018 年 3 月 3 日 via iPhone 马克 |
15 zhtttyecho 2018 年 3 月 3 日 马克 |
16 zhesheng 2018 年 3 月 3 日 via Android 马克 |
17 anonnymous 2018 年 3 月 3 日 克马 |
18 Esora 2018 年 3 月 3 日 mark |
19 leriou 2018 年 3 月 3 日 八爪鱼试试 |
20 sohoer 2018 年 3 月 3 日 可以先试用下 hicrawler.com ,目前支持 json api 或发布到 wordpress |
22 golmic 2018 年 3 月 3 日 via Android 我可以免费提供数据方面的技术支持。微信 lujqme,可以联系我 |
23 limbo0 2018 年 3 月 3 日 via iPhone 不趁现在学习一波 python 吗 |
24 rootit 2018 年 3 月 3 日 你想的太简单了。。。 |
25 safedogcc 2018 年 3 月 4 日 @just1 #21 这类是固定的解析模版,比如 v1.4 的简书专题(近日发布),v1.5 的 hexo 博客支持(待发布)以及后续的 wordpress 博客站点等等一些较常用的 cms 系统(因为基本 dom 元素一致,所以解析代码通用)。 当然,你有兴趣可以看看开发文档,你会发现绝大部分的网站都可以进行创作哒! |
26 xuanyuanaosheng 2018 年 3 月 4 日 via Android mark |
27 mlyy 2018 年 3 月 4 日 这里有两层难度 - "指定网站和规则" - "我指定网站和规则" |
28 agdhole 2018 年 3 月 4 日 造数了解一下 |
29 demonchang 2018 年 3 月 4 日 via iPhone 发源地云采集引擎,可以看一下。自带周期更新 |
30 dobelee 2018 年 3 月 4 日 via Android mark |
31 gouchaoer 2018 年 3 月 4 日 via Android 正在做相关的东西,我爬虫攻城狮干了几年了 |
32 wwb721 2018 年 3 月 4 日 马克 |
33 idcspy 2018 年 3 月 4 日 造数好像可以。 |
34 Shura 2018 年 3 月 4 日 feed43 |
37 qiqico 2018 年 3 月 4 日 https://www.showapi.com/ent 这个也不错,支持一些自定义规则 |
38 beginor 2018 年 3 月 4 日 via Android |
39 lisztli 2018 年 3 月 4 日 |
40 lisztli 2018 年 3 月 4 日 scrapinghub 和 scrapy 框架直接绑定,有免费配额,可以直接使用。 |
41 zlstll 2018 年 3 月 5 日 mark 一下 |
42 dingdong 2018 年 3 月 5 日 提供这种服务的网站,如果存储了爬虫数据,在国内会面临法律风险吧 |
43 Jaeger 2018 年 3 月 5 日 |
44 midysky 2018 年 3 月 6 日 发源地云采集引擎,专门干这个事的。刚刚已开源。https://github.com/finndy/finndycloud |
45 midysky 2018 年 3 月 6 日 [发源地] 数据源市场有 10 几万个网站的规则。很多开发者发布的免费规则可以使用。 |