用爬虫抓取数据，这样的行为是否合法

互联网公开资源爬取并不违法，不过要看具体怎么说，每个站都不一样，但是不对对方造成巨大影响一般没事

但是需要尊重 Robots 协议，这是协议不是命令，不过不接受容易被 ban

看站点 TOS

我觉得爬虫抓到的都是对方允许访问的公开数据，抓数据并不违法
通常争论比较大的应该是怎么处理数据
比如抄别人文章发布到自己网站上

之前有人爬 facebook ，然后被抓了，坐牢的

@wy315700 请给出正确的新闻来源？

百毒,360 属于法外之地

@zhjits TOS 是什么 能提供个链接么？

@nina2000 Term Of Serivce 用户协议

1.前提是网站的使用协议
2.低频没给人家网站造成问题
3.再利用的方式见 1 ，一般自己阅读用都是允许的，二次发布就难说了

@nina2000 服务协议，每个网站都有，你抓之前去网站看一眼。

@nina2000 Terms of service

@freewarcraft 好的 了解了

法律上的规定是，抓取公共展示的信息不违法，允许抓取网站内容，对公众展示内容必须提供来源及源站地址，若有版权纠纷，必须配合版权方进行内容下架，否则可以到工信部投诉举报侵权网站，投诉多了有取消域名备案的风险。
涉及版权的经济损失，可以提起诉讼申请经济赔偿。

@lecher 能提供下出处么 先前对这块没有重视 想学习一下相关的知识

互相抄已经是趋势。你的东西被人抄，你也同时抄别人的东西。

有的人抄了，就没事。有的人抄了就有事。看别人想不想搞你。

保持自己不吃亏吧。

关注。

做信息聚合的都可以看看这个条例：避风港原则。
目前来说，做搜索引擎的都在往这上面靠就是抓取、索引、展示部分信息，只要不是全文展示并及时配合版权方将无版权内容下架，可以获得避风港原则的豁免权，不用承担法律责任。

最新出的互联网版权管理条例对信息展示增加了版权限制，未获得版权的内容，禁止对公众发布。

按这两个条例而言，抓取是无罪的，国家更看重的是展示这方面的管理。

@lecher 好的 了解了 去学习一下 谢谢！

你用浏览器浏览「数据」合法吗？同样作为 user-agent ，爬虫怎么就不合法了。
你非得说浏览器是你自己点出来的，那如果你装了自动翻页插件呢？

爬虫是你写的，在你的授权和指导下运行，访问公开你通过浏览器同样可以访问的内容，怎么就不合法了。
是否违法是在数据的使用环节，而不是抓取环节。

个人一直在想这个问题，以前写的爬虫爬到了网站备份的数据库下来，我这个算犯法嘛？

@SlipStupig 不公开，应该不违法吧。

前段时间，用爬虫从有道词典和爱词霸扒了三十多万的常用词语，做成本地离线词典。

@binux “是否违法是在数据的使用环节，而不是抓取环节。” 同意这个说法。

一直很疑惑，讲道理的话 SQL 注入也算是“合法”访问到了网站“公开允许访问的内容”，那这算不算违法？
对需要 POST 数据才能访问到的内容(比如某些应用的 API)进行遍历采集算不算合法的访问？
法律上究竟有没有界定多深入的访问内容算是非公开访问的内容？

@Kirscheis 同样困惑啊，病毒程序到底是什么，它和普通程序怎么区分，比如我写了个收集本地文件的程序会上传本地的 word 文件这个算不算病毒程序呢？如果下载一个杀毒软件，它也会上传我的 word 文件，那它是不是就是病毒呢？

抓取并储存，一般来说除非对方网站 TOS 有明确说明禁止，有版权问题，都是不违法的。
但是你再二次展示，就很可能侵犯版权方的权益了。

@Kirscheis 如果你能证明你注入的那段 SQL 是你家猫写的，你完全不知道是什么意思的话。应该不算违法吧

商业用途？
如果不是的话你随便搞就是了！

正在找相关的资料呢， mark

我喜欢看小说，为此我用 nodejs 写了一个爬虫把一个小说网站的所有小说全部下载下来了

只爬标题违法吗？比如爬取一些资讯网站然后整合到自己的网站上只放标题等内容，然后链接还是跳转到对方网站

@istommao 不违法，这个就是搜索引擎干的事。