queshengyao 最近的时间轴更新 queshengyao 最近的时间轴更新 | queshengyaoV2EX 第 250049 号会员，加入于 2017-08-21 22:52:23 +08:00 |
queshengyao 最近回复了
2024-01-04 08:21:05 +08:00 回复了 surbomfla 创建的主题 投资 一百万如何进行简单的理财 |
这个位置拿出一部分定投一下创业板和沪深 300 ，风险不大了。
2018-05-15 12:38:47 +08:00 回复了 Hupuhr 创建的主题 酷工作 [上海] [虎扑体育] 寻找 PHP 开发工程师 |
我干我的羊！
2018-05-14 09:34:24 +08:00 回复了 c29551 创建的主题 分享发现 某乎的 robots 皮一下很开心？ |
@maemual 嗯这我知道，要封爬虫有很多方式，但我是看到你之前回复说淘宝不是通过 robots 来防止百度爬虫的，所以想知道是百度没遵守 robots 协议，然后淘宝另外用了手段封禁吗？
2018-05-14 08:53:03 +08:00 回复了 c29551 创建的主题 分享发现 某乎的 robots 皮一下很开心？ |
@maemual 我用 postman 试了一下，用百度爬虫的 ua 是可以拿到淘宝商品页内容的呀
2018-05-13 20:39:54 +08:00 回复了 c29551 创建的主题 分享发现 某乎的 robots 皮一下很开心？ |
@maemual 请问一下淘宝是如何禁止百度爬虫的？我一直以为是百度遵守了 robots 协议
Select Language