这是一个创建于 2420 天前的主题，其中的信息可能已经有所发展或是发生改变。
爬取各种页面：
//page 1 $ch = curl_init(); curl_setopt($ch, CURLOPT_URL,PAGE_1_URL); curl_exec($ch); curl_close($ch); //然后爬取 page 2 $ch = curl_init(); curl_setopt($ch, CURLOPT_URL,PAGE_2_URL); curl_exec($ch); curl_close($ch); //然后爬取 page 3 $ch = curl_init(); curl_setopt($ch, CURLOPT_URL,PAGE_2_URL); curl_exec($ch); curl_close($ch); 可不可以在代码开头写一个$ch = curl_init(); 所有页面爬完了再 curl_close($ch)？这样做是不是效率更高？
5 条回复 2019-05-15 16:51:39 +08:00
 | 1 DavidNineRoc 2019-05-15 09:48:35 +08:00 这么简单的问题张口就来, 难不成你写一段代码不多块. 想要效率高, curl 提供多线程.多个执行不需要引用返回值考虑用: curl_multi_exec |
 | 2 benhuang1024 2019-05-15 12:42:51 +08:00 可以使用 Guzzle 软件包，进行异步，并发都挺不错 单纯的单页或指定部分页面爬虫，毛遂自荐下 [MasterCloner/Cornerstone]( https://github.com/MasterCloner/Cornerstone) |
 | 3 micookie 2019-05-15 14:11:15 +08:00 Guzzle +1 建议放弃 curl |
 | 4 ritaswc 2019-05-15 14:54:36 +08:00 放弃 curl 吧，时间宝贵 |
 | 5 NjcyNzMzNDQ3 2019-05-15 16:51:39 +08:00 1.效率不会高。 2.cli 情况下运行会内存溢出，应该一个请求就 close。 3.curl 如果单进程单线程的话慢的很，可以试试 3L 的。 |
Select Language