初学爬虫，设计一个定向爬虫策略，请大家帮我看看，是否合理？

哪些地方需要改进和注意的地方，或更好的爬虫策略。

下面是伪代码 欢迎批评指正！

数据模型

class Obj: pass 

常量

Objs = [] 对象容器 IPS = [] 代理池 

函数

1. 构造代理 ip 池 def build_ips(): .... return ips 2. 下载页面 - 随机选取代理 ip 下载页面，限制 timeout ，超时或异常更换 ip ，最多重试 5 次 - 基础页下载(含 params 参数)，详细页下载不含参数 def download_html(url,params=None) .... return html 3. 构造参数组合(不包含页码) - 如:城市+关键字 的组合 def build_params_lst(citys,kds): .... return params_lst 4. 解析基础页(带请求参数，不含页码),构造 Obj-->Objs - 页码上限设置很大。 - 参数=原参数+页码。 - 解析基础信息(至少包含详细页面 url)并 push 到 Objs 列表 - 该页码下内容为空则 return ，中断页码遍历 def parse_html(params) obj = Obj() obj.name = .... .... Objs.append(obj) return None 5. 解析详细页面,更新 obj 详细信息。 def get_detail(obj): url = obj.url .... obj.detail = ... return None 

程序执行

1. IPS = build_ips() 2. params_lst = build_params_lst() 3. 多线程基础下载解析 函数： parse_html 参数迭代器: params_lst 4. 多线程详细页面下载解析 函数： get_detail 参数迭代器 Objs 5. 遍历 Objs ，添加 obj 到数据库