windows 10 的系统,python 版本 3.6,环境下载的是 Anaconda3 + pycharm,自己现在的阶段处于学习完基础语法,对参数,列表,返回值, 传值,传址,OOP 一些计算抽象概念和底层实现有一些浅薄的了解。
对于互联网行业也从模模糊糊的概念,到理解前端是做什么的,后段是做什么的,自己没什么学历, 也明白自身只有中人之姿,it 技术博大精深, 对于我来说如果想有一丝机会去做好 只有十年如一日的坚持, 专心做一个方向,想了很久选择了数据挖掘,虽然有点迷茫怎么进阶以后的 it 道路,我也只能选择目前看得见的爬虫和运用熟悉模块开始然后遇到问题再去解决,在导入模块搭建环境的时候遇到的一些问题,希望得到各位大牛的指导。
具体问题,我想搭建一个爬虫的环境,百度了一下爬虫环境需要的模块,(后面是具体模块):
内置库: urllib,re,
需要安装的库:requests,selenium,chromedriver,phantomjs,lxml,beautifulsoup4 (依赖 lxml ),pyquery
储存库:pymysql,pymongo,redis,flask(代理 IP 的库),django,jupyter(强大的记事本),
框架:PySpider,scrapy
1: 用 pycharm 安装模块到,selenium,chromedriver,安装不上去,(具体报错信息如果有大牛愿意留下 QQ 的话 , 感激不尽,也可以力所能及的进行付费提问,但是可能没办法给太多,我不会经常麻烦您的。)
2:我有也有想过,在每个阶段人是有极限的, 所以有时候我会想 Python + Django/Flask 的方向,先进行入行,然后再进行后续的进阶,毕竟如果从事数据, 以我这样的条件在没踏上轨道的时候选择这方面是很困难的
(有大牛可以给点建议,就很感激了)
3: 其实我明白基本爬虫可能不需要安装这么多环境(我也不知道对不对),可是我不知道什么才是正确的环境安装,很迷茫,不知道有大牛指点一下吗,感激不尽,在自学这条路上, 像我这样没学历,没知识体量的人,太需要一位引路人,就算没有找到引路人,我也希望这个在 V2EX 论坛发的帖,能是一个环境安装,模块方面的扫盲贴, 如果我没坚持下来, 我也希望像这样的帖子能帮助到以后像我一样的那类人。
对于互联网行业也从模模糊糊的概念,到理解前端是做什么的,后段是做什么的,自己没什么学历, 也明白自身只有中人之姿,it 技术博大精深, 对于我来说如果想有一丝机会去做好 只有十年如一日的坚持, 专心做一个方向,想了很久选择了数据挖掘,虽然有点迷茫怎么进阶以后的 it 道路,我也只能选择目前看得见的爬虫和运用熟悉模块开始然后遇到问题再去解决,在导入模块搭建环境的时候遇到的一些问题,希望得到各位大牛的指导。
具体问题,我想搭建一个爬虫的环境,百度了一下爬虫环境需要的模块,(后面是具体模块):
内置库: urllib,re,
需要安装的库:requests,selenium,chromedriver,phantomjs,lxml,beautifulsoup4 (依赖 lxml ),pyquery
储存库:pymysql,pymongo,redis,flask(代理 IP 的库),django,jupyter(强大的记事本),
框架:PySpider,scrapy
1: 用 pycharm 安装模块到,selenium,chromedriver,安装不上去,(具体报错信息如果有大牛愿意留下 QQ 的话 , 感激不尽,也可以力所能及的进行付费提问,但是可能没办法给太多,我不会经常麻烦您的。)
2:我有也有想过,在每个阶段人是有极限的, 所以有时候我会想 Python + Django/Flask 的方向,先进行入行,然后再进行后续的进阶,毕竟如果从事数据, 以我这样的条件在没踏上轨道的时候选择这方面是很困难的
(有大牛可以给点建议,就很感激了)
3: 其实我明白基本爬虫可能不需要安装这么多环境(我也不知道对不对),可是我不知道什么才是正确的环境安装,很迷茫,不知道有大牛指点一下吗,感激不尽,在自学这条路上, 像我这样没学历,没知识体量的人,太需要一位引路人,就算没有找到引路人,我也希望这个在 V2EX 论坛发的帖,能是一个环境安装,模块方面的扫盲贴, 如果我没坚持下来, 我也希望像这样的帖子能帮助到以后像我一样的那类人。
