V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 4215 days ago, the information mentioned may be changed or developed.
项目地址
https://github.com/maliubiao/simple_htttp
其中baidu_music.py的用法
python baidu_music.py -a 歌手id 就可以自动下载其所有的歌
python baidu_music.py -i 歌曲id 就可以下载单首歌
歌手id从http://music.baidu.com/artist/7898取得
歌曲id从http://music.baidu.com/song/14945107取得
这个是为了测试自写的http库而写的，下了几个G的歌，用着确实很好，分享给各位
这个项目里还有一些好玩的东西
simple_http.py 是http库， 我个人非常讨厌标准库里的urllib2， requests代码又乱效率又低， 不喜欢。
这个库支持http代理，socks5代理， 以及全部的http方法， 代码量少， 效率高。
post文件也很简单,
比如simple_http.post("http://url.com", payload{"file": open("test", "r")})
encrypted.client.py encrypted.server.py是socks5转发代理
这个是epoll异步非阻塞模型+随机密码表， 在linux上工作的极好，翻墙用的，在我的笔记本上使用CPU占用从来不过0.3%。
pretty.py是html formatter, 把乱七八糟，经过混淆的html整理干净
etree_utils.py是为了快速定位静态html文件里的XPATH写的， 做爬虫时非常好用
http_request_simulator.py 是用多进程模型模拟浏览器并发取网页用的，主要测试网页的整体响应， 以及服务的正确性。
这些工具是我写爬虫时用的，我个人是etree_util.py 定位XPATH, simple_http下载， lxml提取， 比Beautifulsoup之流好太多。
欢迎star, 欢迎反馈， 不懂的地方给我留言，我给你解释。
我的微博 weibo.com/maliubiao
https://github.com/maliubiao/simple_htttp
其中baidu_music.py的用法
python baidu_music.py -a 歌手id 就可以自动下载其所有的歌
python baidu_music.py -i 歌曲id 就可以下载单首歌
歌手id从http://music.baidu.com/artist/7898取得
歌曲id从http://music.baidu.com/song/14945107取得
这个是为了测试自写的http库而写的，下了几个G的歌，用着确实很好，分享给各位
这个项目里还有一些好玩的东西
simple_http.py 是http库， 我个人非常讨厌标准库里的urllib2， requests代码又乱效率又低， 不喜欢。
这个库支持http代理，socks5代理， 以及全部的http方法， 代码量少， 效率高。
post文件也很简单,
比如simple_http.post("http://url.com", payload{"file": open("test", "r")})
encrypted.client.py encrypted.server.py是socks5转发代理
这个是epoll异步非阻塞模型+随机密码表， 在linux上工作的极好，翻墙用的，在我的笔记本上使用CPU占用从来不过0.3%。
pretty.py是html formatter, 把乱七八糟，经过混淆的html整理干净
etree_utils.py是为了快速定位静态html文件里的XPATH写的， 做爬虫时非常好用
http_request_simulator.py 是用多进程模型模拟浏览器并发取网页用的，主要测试网页的整体响应， 以及服务的正确性。
这些工具是我写爬虫时用的，我个人是etree_util.py 定位XPATH, simple_http下载， lxml提取， 比Beautifulsoup之流好太多。
欢迎star, 欢迎反馈， 不懂的地方给我留言，我给你解释。
我的微博 weibo.com/maliubiao
 | 1 paloalto Oct 14, 2014 via Android 404 |
 | 2 dbow OP @paloalto 不好意思，手抖了， https://github.com/maliubiao/simple_http |
 | 3 irrienberith Oct 14, 2014 第一个star |
 | 4 fange01 Oct 14, 2014 先关注，常交流。 |
 | 5 phuslu Oct 14, 2014 回个可能打击楼主的贴， 楼主的代码带有强烈 c/perl 的风格，不是主流的 python lib 的写法。 |
| 6 phuslu Oct 14, 2014 比如 send_http 这个方法，主流的做法是返回一个 multi-value dict 的 message 和 readable 的 fileobject， 而且一般会把它们打包成一个 response 对象里面。 楼主你直接暴力 return header, body 局限性太大。 |
 | 7 jy02201949 Oct 14, 2014 下下来是什么码率的歌啊？ |
| 8 dbow OP @jy02201949 我没有会员, 网页播放器里普通的那种， 4M大小的mp3。 |
 | 10 reter Oct 14, 2014 via Android 我做过类似的，不过是油猴脚本，原理是收藏歌曲，然后通过yinyueyun.baidu.com(对不对？)获取下载链接，可以获取到无损和320 |
 | 13 xiaomayi0323 Oct 21, 2014 @phuslu Goagent作者？ |
Select Language