V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 4267 days ago, the information mentioned may be changed or developed.
目前有很多数据50G以上。准备把它存到数据库中，然后进行分析，处理，最后可视化。
50G数据 -> 存数据库 -> 处理,分析数据 -> 可视化数据
请问用Python怎么处理好呢？
刚看了一下iPython (http://ipython.org/),好像可以导入数据，然后可视化。但感觉不是很好
是不是可以先把数据存入数据库（mySQL,或者Hadoop什么的），然后结合django，在Sublime里面写程序处理分析数据， 再结合d3.js库什么的可视化？
请大家帮忙。本人新手，还不知道怎么做比较好？
谢谢
50G数据 -> 存数据库 -> 处理,分析数据 -> 可视化数据
请问用Python怎么处理好呢？
刚看了一下iPython (http://ipython.org/),好像可以导入数据，然后可视化。但感觉不是很好
是不是可以先把数据存入数据库（mySQL,或者Hadoop什么的），然后结合django，在Sublime里面写程序处理分析数据， 再结合d3.js库什么的可视化？
请大家帮忙。本人新手，还不知道怎么做比较好？
谢谢
 | 1 14 Aug 23, 2014 via Android 你想的差不多了，现在可以去写代码了… |
 | 2 meteor2013 OP |
 | 3 imn1 Aug 23, 2014 数据存取你想得也差不多了 但分析你需要拓展一下视野，建议看看NumPy、SciPy、matplotlib、ETS、pandas等等 Python科学计算 http://hyry.dip.jp/tech/book/index/scipynew 其作者也活跃于这里和豆瓣 不要看到科学计算就以为是数学，例如我熟悉的pandas，自己也常用于文字分析 |
| 4 meteor2013 OP @imn1 谢谢哥们。说得太了好了。 本人新手。开始学Python，不过这段时间越学越有疑问：到底Python是干嘛的？？ 科学计算,还是编程做产品？？ 如果是科学计算，是不是用iPython玩玩就够了， 如果是编程做产品，是不是就要用django之类的东西？？？ |
 | 5 MarioLuisGarcia Aug 23, 2014 via Android time to code now |
| 6 imn1 Aug 23, 2014 @meteor2013 不能也不该定性python就是干什么的，虽然目前看到web、服务器和科学计算方面比较多 目前只能说py做客户端图形界面比较麻烦 我写py不是为了吃饭的，所以不太专，我写了很多CLI的脚本帮我处理日常用电脑使用，例如我写了个小脚本用于把分散在不同地方的文档自动归类，自己手工腾挪估计没半个月做不完，写个C什么的还编译来运行也不实际，python就恰巧，随时改改就能用了～ |
 | 7 ZavierXu Aug 23, 2014 你觉得Python能做什么, 他就能做什么.... time to code now |
 | 8 frankzeng Aug 23, 2014 我觉得你可以处理完数据再入数据库，python用来处理数据爽歪歪的，谁用谁知道。你把处理完的数据存进数据库，再做个页面就行了，搞什么图形界面。 |
| 9 meteor2013 OP @frankzeng 你的意思就是分两个步骤： 1. 处理数据，存入数据库 2. 做个页面显示。 听起来我也觉得很合理，但有一个问题在步骤1. 我是用iPython这样的工具来处理数据好呢？http://ipython.org 还是在像Sublime一样的开发工具中写代码来处理数据呢？ |
| 10 frankzeng Aug 23, 2014 linux下就用vim，windows就用notepad++，用啥工具不重要，重要的是处理的算法，几十G的数据如果没有优化，跑不完的。 |
| 11 meteor2013 OP |
 | 12 Zuckonit Aug 23, 2014 @meteor2013 不一定存在一个数据库里 |
 | 13 likuku Aug 24, 2014 @meteor2013 50G也算「大」？如果只是逐行读取的，使用纯文本保存和塞数据库没啥本质区别，前者还更简单。 |
| 14 likuku Aug 24, 2014 @meteor2013 hadoop ？你想从50G里全部过滤一遍，捞某个字段，还要限制在很短时间内么？你物理机器很多么？要这么干的话，hadoop适合。 |
 | 15 mckelvin Aug 24, 2014  1 可以尝试下MapReduce框架DPark https://github.com/douban/dpark 安装配置都非常简单。数据有50G，而单机内存只有8G这种事情不需要使用者担心。把数据放在文件系统里，写简单的Python代码即可，处理完毕之后的数据体积不大可以考虑在ipython上用numpy, scipy, pandas, pylab 等库做分析和可视化。 |
 | 16 ruoyu0088 Aug 25, 2014 我觉得可以先试试HDF5文件格式。 如果是类似CSV文本之类的文件，可以用pandas分段读取，然后将DataFrame写入HDF5文件。分析步骤要看你做怎样的分析了。 |
 | 17 happywowwow Aug 25, 2014 可视化最近看到python的urwid库，不知道合不合要求 |
Select Language