推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3317 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题，
存在 2900+的 stock 文件，每个文件格式相同，如下：
------------------------
date | value1
date | value2
date | value3
date | value4
------------------------
我想将所有文件合并到一起，格式如下：
------------------------------------------------
| code1 | code2 | code3
date1 | value1 | value2 | value3
............
daten | valuen | valuen | valuen
------------------------------------------------
目前的做法是将数据存到 list （总大小 2900+），
将这个列表拆分成 N 个，先分别 pd.concat ，得到 N 个 df 。
最后将这 N 个 df 合并为一个大的 df 。
但是效率是在太慢了，而且特别占用内存。文件的大小也就 20M ，但合并时内存能上好几个 G 。
求帮助。
谢谢。
存在 2900+的 stock 文件，每个文件格式相同，如下：
------------------------
date | value1
date | value2
date | value3
date | value4
------------------------
我想将所有文件合并到一起，格式如下：
------------------------------------------------
| code1 | code2 | code3
date1 | value1 | value2 | value3
............
daten | valuen | valuen | valuen
------------------------------------------------
目前的做法是将数据存到 list （总大小 2900+），
将这个列表拆分成 N 个，先分别 pd.concat ，得到 N 个 df 。
最后将这 N 个 df 合并为一个大的 df 。
但是效率是在太慢了，而且特别占用内存。文件的大小也就 20M ，但合并时内存能上好几个 G 。
求帮助。
谢谢。
 | 1 wh0syourda66y 2016-10-12 11:14:20 +08:00 docker pull 个 spark 镜像下来，用 pyspark 来计算。速度杠杠滴 |
 | 2 menc 2016-10-12 11:16:28 +08:00 用原生 dict 来做 |
 | 3 taxidriver 2016-10-12 11:23:48 +08:00 又是一个用 Python 做量化的，看到 2900+就知道了 建议合并后保存成 HDF5 文件，下次需要直接加载到内存，能省很多功夫 |
 | 4 imn1 2016-10-12 11:30:22 +08:00 1.先用 profile 查一下哪一步慢， list 转 df 还是合并 df 2.concat 或者 append 要避免空 df ，就是直接 concat 到一个有数据的 df ，如果合并到一个空 df 会引起严重性能问题 3.多步骤处理大量数据，要及时 del 无用数据 |
 | 5 kingmo888 OP |
| 6 kingmo888 OP @wh0syourda66y pyspark ？？ |
 | 10 qleroooo 2016-10-12 11:57:58 +08:00 为什么要存到 list |
 | 12 zjuhwc 2016-10-12 13:14:06 +08:00 感觉是解析到 list 和 list 转 df 这些步骤话的时间长吧，刚试了下生成 3000 个 100*2 的 df 用 concat 合并， 230ms 就够了。 In [1]: import pandas as pd In [2]: import numpy as np In [3]: l = [pd.DataFrame(np.random.randn(100, 2)) for _ in xrange(3000)] In [4]: timeit pd.concat(l, axis=1) 1 loop, best of 3: 230 ms per loop |
| 15 taxidriver 2016-10-12 15:41:11 +08:00 @kingmo888 keys 的索引也是 O(1) |
 | 16 laibluejay 2016-10-13 16:14:05 +08:00 大 df 和多个 df 的合并和输出，不如直接用读写文件的方式，快得很...... df merge 确实效率不高 |
Select Language