推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 1755 天前的主题，其中的信息可能已经有所发展或是发生改变。
背景
使用 pandas 库处理一个性能参数的 csv 文件，但是 csv 文件是分片的，格式如下
| time | A | B | C | D |
|---|---|---|---|---|
| 20:00 | 0 | 1 | 2 | 3 |
| time | E | F | G | H |
| 20:00 | 4 | 5 | 6 | 7 |
| ... |
现在想读成如下格式，存成一个 dataframe 便于下游继续处理
| time | A | B | C | D | E | F | G | H | ... |
|---|---|---|---|---|---|---|---|---|---|
| 20:00 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | ... |
现在方案及问题
现在是通过跳过 n 行读取，然后拼接的方案，会存在多次调用 pandas.read_csv，性能太差了，想请教一个 python 大佬们有什么高效的办法
pandas.read_csv(target_file, skiprows=skip_rows, nrows=range, skipinitialspace=True) skip_rows = skip_rows + range
 | 1 lpts007 2021-02-07 16:36:41 +08:00 via Android 哪边产生的这种文件，让他改 |
 | 3 starzh 2021-02-07 16:57:57 +08:00 或者先把文件切片再喂给 pandas，这样读取的次数会少一些 |
| 4 starzh 2021-02-07 17:00:57 +08:00 假如按照你的例子，字段从 A 到 L，那就把文件分成 3 个小文件，这样 pandas 就只用读 3 次，最后再把 3 个 dataframe 拼起来就好了 |
 | 5 nano91 2021-02-07 17:06:29 +08:00 都在一个 csv 文件，那你一次性读完，然后筛不就行了，读完后 EFGH 被当成了行数据，这样的话，你把 EFGH 这种行数据给筛掉不就行了，再不济，既然你已经有 skip 的解决方法，就说明每个分片的长度是固定的，那就先转 list，[begin:end:skip]做切片然后转回 dataframe 不就行了 |
 | 7 learningman 2021-02-07 17:14:40 +08:00 换 C++预处理（ C++处理 csv 还算能写 |
 | 8 sdushn OP |
| 9 sdushn OP @learningman 流下了没有技术的泪水，C++更不会写了 |
 | 12 cassidyhere 2021-02-07 23:29:14 +08:00 via Android 各位想复杂了，pandas.read_csv 有现成的 chunksize 参数 |
 | 13 xchaoinfo 2021-02-08 09:52:18 +08:00 via Android 如果你用 Excel 应该怎么处理？ pandas 当成一个可编程的 Excel 。对比下，操作罗辑就很清楚了 |
Select Language