推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3194 天前的主题，其中的信息可能已经有所发展或是发生改变。
题目的表达可能有些问题。 情况是这样的： 现有已经存在大量数据的 MongoDB 集合，现在要添加一个新的字段，然后这样字段的值来自于一个 json 文件。不过这样文件特别大（ 4.5G ）在使用 Python 中 json 的 loads （）来操作会卡死，因为 12G 的内存更本弄不了。我还想过 split 来处理 json 文件，但是生成的文件太多，造成在遍历文件的时候卡主了。 至于为什么不用 MongoDB 自带的处理 json ，是因为 json 有些字段不需要。
不过我想想，目前要是能导入进去就可以了。
问题就是怎么去更新呢？
谢谢
 | 1 minvacai 2017-04-04 16:24:26 +08:00 via Android 这个不太懂，不过如果没有其它好办法的话能不能用 MongoDB 自带的先导入到一个临时库里再去掉不需要的部分？ |
 | 2 hareandlion 2017-04-04 16:45:38 +08:00 使用游标读取数据，手动设置一次更新的数据条数，时间换空间，另外这种可以考虑一下协程或者多进程操作的吧？ |
 | 3 golmic 2017-04-04 17:08:35 +08:00 你这问题应该和 mongodb 无关吧，主要问题是如何用 python 操作大的 json 文件读写数据 |
 | 4 crayygy 2017-04-04 17:12:33 +08:00 via iPhone 之前遇到过类似的问题，从一个超大的文本文件倒入到数据库，比你这个还大， 10G 每个文件，本来用的 mongodb ，测了一次以后我转到 postgresql 去了…… |
 | 5 oulongqi 2017-04-04 17:33:53 +08:00 MongoDB 有 aggregate pipeline / bulk 操作, up 可以查一查 |
 | 6 wangxn 2017-04-04 17:40:13 +08:00 不生成文件对应的 JSON 对象，直接解析 .json 文件，使用正则表达式或者其他什么手段来提取数据。 |
 | 7 billlee 2017-04-04 17:51:27 +08:00 你是说用 split(1) 处理？如果可以用分行处理，那也可以直接用 python 的 for line in file_object 来逐行处理啊 |
 | 8 cxbig 2017-04-04 18:36:35 +08:00 既然 Python 都参与了，没有对数据做 pagination 么？ |
Select Language