Related Blogs 
这是一个创建于 4646 天前的主题，其中的信息可能已经有所发展或是发生改变。
我要把几个collection中的数据整合到一个collection中，来用一种更友好的数据结构，
用下面的python代码，db.index中有11W条数据，查出来组合再存入，估算了一下，在我的本子上完成要两个小时，各位大神，难道是我的方法不对？有办法优化吗
from pymongo import MongoClient
cOnnection=MongoClient()
db=connection['wordnet']
def domerge():
allindex=db.index.find({})
i=0
for indexitem in allindex:
word={}
word['word']=indexitem['word']
word['concept']=[]
for conceptitem in indexitem['concepts']:
cOncept={}
concept['num']=conceptitem
concept['synonyms']=db.synonyms.find_one({"concept":conceptitem})['synonymses']
concept['gloss']=db.gloss.find_one({"concept":conceptitem})['gloss_en']
word['concept'].append(concept)
db.mergedata.insert(word)
i=i+1
print i
if __name__ == '__main__':
domerge()
用下面的python代码，db.index中有11W条数据，查出来组合再存入，估算了一下，在我的本子上完成要两个小时，各位大神，难道是我的方法不对？有办法优化吗
from pymongo import MongoClient
cOnnection=MongoClient()
db=connection['wordnet']
def domerge():
allindex=db.index.find({})
i=0
for indexitem in allindex:
word={}
word['word']=indexitem['word']
word['concept']=[]
for conceptitem in indexitem['concepts']:
cOncept={}
concept['num']=conceptitem
concept['synonyms']=db.synonyms.find_one({"concept":conceptitem})['synonymses']
concept['gloss']=db.gloss.find_one({"concept":conceptitem})['gloss_en']
word['concept'].append(concept)
db.mergedata.insert(word)
i=i+1
print i
if __name__ == '__main__':
domerge()
 | 1 cj1324 2013-01-23 14:44:06 +08:00 额 乱来。 这样事情肯定是 mongodb 内置的mapreduce来做。 而且不应该是实时性的 |
 | 2 justfly OP @cj1324 我觉得这方法肯定上不得台面，我去看看，mongo的mapreduce文档去了，若有具体做法 还请不吝赐教哈 谢了 |
 | 3 lqs 2013-01-23 15:43:53 +08:00 如果 db.synonyms 和 db.gloss 不大，先查出来存个dict变量，这样就不用在每次for都来查这两个表。 另外mongodb的map-reduce只是一个用于公关宣传的功能。 |
| 4 justfly OP |
2
Select Language