mongodb大数据量导出,导入遇到的问题

Scroll Down

数据迁移数据库和mongodb数据要求迁移到新环境

中间碰到了一个问题,我们有个集合的数据有170W条,数据文件大小我用native 工具导出有4.6G, 我上传到服务器后,使用mongoimport导入,报错啦。哭了。 因为这个native 导出的json文件是有问题,所以我使用import的时候就有问题。

我最终是登陆老环境,进入docker. 装在docker中的mongo
我先mongoexport到 /data目录下。
然后回到宿主机,使用docker cp 拷贝到宿主机中。
下载,上传到新环境。 json文件大小只有3.6G 。。。
说明之前用native导出的文件肯定有问题。

我再上传,然后在使用mongoimport 就可以了。

import的时候可以增加工作子线程来加快速度

image.png