在 mongodb 中的索引列上查找重复项的快速方法

发布于11月19日

我在mongodb收集了md5.我想找到所有的副本.md5列被编入索引.你知道使用map reduce的快速方法吗.

我目前使用map reduce的方法对集合进行了几乎两次迭代(假设有非常少量的重复项):

res = db.files.mapReduce(
    function () {
        emit(this.md5, 1);
    }, 
    function (key, vals) {
        return Array.sum(vals);
    }
)

db[res.result].find({value: {$gte:1}}).forEach(
function (obj) {
    out.duplicates.insert(obj)
});

推荐答案

一次完成的最简单方法是按md5排序，然后进行适当的处理.

比如:

var previous_md5;
db.files.find( {"md5" : {$exists:true} }, {"md5" : 1} ).sort( { "md5" : 1} ).forEach( function(current) {

  if(current.md5 == previous_md5){
    db.duplicates.update( {"_id" : current.md5}, { "$inc" : {count:1} }, true);
  }

  previous_md5 = current.md5;

});

这个小脚本对md5条目进行排序，并按顺序循环.如果md5被重复，那么它们将在排序后"背对背".所以我们只需将指针保持在previous_md5，并将其与current.md5进行比较.如果我们发现了一个副本，我会将其放入duplicates集合(并使用$inc来计算副本的数量).

这个脚本意味着您只需循环一次主数据集.然后，您可以循环duplicates个集合并执行清理.