我使用的是mongo v3.在ubuntu机器上运行0.1.我收集了3亿行.我根据自己的查询偏好创建了两个索引.

当我试图用explain运行聚合时,它会使用低效的索引,这就是为什么它会多花20-25秒的时间.有没有办法输入$hint,以便我的聚合查询使用适当的索引.

$match是我的第一个管道阶段.我有两个索引:

  1. "主机\ 1 \站点类型\ 1"

  2. "访问时间\ 1 \帐户ID \ 1 \主机\ 1 \站点类型\ 1 \扩展\ 1 \生命周期\ 1"

我的$match条管道是这样的:

{ "$match" : {
    "AccountId": accID, 
    "VisitTime": { "$lte" : today, "$gte" : last365Days },
    "$or": [
        { "$and": [
            { "Extension":{ "$in": ["chrome_0","firefox_0"] }},
            { "LifeTime": 0 }
        ]},
        {  "LifeTime": { "$gt": 1000 }}
    ],
    "Host": { "$ne": "localhost" },
    "SiteType" : { "$exists": true },
}

它使用的是第一个索引,而不是第二个索引.第一个索引所用的时间为50秒,而仅使用第二个索引只需18秒.

以下是我的一个文档示例:

{ 
    "_id" : "2bc1143c-07e4-4c37-a020-a7485b2802a3", 
    "CreatedDate" : ISODate("2015-07-22T04:05:06.802+0000"), 
    "UpdatedDate" : ISODate("2015-07-22T05:28:26.469+0000"), 
    "AccountId" : accID, 
    "Url" : "http://www.test.com/test.html", 
    "Host" : "test.com", 
    "VisitTime" : ISODate("2014-08-12T18:08:25.813+0000"), 
    "LifeTime" : 789546.01, 
    "Status" : "closed", 
    "LocalTime" : ISODate("2014-08-12T18:08:25.813+0000"), 
    "DeviceId" : "123456789", 
    "Extension" : "firefox_0", 
    "SubSiteType" : "TestSubSite", 
    "SiteType" : "TestSite", 
    "Flag" : "1"
}

以下是我的解释:

{
    "stages" : [
        {
            "$cursor" : {
                "query" : {
                    "AccountId" : "accID",
                    "VisitTime" : {
                        "$lte" : "2015-07-25T18:30:00Z",
                        "$gte" : "2014-07-25T18:30:00Z"
                    },
                    "Host" : {
                        "$ne" : "localhost"
                    },
                    "SiteType" : {
                        "$exists" : true
                    },
                    "$or" : [
                        {
                            "$and" : [
                                {
                                    "Extension" : {
                                        "$in" : [
                                            "chrome_0",
                                            "firefox_0"
                                        ]
                                    }
                                },
                                {
                                    "LifeTime" : 0
                                }
                            ]
                        },
                        {
                            "LifeTime" : {
                                "$gt" : 1000
                            }
                        }
                    ]
                },
                "fields" : {
                    "Host" : 1,
                    "_id" : 0
                },
                "queryPlanner" : {
                    "plannerVersion" : 1,
                    "namespace" : "Test",
                    "indexFilterSet" : false,
                    "parsedQuery" : {
                        "$and" : [
                            {
                                "$or" : [
                                    {
                                        "$and" : [
                                            {
                                                "LifeTime" : {
                                                    "$eq" : 0
                                                }
                                            },
                                            {
                                                "Extension" : {
                                                    "$in" : [
                                                        "chrome_0",
                                                        "firefox_0"
                                                    ]
                                                }
                                            }
                                        ]
                                    },
                                    {
                                        "LifeTime" : {
                                            "$gt" : 1000
                                        }
                                    }
                                ]
                            },
                            {
                                "$not" : {
                                    "Host" : {
                                        "$eq" : "localhost"
                                    }
                                }
                            },
                            {
                                "VisitTime" : {
                                    "$lte" : "2015-07-25T18:30:00Z"
                                }
                            },
                            {
                                "AccountId" : {
                                    "$eq" : "accID"
                                }
                            },
                            {
                                "VisitTime" :"2014-07-25T18:30:00Z"

                            },
                            {
                                "SiteType" : {
                                    "$exists" : true
                                }
                            }
                        ]
                    },
                    "winningPlan" : {
                        "stage" : "FETCH",
                        "filter" : {
                            "$and" : [
                                {
                                    "SiteType" : {
                                        "$exists" : true
                                    }
                                },
                                {
                                    "$or" : [
                                        {
                                            "$and" : [
                                                {
                                                    "LifeTime" : {
                                                        "$eq" : 0
                                                    }
                                                },
                                                {
                                                    "Extension" : {
                                                        "$in" : [
                                                            "chrome_0",
                                                            "firefox_0"
                                                        ]
                                                    }
                                                }
                                            ]
                                        },
                                        {
                                            "LifeTime" : {
                                                "$gt" : 1000
                                            }
                                        }
                                    ]
                                },
                                {
                                    "VisitTime" : {
                                        "$lte" : "2015-07-25T18:30:00Z"
                                    }
                                },
                                {
                                    "AccountId" : {
                                        "$eq" : "accID"
                                    }
                                },
                                {
                                    "VisitTime" : {
                                        "$gte" : "2014-07-25T18:30:00Z"
                                    }
                                }
                            ]
                        },
                        "inputStage" : {
                            "stage" : "IXSCAN",
                            "keyPattern" : {
                                "Host" : -1,
                                "SiteType" : -1
                            },
                            "indexName" : "主机\ 1 \站点类型\ 1",
                            "isMultiKey" : false,
                            "direction" : "forward",
                            "indexBounds" : {
                                "Host" : [
                                    "[MaxKey, \"localhost\")",
                                    "(\"localhost\", MinKey]"
                                ],
                                "SiteType" : [
                                    "[MaxKey, MinKey]"
                                ]
                            }
                        }
                    },
                    "rejectedPlans" : [
                        {
                            "stage" : "FETCH",
                            "filter" : {
                                "$and" : [
                                    {
                                        "SiteType" : {
                                            "$exists" : true
                                        }
                                    },
                                    {
                                        "$or" : [
                                            {
                                                "$and" : [
                                                    {
                                                        "LifeTime" : {
                                                            "$eq" : 0
                                                        }
                                                    },
                                                    {
                                                        "Extension" : {
                                                            "$in" : [
                                                                "chrome_0",
                                                                "firefox_0"
                                                            ]
                                                        }
                                                    }
                                                ]
                                            },
                                            {
                                                "LifeTime" : {
                                                    "$gt" : 1000
                                                }
                                            }
                                        ]
                                    }
                                ]
                            },
                            "inputStage" : {
                                "stage" : "IXSCAN",
                                "keyPattern" : {
                                    "VisitTime" : -1,
                                    "AccountId" : -1,
                                    "Host" : -1,
                                    "SiteType" : -1,
                                    "Extension" : -1,
                                    "LifeTime" : -1
                                },
                                "indexName" : "访问时间\ 1 \帐户ID \ 1 \主机\ 1 \站点类型\ 1 \扩展\ 1 \生命周期\ 1",
                                "isMultiKey" : false,
                                "direction" : "forward",
                                "indexBounds" : {
                                    "VisitTime" : [
                                        "[new Date(1437849000000), new Date(1406313000000)]"
                                    ],
                                    "AccountId" : [
                                        "[\"accID\", \"accID\"]"
                                    ],
                                    "Host" : [
                                        "[MaxKey, \"localhost\")",
                                        "(\"localhost\", MinKey]"
                                    ],
                                    "SiteType" : [
                                        "[MaxKey, MinKey]"
                                    ],
                                    "Extension" : [
                                        "[MaxKey, MinKey]"
                                    ],
                                    "LifeTime" : [
                                        "[MaxKey, MinKey]"
                                    ]
                                }
                            }
                        }
                    ]
                }
            }
        },
        {
            "$group" : {
                "_id" : "$Host",
                "Count" : {
                    "$sum" : {
                        "$const" : 1
                    }
                }
            }
        },
        {
            "$sort" : {
                "sortKey" : {
                    "Count" : -1
                },
                "limit" : 5
            }
        },
        {
            "$project" : {
                "_id" : false,
                "Host" : "$_id",
                "TotalVisit" : "$Count"
            }
        }
    ],
    "ok" : 1
}

推荐答案

索引定义可能非常主观,而不是你只是漫不经心地说"索引这些东西",然后期待最好的结果.实际上,它需要对其应用的搜索过程进行一些思考.

这里的查询似乎由这些主要元素组成,它们主要是"Account"和"life"值.当然,这里还有其他一些东西,比如"VisitTime",但以旧的图书馆和卡片索引为例,考虑一下这个过程.

因此,当你走进图书馆大门时,你会看到两个卡片索引系统:

  1. 包含图书馆中的书的作者日期,允许你根据日期 Select 指向书的卡片

  2. 包含书籍作者的姓名以及图书馆中的位置.

现在,考虑到你知道你想寻找一位作者在过go 10年里写的书,那么你会 Select 哪个索引系统?那么,你是否会浏览10年的日期,寻找其中包含的作者?还是你宁愿先看看作者,然后缩小范围,看看过go 10年里写了哪些书?

在过go 的10年里,很可能只有一位作者提供了更多的内容.因此,2是更好的 Select ,因为一旦你拥有了该作者的所有书籍,那么在10年内通过卡片找到这些书籍应该是一个小得多的任务.

这就是为什么索引中键的顺序对所使用的查询模式很重要.显然,"账户"应该是缩小 Select 范围的最大因素,然后是其他细节,以帮助进一步缩小范围.

任何把"访问时间"放在这之前的事情,都意味着在你真正得到你需要的东西之前,你需要筛选所有在这段时间内你可能不想要的东西.

排序很重要,您需要始终考虑索引设计.

Mongodb相关问答推荐

用其他集合中的文档替换嵌套文档数组中的值

如何获取键值对的对象,其中值仅具有 mongoDB 中的投影字段

MongoDB 聚合 $match 阶段与条件查询

根据条件删除一些数组元素并将数组的大小更新为mongo中的另一个文件

有没有办法从另一条记录中插入一条记录

如何在 mongodb golang 的单个更新调用中使用 $set 和 $inc?

用Golang减go mongodb中的两个字段

_id 和 $oid 的区别; mongo 数据库中的 $date 和 IsoDate

是否可以迭代 mongo 游标两次?

Java MongoDB FindOne 获取最后插入的记录

Stripe:必须提供来源或客户

MongoDB 的 BinData(0, "e8MEnzZoFyMmD7WSHdNrFJyEk8M=") 中的0是什么意思?

Mongo 可尾游标与 Redis 发布/订阅

使用 Mongoid 和 Ruby 查询最近 30 天的日期范围?

如何在 Rails 中混合使用 mongodb 和传统数据库?

在 MongoDB 中插入或更新许多文档

MongoDB如何判断是否存在

MongoDB 中的多个 $inc 更新

无法连接到远程服务器上的 mongo

如何在 Mongoid 中引用嵌入的文档?