我试试看.js与mongodb(2.2.2)一起使用本机 node .js drive by 10gen.
起初一切都很顺利.但在并发基准测试部分,出现了很多错误.频繁连接/关闭1000次并发可能会导致mongodb拒绝任何进一步的请求,错误如下:
Error: failed to connect to [localhost:27017]
Error: Could not locate any valid servers in initial seed list
Error: no primary server found in set
此外,如果很多客户端在没有显式关闭的情况下关闭,mongodb需要几分钟来检测并关闭它们.这也会导致类似的连接问题.(使用/var/log/mongodb/mongodb.log判断连接状态)
我试了很多.根据手册,mongodb没有连接限制,但poolSize选项似乎对我没有影响.
由于我只在node mongodb本机模块中使用过它,所以我不太确定最终是什么导致了这个问题.其他语言和驱动程序的性能如何?
PS:目前,使用自维护池是我想出的唯一解决方案,但使用它不能解决副本集的问题.根据我的测试,副本集似乎比独立的mongodb占用更少的连接.但我不知道为什么会这样.
并发测试代码:
var MongoClient = require('mongodb').MongoClient;
var uri = "mongodb://192.168.0.123:27017,192.168.0.124:27017/test";
for (var i = 0; i < 1000; i++) {
MongoClient.connect(uri, {
server: {
socketOptions: {
connectTimeoutMS: 3000
}
},
}, function (err, db) {
if (err) {
console.log('error: ', err);
} else {
var col = db.collection('test');
col.insert({abc:1}, function (err, result) {
if (err) {
console.log('insert error: ', err);
} else {
console.log('success: ', result);
}
db.close()
})
}
})
}
通用池解决方案:
var MongoClient = require('mongodb').MongoClient;
var poolModule = require('generic-pool');
var uri = "mongodb://localhost/test";
var read_pool = poolModule.Pool({
name : 'redis_offer_payment_reader',
create : function(callback) {
MongoClient.connect(uri, {}, function (err, db) {
if (err) {
callback(err);
} else {
callback(null, db);
}
});
},
destroy : function(client) { client.close(); },
max : 400,
// optional. if you set this, make sure to drain() (see step 3)
min : 200,
// specifies how long a resource can stay idle in pool before being removed
idleTimeoutMillis : 30000,
// if true, logs via console.log - can also be a function
log : false
});
var size = [];
for (var i = 0; i < 100000; i++) {
size.push(i);
}
size.forEach(function () {
read_pool.acquire(function (err, db) {
if (err) {
console.log('error: ', err);
} else {
var col = db.collection('test');
col.insert({abc:1}, function (err, result) {
if (err) {
console.log('insert error: ', err);
} else {
//console.log('success: ', result);
}
read_pool.release(db);
})
}
})
})