Node.js Nodejs 从链接数组中获取数据并保存到 mongodb

发布于03月25日

我需要从List Off链接中获取一些数据并保存到MongoDB.

这是我的链接数组，可以是3到10个链接.

const links = ['link1', 'link2', 'link3', 'link4']

我的要求是这样的:

async function fetchAll() {
    let i = 0;
    const results = await Promise.all(links
        .map(
            (url) => {
                return request({
                    uri: url,
                    method: 'GET',
                    json: true,
                }, function (error, response, body) {
                    if(!error) {
                        generateItems(body).then((dt) => {
                            saveItemsToDB(dt).then((rp) => {
                                i++
                                if (i === links.length) {
                                    console.log('last request')
                                }
                            })
                        })

                    } else {
                        i++;
                        console.log(i, ' error')
                    }
                })
            }
        ))
}

async function generateItems(response) {//parse response & generate data}
async function saveItemsToDB(items) {//saving data to mongodb}

我必须确保数据已保存到MongoDB中，然后运行下一个请求.

But the next request runing before the saveItemsToDB function finished个

推荐答案

将请求移动到返回Promise的单独函数(您应该迁移到axios/fetch,request现在已经弃用了一段时间)，然后调用每个函数并等待它完成async/await，然后移动到另一个并传递所需的数据(您也应该处理try/catch的错误):

const links = ['link1', 'link2', 'link3', 'link4']

async function fetchAll() {

    for (const [i, link] of Object.entries(links)) {

        console.log(+i+1 === links.length ? 'last' : '', 'request', +i+1, link);
        
        const body = await makeRequest(url).catch(err=>throw err);
        const dt = await generateItems(body).catch(err=>throw err);
        const rp = await saveItemsToDB(dt).catch(err=>throw err);

    }
}


function makeRequest(url) {
    // migrate to axios or fetch
    return new Promise((resolve, reject) => {
        request({
            uri: url,
            method: 'GET',
            json: true,
        }, function(error, response, body) {
            if (!error) {
                resolve(body);
            } else {
                reject(error);
                console.log(url, ' error')
            }
        })
    });
}
async function generateItems(response) { //parse response & generate data}
async function saveItemsToDB(items) { //saving data to mongodb}