无涯教程网

Mongodb Hadoop MapReduce 与内置 MapReduce

发布于02月15日

使用Hadoop map/reduce和Mongo的内置map/reduce在MongoDB上进行map/reduce工作的关键区别是什么？

我什么时候 Select 哪个 map /缩小引擎？每个引擎处理存储在mongodb中的数据的优缺点是什么？

推荐答案

我的答案基于Hadoop MR的知识和经验以及Mongo DB MR的学习.

Hadoop的MR可以用Java编写，而MongoDB是用JavaScript编写的
Hadoop的MR能够利用所有内核，而MongoDB是单线程的
Hadoop MR不会与数据并置，而Mongo DB将与数据并置
Hadoop MR有数百万个引擎/小时，可以处理大量输出、数据倾斜等情况
在Hadoop MR引擎的基础上构建了Pig、Hive和级联等更高级别的框架
Hadoop MR是主流，有很多社区支持

从上面我可以提出以下 Select 标准:

如果要做复杂的、计算密集的MR工作(例如一些回归计算)，请 Select hadoop MR.map和reduce之间有大量或不可预测的数据，这也意味着Hadoop先生.

Java是一种更强大的语言，有更多的库，尤其是统计库.应该考虑到这一点.

Mongodb相关问答推荐

没有文档的MongoDB集合中的不一致，但当我执行count()时，它告诉我有15个文档

Mongo 聚合查找 $gte 6 个月前的日期，以DD-MM-YYYY格式存储为字符串

使用mongo'db.Decode(&dto)映射一个嵌套的 struct

Mongoose 聚合和多级组

MongoDB 按 created_at 月聚合

如何使用指南针连接到 mongodb replicaset (k8s)

如何在 mongodb golang 的单个更新调用中使用 $set 和 $inc？

CouchDB 或 MongoDB 中的哪一个适合我的需求？

如何使用python将csv数据推送到mongodb

mongodb 模式设计命名约定

将 mongoose 字符串模式类型默认值设为空白并使该字段可选

mongoose递归填充

使用 MongoDB 更新数组字段内的特定键/值

在 mongodb 的一次更新调用中推送到两个单独的数组

MongoDB聚合排序不起作用

REACT 获取发布请求

try 启用 Mongo DB 身份验证时发生 TypeError

我可以只获取 Cursor 对象(pymongo)中的第一项吗？

Meteor 发布/订阅独特客户端集合的策略

MongoDB Compass：select distinct field values

实用课程推荐

相关教程推荐