软件下载吧文章资讯

分类分类

MongoDB中MapReduce的使用方法详解

2024-03-08 08:50作者:下载吧

前言

玩过Hadoop的小伙伴对MapReduce应该不陌生,MapReduce的强大且灵活,它可以将一个大问题拆分为多个小问题,将各个小问题发送到不同的机器上去处理,所有的机器都完成计算后,再将计算结果合并为一个完整的解决方案,这就是所谓的分布式计算。本文我们就来看看MongoDB中MapReduce的使用。

打算用mongodb mapreduce之前一定要知道的事!!!

mapreduce其实是分批处理数据的,每一百次重新reduce处理,所以到reduce里的数据如果是101条,那就会分2次进入。

这导致的问题就是在reduce中 如果 初始化 var count = 0;在循环中 count ++,最后输出的是1???

避免都方法是,把数据存在返回的value里,这个value是会在循环进入reduce的时候重用的。在循环中 count += value.count就能把之前都100加上了!!!

还有如果只有一条数据,那它不会进入reduce,会直接返回。

下面是具体例子:

string map = @"
function() {
var view = this;
emit(view.activity, {pv: 1});
}";
string reduce = @" 
function(key, values) {
var result = {pv: 0};
values.forEach(function(value){ 
result.pv += value.pv;
});
return result;
}";
string finalize = @"
function(key, value){
return value;
}";
展开全部

相关文章

说两句网友评论
    我要跟贴
    取消