як зрабіць Riak mapred запыт, які мае мноства функцый на карце

Я хачу, каб выканаць запыт MapReduce, у Эрл, які змяшчае дзве фазы карты такім чынам, што функцыя map2 прымае вынік функцыі Map1 ў якасці ўваходных дадзеных. Ці можна і калі, што павінна быць вяртаецца значэнне кожнай фазы карты

  • Для атрымання больш падрабязнай інфармацыі:

Я запусціў тэставы mapred запыт з выкарыстаннем двух простых функцый карты, кожная з якіх вяртае аб'ект ўводу (у спісе). але бегчы запыт я атрымліваю памылку badmatch

Map1 = fun(O,_,_) -> [O] end.
Map2 = fun(O, _,_) -> [O] end.


C:mapred_bucket(<<"b7bc1418-198d-44a3-8835-8aa9cb416d5b">>, [{map, {qfun, Map1}, none, false}, {map, {qfun, Map2}, none, true}]).

{{badmatch,{r_object,<<"b7bc1418-198d-44a3-8835-8aa9cb416d5b">>,
                     <<255,230,193,167,254,7,246,64,154,190,36,236,32,232,189,
                       169,161,124,23,86>>,
                     [{r_content,{dict,2,16,16,8,80,48,
                                       {[],[],[],[],[],[],[],[],[],[],[],...},
                                       {{[],[],[],[],[],[],[],[],[],...}}},
                                 <<"12d33872-4c92-4da5-9d16-5036a8059253">>}],
                     [{<<5,215,86,61>>,{1,63487018636}}],
                     {dict,1,16,16,8,80,48,
                           {[],[],[],[],[],[],[],[],[],[],[],[],...},
                           {{[],[],[],[],[],[],[],[],[],[],...}}},
                     undefined}},
 [{riak_kv_map_phase,build_input,2},
  {riak_kv_map_phase,'-handle_input/3-lc$^0/1-0-',2},
  {riak_kv_map_phase,handle_input,3},
  {luke_phase,executing,2},
  {gen_fsm,handle_msg,7},
  {proc_lib,init_p_do_apply,3}]}

Я выкарыстоўваю riak_search-0.14.2

Эрланген R14B03 (ГЭР-5.8.4)

Дзякуй!

2

2 адказы

Я не ўпэўнены, што подпіс метады карт у Erlang, як я толькі зрабіў карту/паменшыць у Javascript, але я паспрабую дапамагчы.

Для таго, каб прыкаваць карту фаза, толькі апошняя функцыя карты павінна вяртаць спіс аб'ектаў у Riak. Усе астатнія функцыі карты над ім павінна вяртаць картэж, які змяшчае імя блока і ключ ад значэння, перададзенага ст.

У Javascript, я здзейсніў гэта так:

function map_function(value, keydata, arg) {
    //filtering stuff here
    if(arg.last) {
      data["key"] = value.key;
      return [data];
    }
    else {
      return [[value.bucket, value.key]];
    }
    //this is in the case the filter returns true; if the filter returns false, return an empty tuple
  }

Спадзяюся, што гэта дапамагае.

5
дададзена

You have to return {Bucket, Key} or {{Bucket, Key}, KeyData} from first map function.
Like this:

Map1 = fun(O,_,_) -> [{riak_object:bucket(O), riak_object:key(O)}] end.
Map2 = fun(O, _,_) -> [O] end.


C:mapred_bucket(<<"b7bc1418-198d-44a3-8835-8aa9cb416d5b">>, [{map, {qfun, Map1}, none, false}, {map, {qfun, Map2}, none, true}]).
4
дададзена