Articles of mapreduce

程序的hadoop启动错误:PriviledgedActionException

我写了下面的程序 using namespace std; #include "hadoop/Pipes.hh" #include "hadoop/TemplateFactory.hh" #include "hadoop/StringUtils.hh" #include "libpq-fe.h" extern "C" { #include "traverser.h" } class IndexMap:public HadoopPipes::Mapper { public: IndexMap(HadoopPipes::TaskContext & context) { } void map(HadoopPipes::MapContext & context) { std::vector<std::string> paths = HadoopUtils::splitString(context.getInputValue(), "rn"); unsigned int k = 4; unsigned int l = 0; string concatpaths[k]; if (paths.size() % k == […]

如何使用命令行在Linux下使用Java构buildOpenCV(要在MapReduce中使用它)

最近我正在为我的gradle作品尝试OpenCV。 我在Windows环境下取得了一些成功。 而且,由于OpenCV的Windows包含了预构build的库,所以我不必担心如何构build它们。 但是因为这个项目是假设在CentOS上作为每个节点的主机操作系统运行,所以我必须知道如何在Linux环境下正确编译和运行这些库。 我已经用VirtualBox设置了一个虚拟机,并安装了Ubuntu 13.04。 但到目前为止,我仍然无法find一种方法来调整CMakeList的设置,使Java成为构build目标。 (一个jar子和一个本地库,所以我可以在MapReduce程序中导入和使用它们)以下是OpenCV的桌面Java官方教程 http://docs.opencv.org/doc/tutorials/introduction/desktop_java/java_dev_intro.html 关于编译的部分非常简短。 所以我还是不太明白。 是因为我错过了Java的一些依赖吗? 我已经安装了JVM(Jre-7u7)。 或者是因为我没有正确configurationCMakeList.txt? 这是我迄今为止所做的事情,除了这是一个完整的干净的Ubuntu 安装vim 安装了g ++ 安装cmake 安装了cmake-curses-gui 安装了java7的JVM 下载适用于Linux的OpenCV软件包 目标环境是CentOS作为每个节点的主机操作系统,该项目是一个MapReduce程序。 提前致谢。

Windows服务器上的Hadoop

我正在考虑使用hadoop处理现有的Windows 2003服务器上的大型文本文件(大约10个四核心16GB的RAM) 问题是: 有没有什么好的教程如何在Windows上configurationhadoop集群? 有什么要求? java + cygwin + sshd? 还要别的吗? HDFS,它在Windows上播放不错吗? 我想在stream模式下使用hadoop。 任何build议,工具或技巧来开发我自己的映射器/减速器在C#? 你用什么来提交和监督工作? 谢谢

在windows下hadoop启动tasktracker的问题

我想在Windows下使用hadoop,当我想启动tasktracker时遇到问题。 例如: $bin/start-all.sh 那么日志写道: 2011-06-08 16:32:18,157 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: /tmp/hadoop-Administrator/mapred/local/taskTracker to 0755 at org.apache.hadoop.fs.RawLocalFileSystem.checkReturnValue(RawLocalFileSystem.java:525) at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:507) at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:318) at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:183) at org.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:630) at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:1328) at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3430) 有什么问题? 我该如何解决这个问题? 谢谢!

在Windows上运行没有Admin权限的Hadoop MR作业

我在窗口中安装了Hadoop 2.3.0,能够成功执行MR作业。 但是,当我试图以正常的权限(没有pipe理员权限)执行MR作业时,意味着作业失败,出现以下exception。 在这里,我试着用猪脚本样本。 2014-10-15 12:02:32,822 WARN [main] org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:kaveen (auth:SIMPLE) cause:java.io.IOException: Split class org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigSplit not found 2014-10-15 12:02:32,823 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.io.IOException: Split class org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigSplit not found at org.apache.hadoop.mapred.MapTask.getSplitDetails(MapTask.java:362) at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:403) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:342) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163) Caused by: java.lang.ClassNotFoundException: Class org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigSplit […]