如何访问Hadoop HDFS中的文件?

我在我的Hadoop HDFS中有一个.jar文件(包含一个我想要修改的Java项目),我想在Eclipse中打开它。

当我键入hdfs dfs -ls /user/...我可以看到.jar文件存在 – 但是,当我打开Eclipse并尝试导入它时,我似乎无法在任何地方find它。 我在我的文件系统中看到一个hadoop / hdfs文件夹,它将我带到2个文件夹; namenode和namesecondary – 这些都没有我正在寻找的文件。

有任何想法吗? 我一直坚持这一点。 在此先感谢您的帮助。

Solutions Collecting From Web of "如何访问Hadoop HDFS中的文件?"

由于HDFS是虚拟存储,因此跨越群集,因此只能看到文件系统中的元数据,不能看到实际的数据。

尝试从HDFS下载jar文件到你的本地文件系统,并进行必要的修改。

使用其Web UI访问HDFS。 打开你的浏览器并输入localhost:50070你可以看到HDFS的Web UI移动到工具栏的右边,点击浏览文件系统,你可以看到你的HDFS文件列表。

按照以下步骤将文件下载到本地文件系统。

 Open Browser-->localhost:50070-->Utilities-->Browse the file system-->Open your required file directory-->Click on the file(a pop up will open)-->Click on download 

该文件将被下载到您的本地文件系统,您可以进行所需的修改。

HDFS文件系统和本地文件系统都是不同的。

您可以使用以下命令将jar文件从hdfs文件系统复制到本地文件系统中的首选位置:

 bin/hadoop fs -copyToLocal locationOfFileInHDFS locationWhereYouWantToCopyFileInYourFileSystem 

例如

 bin/hadoop fs -copyToLocal file.jar /home/user/file.jar 

我希望这可以帮助你。

1)从HDFS获取文件到本地系统

bin / hadoop fs -get / hdfs / source / path / localfs / destination / path

2)你可以这样管理它:

新Java项目 – > Java设置 – >源 – >链接源(源文件夹)。

您不能直接将HDFS中存在的文件导入到Eclipse中。 首先,您必须将文件从HDFS移到本地驱动器,然后只有您可以在任何实用程序中使用它。

fs -copyToLocal hdfsLocation localDirectoryPath

您可以将插件安装到可以浏览HDFS的Eclipse:

http://hdt.incubator.apache.org

要么

您可以通过保险丝安装HDFS:

https://wiki.apache.org/hadoop/MountableHDFS