获取HDFS中的最新更新文件

我想从我的一个HDFS目录中获取最新的更新文件。 代码应该基本上循环通过目录和子目录,并获取最新的文件path与文件名。我能够得到本地文件系统中的最新文件,但不知道如何做HDFS之一。

find /tmp/sdsa -type f -print0 | xargs -0 stat --format '%Y :%y %n' | sort -nr | cut -d: -f2- | head

以上代码适用于本地文件系统。 我可以从HDFS获取date,时间和文件名,但是如何使用这3个参数获取最新的文件?

这是我试过的代码:

hadoop fs -ls -R /tmp/apps | awk -F" " '{print $6" "$7" "$8}'

任何帮助将不胜感激。

提前致谢。

这个为我工作:

hadoop fs -ls -R /tmp/app | awk -F" " '{print $6" "$7" "$8}' | sort -nr | head -1 | cut -d" " -f3

输出是整个文件路径。

这里是命令:

 hadoop fs -ls -R /user| awk -F" " '{print $6" "$7" "$8}'|sort -nr|head|cut -d" " -f3- 

你自己的脚本就足够好了。 Hadoop以YYYY-MM-DD HH24:MI:SS格式返回日期,因此您可以按字母顺序对其进行排序。