Eclipse上的Windows和远程集群上的Hadoop

有人可以解释一下如何在远程机器上设置Hadoop的开发环境。 大多数在线教程似乎都集中在本地模式或伪分布式模式,这涉及在本地或通过cygwin安装hadoop。 我想避免这一点。 理想情况下,我希望通过eclipse将代码推送到远程群集,而无需在本地计算机上运行hadoop。

我已经有一个群集,可以通过Eclipse – Hadoop插件访问文件系统,但是如何向远程群集提交作业? eclipse插件中的参数应该改变吗? (我正确设置namenode,作业跟踪器的位置,但高级configuration显示datanode目录,datanode位置和许多其他设置)。

谢谢

如果原因是远离Cygwin并使用本机工具,我的解决方案是创建一个虚拟机与台式版本的centos6.6安装HDP2.2通过ambari作为单个节点实例和桌面上的所有本地开发工具。 一旦我的代码开发出来,我有一个部署脚本,将我的代码推送到在CLI中执行的集群。 通常通过NAT或类似的方式保证连接,因此可以在全屏模式下相对不受限制地在工作计算机上使用。

有一个本地的centos VM意味着我写的所有代码都是在与集群完全相同的OS和HDP版本上开发的。 这也意味着我在使用CLI时不必处理服务器延迟(这是令人麻木的)。