我可以使用Watir从没有监视器的Linux服务器上的网站上刮取数据吗?

我可以使用Watir从网站(使用AJAX),但在没有监视器的Linux服务器上抓取数据? (linode.com)?

Solutions Collecting From Web of "我可以使用Watir从没有监视器的Linux服务器上的网站上刮取数据吗?"

做这件事有很多种方法:

  1. 使用HtmlUnit , Celerity或watir-webdriver (通过远程seleniumium2 / WebDriver服务器 )。

  2. 使用真正的浏览器+虚拟X服务器(Xvfb)。 我建议使用watir-webdriver的Firefox驱动程序和一个简单的方法来从Ruby控制这个无头的宝石。

这基本上是速度和现实之间的折衷。 就个人而言,如果网站有任何复杂的JavaScript或无效的HTML,我会去#2,但这两种方法可能值得调查。

对于未来,我正在关注这个项目 ,这看起来像一个了不起的想法。