Articles of wget

如何wget更新的目录文件

我想编写一个bash脚本来下载和安装最新的每日编译程序(RStudio)。 是否有可能让wget只下载目录中的最新文件http://www.rstudio.org/download/daily/desktop/ ?

如何避免使用GNU并行的Bash脚本中的SIGCHLD错误

我正在循环运行script.sh。 该脚本包含一个并行的wget命令。 我收到以下错误: Signal SIGCHLD received, but no signal handler set. 循环如下所示: for i in {1..5}; do /script.sh; done 而导致错误的行看起来像这样(省略选项和设置): cat file.txt | parallel -j15 wget 研究: 我不是GNU并行的专家,但脚本似乎大部分时间工作正常,除非我得到上述错误。 在查看SIGCHLD时,我了解到并行可以创build“僵尸进程”,有时我们需要“收获”这些进程。 此外,我发现你可以杀死进程,因为有时他们可以占用所有可用的连接。 试图理解: 但是,我不知道是什么原因造成的问题。 这是我的平行吗? 我不是“收获”过程吗? 我应该明确杀死进程吗? 是因为我在一个循环中运行一个并行脚本? 我的问题: 我该如何解决SIGCHLD错误? 如果你有这方面的经验,非常感谢你的洞察力。

从github下载tarball而不curl

我有一个embedded式系统,我不能安装任何东西,唯一的工具,我可能用来获取的东西是wget。 事实certificate,你不能用wget做同样的事情,你可以用curl来做。 我也不能交叉编译这个系统,所以我需要求助于Python或shell脚本。 有一个名为Dulwich的git的纯Python实现实际上有一些我需要交叉编译的C代码…所以我甚至用这个方法来看看这个,FYI。 我需要的是从github仓库获取代码,显而易见的解决scheme是使用他们提供的tarball。 我通常复制链接从存储库页面下载zipbutton,并使用授权令牌,而不是用户名和密码。 它的工作原理很简单,就像这样: curl -L https://<token>@github.com/<org|user>/<repo>/archive/master.tar.gz | tar xz 事实certificate,wget是更尴尬,无论我尝试只是工作。

wget:不要遵循redirect

如何防止wget跟踪redirect?

如何使用curl或wget将文件下载到目录中?

我知道我可以使用以下2个命令来下载文件: curl -O example.com/file.zip wget example.com/file.zip 但我希望他们进入一个特定的目录。 所以我可以做到以下几点: curl -o mydir/file.zip example.com/file.zip wget -O mydir/file.zip example.com/file.zip 有没有办法不必指定文件名? 像这样的东西: curl -dir mydir example.com/file.zip

在Linux服务器上保存完整网页的最佳方法是什么?

我需要在我的Linux服务器上存档完整的页面,包括任何链接的图像等。 寻找最佳解决scheme。 有没有办法保存所有的资产,然后重新链接所有的工作在同一个目录? 我想过使用curl,但我不确定如何做到这一切。 另外,我可能需要PHP的DOM? 有没有办法在服务器上使用Firefox,并在地址加载或类似之后复制临时文件? 任何和所有的input欢迎。 编辑: 看起来好像wget是'不'工作的文件需要被渲染。 我有服务器上安装的Firefox,有没有办法加载在Firefox中的URL,然后抓住临时文件,并清除后的临时文件?

无法通过variables内部的引号传递wgetvariables

我想编写一个wget命令来下载一个网页,所有的附件和jpeg等 当我手动input脚本的时候,它是有效的,但是我需要运行这个35000次来存档一个不受我控制(国际公司政治,但我是数据所有者)的旧网站。 我的问题一直在变化会话参数。 我的脚本到目前为止如下: cnt=35209 # initialise the headers general_settings='-4 -P xyz –restrict-file-names=windows -nc –limit-rate=250k' html_page_specific='–convert-links –html-extension' proxy='–proxy-user=xxxxxx –proxy-password=yyyyyyy' session="–header=\'Host: mywebsite.com:9090\' –header=\'User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:20.0) Gecko/20100101 Firefox/20.0\'" address=http://mywebsite.com:9090/browse/item-$cnt echo $general_settings $proxy $session $cookie $address echo echo echo Getting item-$cnt… #while [ $cnt -gt 0 ] #do # # get the page wget –debug […]

向Wget发送请求?

我想使用wget将图片上传到远程服务器,使用身份validation令牌:“AUTH_1624582364932749DFHDD”到“testing”文件夹。 此命令不起作用(授权失败),我想确保它不是关于语法: wget –post-file=nature.jpg http://ipadress:8080/v1/AUTH_test/test/ –post-data="AUTH_1624582364932749DFHDD" 有什么build议么 ?

如何使用cURL从GitHub下载tarball?

我正在尝试使用cURL从GitHub下载tarball,但似乎没有redirect: $ curl –insecure https://github.com/pinard/Pymacs/tarball/v0.24-beta2 <html><body>You are being <a href="https://nodeload.github.com/pinard/Pymacs/tarball/v0.24-beta2">redirected</a>.</body></html> 注意:wget适合我: $ wget –no-check-certificate https://github.com/pinard/Pymacs/tarball/v0.24-beta2 但是我想使用cURL,因为最终我想用类似下面的内容来解压缩它: $ curl –insecure https://github.com/pinard/Pymacs/tarball/v0.24-beta2 | tar zx 我发现redirect后的URL竟然是https://download.github.com/pinard-Pymacs-v0.24-beta1-0-gcebc80b.tar.gz ,但我希望cURL足够聪明这个出来了。

使用WGET运行cronjob PHP

我试图做一个cron,每5分钟运行一次url。 我试图使用WGET,但是我不想在服务器上下载文件,我只想运行它。 这是我用的(crontab): */5 * * * * wget http://www.example.com/cronit.php 是否有任何其他命令使用以外的wget只是运行的url,而不是downlaod它?