我想将一个网页保存到一个文件。 地址就像
http://propaccess.traviscad.org/clientdb/Property.aspx?prop_id=487319
我尝试了wget和curl，他们说'找不到匹配'。
我要做的是，我想写一个像下面这样的python脚本来保存许多类似的页面。
foreach prop_id in range(400000, 410000): cmd = 'wget http://propaccess.traviscad.org/clientdb/Property.aspx?prop_id={} > {}.txt'.format(prop_id, prop_id) os.system(cmd) 背景：我需要分析评估价值，为我的财产税抗议build立一个案例。 手动点击事物来收集样品太费时了！
最简单的方法是使用请求库。 首先，我们应该得到会话ID（在我们访问主页后，它将会在一个cookie中）。 然后，我们可以使用这些cookie下载页面（会话ID）。
import requests session = requests.Session() #Get session cookies (session ID) index_url = 'http://propaccess.traviscad.org/clientdb/?cid=1' index_request = session.get(index_url) session_cookies = index_request.cookies #Download pages for prop_id in range(400000, 410001): url = 'http://propaccess.traviscad.org/clientdb/Property.aspx?prop_id=%s' % prop_id r = session.get(url,cookies = session_cookies) print r.text #r.text contains page content
页面内容将在r.text 。