Pyquery获取网页数据的一个小例子

最近找到一个免费的代理,他们把连接参数放在网页上,两天一改,每次开电脑都要检查一下数据是否有更新,然后再改写文件,步骤比较麻烦,想到前几天看过一本python的书,于是用python写个一个抓取网页数据的小程序,万万没想到几条代码就能实现,终于知道为什么网上流传这“python大法好”、“人生苦短,我用python”此类的话了。
Pyquery获取网页数据的一个小例子 - 1
写这个程序之前啊,首先要安装python的pyquery库

yum install python-pyquery

这里以获取ZOL手机周榜为例子,附上的代码

#coding=utf-8
import pyquery,sys #调用模块
reload(sys) #虽然不知到为什么要重载SYS模块,但不这样不行
sys.setdefaultencoding('utf-8') #设置默认字符编码
web = pyquery.PyQuery(url='http://detail.zol.com.cn/cell_phone_index/subcate57_0_list_1_0_8_1_0_1.html') #抓取页面
web_content = web.find('body') #获取页面标签的内容
web_content_cov = web_content.text() #页面转文本
phone_list_num = web_content_cov.find('本周') #获取本周第一次出现的位置
print web_content_cov[phone_list_num:phone_list_num+266] #截取字符串

写到文件的话

writefile = open('/home/XXXXX/Documents/phone.txt','w') #写入模式打开文本文件
writefile.write(web_content_cov[phone_list_num:phone_list_num+266]) #写入字符串,简单的不能再简单

20 thoughts on “Pyquery获取网页数据的一个小例子”

Leave a Reply

Your email address will not be published. Required fields are marked *