Category: IT

最近找到一个免费的代理，他们把连接参数放在网页上，两天一改，每次开电脑都要检查一下数据是否有更新，然后再改写文件，步骤比较麻烦，想到前几天看过一本python的书，于是用python写个一个抓取网页数据的小程序，万万没想到几条代码就能实现，终于知道为什么网上流传这“python大法好”、“人生苦短，我用python”此类的话了。

写这个程序之前啊，首先要安装python的pyquery库

yum install python-pyquery

这里以获取ZOL手机周榜为例子，附上的代码

#coding=utf-8
import pyquery,sys #调用模块
reload(sys) #虽然不知到为什么要重载SYS模块，但不这样不行
sys.setdefaultencoding('utf-8') #设置默认字符编码
web = pyquery.PyQuery(url='http://detail.zol.com.cn/cell_phone_index/subcate57_0_list_1_0_8_1_0_1.html') #抓取页面
web_content = web.find('body') #获取页面标签的内容
web_content_cov = web_content.text() #页面转文本
phone_list_num = web_content_cov.find('本周') #获取本周第一次出现的位置
print web_content_cov[phone_list_num:phone_list_num+266] #截取字符串

写到文件的话

writefile = open('/home/XXXXX/Documents/phone.txt','w') #写入模式打开文本文件
writefile.write(web_content_cov[phone_list_num:phone_list_num+266]) #写入字符串，简单的不能再简单