想去吃肯德基不知道在哪 肯德基在哪里啊

分页数据的爬取操作

爬取肯德基的餐厅位置数据

url:http://www.kfc.com.cn/kfccda/storelist/index.aspx

分析:

在录入关键字的文本框中录入关键字按下搜索按钮，发起的是一个ajax请求

• 当前页面刷新出来的位置信息一定是通过ajax请求 请求到的数据

基于抓包工具定位到该ajax请求的数据包，从该数据包中捕获到：

• 请求的url
• 请求的方式
• 请求携带的参数
• 看到响应的数据

爬取的第一页的数据

url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword' data = { 'cname': '', 'pid': '', 'keyword': '北京', 'pageIndex': '1', 'pageSize': '10' } # data 参数是post方法中处理参数动态化的参数 response = requests.post(url=url, data=data, headers=headers) page_text = response.json() for dic in page_text['Table1']: title = dic['storeName'] addr = dic['addressDetail'] print(title, addr)

结果如下：

爬取多页

爬取多页直接用 for 循环，一共10页，循环10次

for page in range(1, 11): url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword' data = { 'cname': '', 'pid': '', 'keyword': '北京', 'pageIndex': str(page), 'pageSize': '10' } # data 参数是post方法中处理参数动态化的参数 response = requests.post(url=url, data=data, headers=headers) page_text = response.json() for dic in page_text['Table1']: title = dic['storeName'] addr = dic['addressDetail'] print(title, addr)

一次性就把所有地址数据全部爬出来了

关注 Python涛哥，学习更多Python知识！