Python爬虫之爬百度美女图片

本文将详细介绍如何使用Python爬虫来从百度上爬取美女图片。

一、获取页面链接

首先，我们需要通过网页爬虫获取到百度美女图片的页面链接。可以使用Python的requests库发送HTTP请求，获取网页的HTML源码。

import requests url = 'https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=index&' res = requests.get(url) html = res.text

通过以上代码，我们就可以得到百度美女图片的页面HTML源码。

二、解析页面并提取图片链接

接下来，我们需要对页面HTML源码进行解析，提取出图片的链接。

import re pattern = re.compile('{"thumbURL":"(.*?)",') image_urls = re.findall(pattern, html)

通过正则表达式，我们可以将页面中的图片链接提取出来。以上代码将所有图片的链接存储在列表image_urls中。

三、下载图片

最后一步是将图片下载到本地。

import os save_dir = './images' if not os.path.exists(save_dir): os.mkdir(save_dir) for i, url in enumerate(image_urls): res = requests.get(url) with open(os.path.join(save_dir, f'image_{i+1}.jpg'), 'wb') as f: f.write(res.content)

以上代码创建一个名为images的文件夹，并将所有图片下载到该文件夹中。