Python爬取百度新闻

在本文中，我们将详细介绍如何使用Python来爬取百度新闻。我们将从多个方面来阐述这个过程，并提供相应的代码示例。

一、爬取网页内容

首先，我们需要使用Python的第三方库来实现网页内容的爬取。其中，比较常用的库有requests和BeautifulSoup。

首先，我们使用requests库发送HTTP请求，并获取网页的内容。示例代码如下：

import requests url = 'http://news.baidu.com/' response = requests.get(url) html = response.text print(html)

以上代码中，我们使用了requests库发送了一个GET请求，并通过response.text属性获取了网页的HTML内容。

接下来，我们可以使用BeautifulSoup库将获取到的HTML内容进行解析，并提取所需的信息。示例代码如下：

from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'html.parser') news_list = soup.find_all('a', class_='f-title') for news in news_list: print(news.get('href')) print(news.get_text())

以上代码中，我们使用BeautifulSoup库解析了HTML内容，并通过find_all方法找到了所有class为"f-title"的a标签，然后通过get方法获取了链接和标题。

二、解析新闻内容

在上一步中，我们已经获取到了新闻的链接和标题。接下来，我们需要进一步解析新闻的内容。

首先，我们可以使用前面提到的requests库，发送新闻链接的HTTP请求，获取新闻详细内容的HTML。示例代码如下：

news_url = 'http://news.baidu.com/some_news_url' news_response = requests.get(news_url) news_html = news_response.text print(news_html)

然后，我们可以使用BeautifulSoup库解析新闻的HTML内容，提取新闻的正文内容。示例代码如下：

news_soup = BeautifulSoup(news_html, 'html.parser') news_content = news_soup.find('div', class_='news-content') print(news_content.get_text())

以上代码中，我们假设新闻内容所在的标签的class属性为"news-content"，通过find方法找到该标签，并通过get_text方法获取标签内的文本内容。

三、数据保存与处理

在前两步中，我们已经获取到了新闻的链接、标题和内容。接下来，我们可以将这些数据保存到本地文件或数据库中，或者进行进一步的数据处理。

一种常见的保存数据的方式是将数据写入到CSV文件中。示例代码如下：

import csv data = [['链接', '标题', '内容'], ['http://news.baidu.com/some_news_url', '新闻标题1', '新闻内容1'], ['http://news.baidu.com/some_news_url', '新闻标题2', '新闻内容2'], ['http://news.baidu.com/some_news_url', '新闻标题3', '新闻内容3']] with open('news.csv', 'w', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerows(data)

以上代码中，我们首先定义了一个二维列表data，包含了新闻的链接、标题和内容。然后使用csv库将数据写入到名为news.csv的文件中。

除了保存数据，我们还可以对数据进行进一步的处理和分析。例如，可以使用自然语言处理的方法对新闻的标题和内容进行关键词提取、情感分析等。