Python爬虫：使用Requests库获取网页内容

Python爬虫：使用Requests库获取网页内容

本文将介绍如何使用Python中的Requests库来获取网页内容。Requests是一个Python第三方库，它可以让你发送HTTP/1.1请求，并且可以自动设置Cookies和头文件（user-agent、referer等），支持国际化的URL和数据编码，具有良好的性能。

一、安装Requests库

使用Requests库前，我们需要先安装它。在命令行下执行以下命令：

pip install requests

二、使用Requests库获取网页内容

下面我们来演示如何使用Requests库来获取网页内容。

import requests

# 请求URL
url = 'https://www.baidu.com/'

# 发送GET请求
response = requests.get(url)

# 输出响应内容
print(response.text)

以上代码中，我们使用Requests库向百度首页发送了一个GET请求，并将响应内容保存到response变量中。最后，我们使用print函数输出响应内容。

三、设置请求头和请求参数

有些网站可能需要我们设置请求头或者请求参数才能获取到正确的响应内容。例如，某些网站需要我们设置User-Agent才能正常访问。

import requests

# 请求URL
url = 'https://www.example.com/'

# 请求头
headers = {
    'User-Agent': 'M