本文介绍了如何在Python环境中安装Scrapy框架，包括下载并安装Twisted异步模块，验证安装成功的步骤。接着讲解了如何创建一个Scrapy工程，包括创建爬虫文件和运行爬虫的基本操作。
前言
为什么要学习scrapy框架？框架是一个集成了很多功能，并且具有很强通用性的一个项目模板。
scrapy框架就具有许多强大的功能，例如高性能的持久化存储操作，异步的数据下载操作，高性能的数据解析操作，还有分布式操作等等。
总而言之，学习scrapy框架能让我们更加高效率的进行爬虫工作。
一. scrapy框架环境安装
- 下载twisted异步模块下载：
找对应的Python版本号下载，后面又64位和32位的选择
下载完解压到桌面
win+r
先cd desktop
输入以下内容
pip install Twisted-20.3.0-cp38-cp38-win_amd64.whl
后面是你下载的文件名
2. 依次安装模块
pip install wheel
pip install pywin32
pip install scrapy
安装完后输入 scrapy 显示下图表示安装成功
二. 创建一个scrapy工程
- 创建一个scrapy工程
scrapy startproject 项目名
- 创建一个爬虫文件
scrapy genspider 爬虫文件名 域名
- 运行一个爬虫
scrapy crawl 爬虫名
spiders内是新建的爬虫文件
扫一扫
8699
到【灌水乐园】发言
