怎样创建scrapy项目，怎样简单运行scrapy
scrapy是一种爬虫框架，今天小编我就来跟大家分享一下怎样创建scrapy项目以及运行scrapy项目的方法，这样让各位学习爬虫的小伙伴更好的练习
scrapy爬虫。
操作方法
- 01
准备工作当然是在vscode中进入命令行了，如图所示，小编我在vscode中进入了一个文件夹。
- 02
然后使用命令创建scrapy项目，当然，你要先搭建好scrapy框架，这样才可以使用scrapy命令哦，jy可变，代表scrapy项目名称。
- 03
之后，scrapy项目便会创建好了，这个spiders文件夹就是用来存放爬虫文件的哦。
- 04
而scrapy里面的这个settings文件可以设置User-Agent，IP以及爬取时间等等。
- 05
items用来编写字段的，类似数据库的字段哟。pipelines则是处理爬取好的文件的。
- 06
接着进入spiders文件夹，开始用命令创建爬虫文件。
- 07
如图，用这个命令便可以创建爬虫文件了，后面要指定一下网址哦，不指定会报错的呀。
- 08
然后在这里就多了一个myjy(创建的)，然后编写爬取规则就可以了。
- 09
如图，里面有自动生成的内容，name不要改，parse函数也不要改，不然报错。在parse里面写解析规则即可。
- 10
运行爬虫文件可以用这个命令，myjy就是爬虫名称，跟name里面的一致哟。
赞 (0)