pycharm怎么新建一个scrapy项目

scrapy是一个用python编写的爬虫系统，通过scrapy的二次开发，您几乎可以爬取世界上90%以上的网站。下面我简单介绍下scrapy系统的安装与工程的创建。

scrapy安装

  • 01

    由于scrapy是使用python语言编写的爬虫系统，因此它很自然是可以通过pip安装的。 在bash或者cmd中输入： pip install scrapy就可以安装scrapy了。

  • 02

    然后等待scrapy将所有依赖包安装完成。查看scrapy版本，目前最新的版本是v1.4.0版本

  • 03

    安装virtualenv（可选）这里我还安装了virtualenv。virtualenv是一个提供独立的python开发环境的工具。例如你某个scrapy工程依赖的是python2.7，而另一个依赖的是python 3.5，那么这个工具就非常有用了。

创建scrapy工程

  • 01

    使用scrapy startproject创建工程。 安装scrapy后，就可以使用startproject指令创建你的scrapy工程了这里，我在终端输入了scrapy startproject quotes指令创建了一个quotes工程

  • 02

    创建工程后，你会发现工程下面已经创建了如下文件： . ├── quotes │   ├── __init__.py │   ├── items.py │   ├── middlewares.py │   ├── pipelines.py │   ├── settings.py │   └── spiders └── scrapy.cfg 下面你要做的就是创建spider类爬取目标网站。

  • 03

    使用pycharm打开scrapy工程。

  • 04

    在sprides包中创建你的sprider 这里我参照官方教程创建了一个简单quotes类

  • 05

    运行scrapy在pycharm中输入scrapy crawl quotes运行你得爬虫系统

赞 (0)

相关推荐

  • adt怎样新建一个安卓项目

    刚学习安卓的小伙伴一般都是使用adt集成工具包来编写安卓项目,今天我就来分享一下adt怎样新建一个安卓项目吧! 操作方法 01 如图所示,打开adt集成工具包中的eclipse快捷方式. 02 然后选 ...

  • eclipse怎样新建一个Java项目

    小编之前的一篇指南已经介绍了Java开发环境的搭建,接下来就教教大家怎样用eclipse新建一个Java项目吧! 操作方法 01 运行eclipse,然后点击eclipse界面的"文件&qu ...

  • 用Eclipse新建一个web项目没有自动生成web.xml

    我们在Eclipse里面开发项目时,可能会出现这种情况,我们新建了一个web工程,但是却没有自动生成一个web.xml文件,这是生什么原因呢?我们又该怎么解决呢! 操作方法 01 我们首先打开Ecli ...

  • HBuilder怎样新建一个web项目

    HBuilder在创建web项目的时候会自动创建对应的文件夹,非常方便,下面我来讲解一下方法. 操作方法 01 打开HBuilder,点击"文件"--"新建"- ...

  • Androidstudio怎么新建一个app项目?

    Android studio是一款很常用的开发工具,想要创建一个app项目,下面我们就来看看详细的创建方法. 1.打开软件,在菜单中选择file->new project打开创建向导. 2.配置 ...

  • 如何使用pr软件创建一个彩条项目

    如何使用pr软件创建一个彩条项目

    当我们在使用pr软件处理视频的时候,如果想要在软件中创建一个彩条项目的话,应如何操作呢?接下来就由小编来告诉大家.具体如下:1. 第一步,打开电脑并在桌面找到PR CC2019图标,双击打开.2. 第 ...

  • 如何使用eclipse创建一个java项目

    利用eclipse可以进行Java项目的开发,下面介绍下如何新建一个Java项目 操作方法 01 找到自己的eclipse,双击进入 02 在项目视图中,鼠标右键选择new>other 03 在 ...

  • pr2019软件怎么新建一个项目

    pr2019软件怎么新建一个项目

    pr是我们常用的视频剪辑软件之一,有小伙伴问怎么新建一个项目,下面小编介绍一下.具体如下:1. 打开[pr2019]软件,点击红色框的"新建项目"按钮2. 弹出窗口,输入项目名称3 ...

  • VS2017新建一个C语言空项目 运行hello world

    vs 2017 相较于vs 2010有很大的不同,而且最近有了跟新,跟原有版本也不尽相同,他的"32控制台应用程序"不再显示,直接选择visual c++下旁的"Wind ...