Scrapy框架——安装以及新建scrapy文件

news/2024/7/19 12:36:01 标签: python, 爬虫, 开发工具

一.安装

conda install Scrapy   :之后在按y 表示允许安装相关的依赖库(下载速度慢的话也可以借助镜像源),安装的前提是安装了anaconda作为python ,   测试scrapy是否安装成功,在窗口输入scrapy回车

注意:我这是之前安装了anaconda  所以能直接这样下载    如果没有则需要自己一个一个下载依赖库 和scrapy   但是可以借助豆瓣的镜像源来快速安装

      格式:     pip  install   -i https://pypi.douban.com/simaple/  scrapy          

  

 

二.创建scrapy项目的过程:

  1.首先进入到你所要创建项目文件的路径下。cd  ……

    2.scrapy startproject 项目(文件)名  ------这就是创建一个scrapy项目文件了

    

 

    3.cd (我们刚刚刚创建的)项目(文件)名。

    4.scrapy  genspider   spider的一个名称(一个.py的爬虫文件)   spider的域名(爬取的网页的网址)

    

 

 

         5上面我们创建了一个scrapy文件 并且在spider(scrapy项目文件下)下创建一个.py文件 ,名字是jobbole 地址blog.jobbole.com (伯乐在线的)

    我通过pycharme打开scrapy文件,如图:

       

 

三.但是我们运行jobbole文件 发现出现错误。说我的scrapy框架没安装

  

 

四..发现问题在哪:是pycharm的路径问题,应该放在scripts的一个路径下 如图:

  

五.运行成功:

  

 

 

  

 

转载于:https://www.cnblogs.com/hum0ro/p/9490673.html


http://www.niftyadmin.cn/n/817236.html

相关文章

算法详解之RCNN

图像检测流程 传统图像检测的基本流程: 输入——特征提取(手工/人为计算)——应用机器学习算法进行检测——输出检测结果 经典的特征提取算法(Sift/HOG/Fast/Surf/Orb)aa CNN算法进行目标检测: 两步检测…

数据结构47:树的应用:表达式解析(二)

目录 一、建立表达式解析树:实例 二、利用表达式解析树求值:思路 一、建立表达式解析树:实例 全括号表达式:(3(4*5)) 二、利用表达式解析树求值:思路 从图示过程我们可以看到,创建树过程中关键的是对当前…

数据结构48:树的遍历

一、树的遍历Tree Traversals 对一个数据集中的所有数据进行访问的操作称为“遍历Traversals” 线性数据结构中,对其所有数据项的访问比较简单直接,按照顺序依次进行即可。但是由于树的非线性特点,使得遍历操作较为复杂。 我们按照节点访问…

数据结构49:优先队列与二叉树

目录 一、优先队列Priority Queue 二、二叉堆Binary Heap实现优先队列 三、用非嵌套列表实现二叉堆 四、完全二叉树的列表实现及性质 五、堆次序Heap Order 一、优先队列Priority Queue 前面我们介绍了一种FIFO的数据结构:队列。 队列有一种变体称为“优先队…

Python全栈 MongoDB 数据库(概念、安装、创建数据)

什么是关系型数据库?是建立在关系数据库模型基础上的数据库,借助于集合代数等概念和方法来处理数据库中的数据,同时也是一个被组织成一组拥有正式描述性的表格(二维表),该形式的表格作用的实 …

算法详解之Fast RCNN

目录 一、解决的问题 二、算法概要 训练的过程 测试的过程 三、算法详解 四、实验结果 五、总结 一、解决的问题 R-CNN存在以下几个问题: 训练分多步。通过上一篇博文我们知道R-CNN的训练先要fine tuning一个预训练的网络,然后针对每个类别都训…

数据结构50:二叉查找树及操作

目录 一、二叉查找树Binary Search tree 二、二叉查找树BST的性质 三、二叉搜索树的实现“节点和链接结构 一、二叉查找树Binary Search tree 在ADT Map的实现方案中,可以采用不同的数据结构和搜索算法来保存和查找key,前面已经实现了两个方案&#…

恢复mysql 中root 用户的所有权限

今天在研究数据库的时候不小心吧root用户的权限全给关了。这就尴尬了。 找了半天的解决方案。 如果你的用grant all 无法设定某个用户的权限可以试试这个方法。 1停止mysql服务器。使用skip-grant-tables 登陆。 mysqld_safe --skip-grant-tables & mysql -uroot 2 手动修改…