爬虫常用库的安装

news/2024/7/19 9:05:35 标签: 爬虫, 开发工具, python

请求库(requests,selenium)、解析库(beautifulsop)、存储库、工具库等

 

urelib   

re

上面这两个是python自带的库

需要自己安装额库:

(在windows下,使用pip install 命令)

requests

selenium用来驱动浏览器,做自动化测试,一些被js渲染的用这个来获取源代码

phantomjs,无界面浏览器,下载,并将phantomjs.exe配置到环境变量

lxml,可以用来进行网页的解析

------------------------------------

beautifulsoup,也是一个网页解析库,并且依赖于lxml库,在安装时需要输入pip3 install beautifulsoup4,导入时使用import bs4  

from bs4 import Beautifulsoup

-------------------------------------

 

pyquery也是一个网页解析库,比beautifulsoup更加方便

一些存储库:

pymysql

pymongo

redis

一些工具库

flask是一个web库,在做一些代理的设置是=时,可  能会用到这个库

django,一个web服务器框架

jupyter,可以理解为一个笔记本,但这个笔记本功能比较强,可以在先运行代码,很多功能,用来写代码或者文档记录很方便

在linux下,使用如下命令即可:

pip3 install requests selenium beautifulsoup4 puquery pymysql pymongo redis flask django jupyter

 

转载于:https://www.cnblogs.com/ronghe/p/9142241.html


http://www.niftyadmin.cn/n/991490.html

相关文章

docker运行jar jdbc无法访问呢_Intellij IDEA Java项目+sqlite数据库本地运行,以及docker部署经验教训...

写这篇博文的初衷是我差点被自己气出血来了,一个人坐在电脑前从early afternoon一直弄到deep night, docker部署java平台项目的时候,遇到java项目本来的一些jar包依赖归属和外部jar包依赖的编译,运行问题。如果是我们java通用库里的packages&…

如何用C++实现自己的Tensorflow

原文:How To Write Your Own Tensorflow in C 作者:Ray Zhang 翻译:无阻我飞扬 摘要:TensorFlow是由谷歌基于DistBelief进行研发的第二代人工智能学习系统,其命名来源于本身的运行原理,它完全开源&#x…

数据库事物

1.什么是事物事务是数据库提供的一个特性。组成事务的各个执行的单元,要么都成功,要么都不成功。例如:你给我转1000元钱,先给你的账户余额减去1000元,在给我的账户余额减掉1000.这个过程就是一个数据库事物2。MySQL数据…

简单的3个SQL视图搞定所有SqlServer数据库字典

(2007-11-29更新)网上有很多SQL SERVER数据库字典的SQL语句,七零八落,我在工作整理了一下思路,总结SQL代码如下。数据库字典包括表结构(分2K和2005)、索引和主键.外键.约束.视图.函数.存储过程.触发器.规则。可以在企业…

jquery ajax 参数设置。。。

参数名 类型 描述 url String (默认: 当前页地址) 发送请求的地址。 type String (默认: "GET") 请求方式 ("POST" 或 "GET"),默认为 "GET"。注意:其它 HTTP 请求方法,如 PUT 和 Delete …

SpringCloud学习成长之十三 断路器聚合监控

上一篇文章讲述了如何利用Hystrix Dashboard去监控断路器的Hystrix command。当我们有很多个服务的时候,这就需要聚合所以服务的Hystrix Dashboard的数据了。这就需要用到Spring Cloud的另一个组件了,即Hystrix Turbine。 一、Hystrix Turbine简介 看单个…

z77主板可以用nv_用直观的方法理解抽象的概念——线性相关(线性代数)

在线性代数的课程中,你会被各种定义轰炸。线性代数教科书简直就是一本充满各种术语的字典,这些术语晦涩难懂,难以理解。学生们在考试前,只有几个月的时间来理解特征值,特征向量,厄米特矩等。令人沮丧的是&a…

鉴定JavaScript中的数据类型

众所周知,JavaScript是一门弱类型的语言,但是这并不代表JavaScript中没有数据类型。JavaScript中常见的数据类型有string、number、object等等,通常我们使用typeof操作符来判断一个变量值的数据类型;但是由于许多问题的存在&#…