18.网络爬虫—Scrapy实战演示

news/2024/7/19 11:23:10 标签: 爬虫, scrapy, mongodb

网络爬虫—Scrapy实战演示

  • Scrapy Shell简介
  • 进入shell调试网站
      • 启动Scrapy Shell
  • 查看目标网站
  • 获取网站源代码
  • 常用方法
  • 调试xpath
  • 提取数据
  • Scrapy请求子页面
      • 请求及返回处理
  • 数据解析
  • 写入csv文件
  • 后记

前言：
🏘️🏘️个人简介：以山河作礼。
🎖️🎖️:Python领域新星创作者，CSDN实力新星认证
📝​📝第一篇文章《1.认识网络爬虫》获得全站热榜第一，python领域热榜第一。
🧾 🧾第四篇文章《4.网络爬虫—Post请求(实战演示)》全站热榜第八。
🧾 🧾第八篇文章《8.网络爬虫—正则表达式RE实战》全站热榜第十二。
🧾 🧾第十篇文章《10.网络爬虫—MongoDB详讲与实战》全站热榜第八，领域热榜第二
🧾 🧾第十三篇文章《13.网络爬虫—多进程详讲(实战演示)》全站热榜第十二。
🧾 🧾第十四篇文章《14.网络爬虫—selenium详讲》测试领域热榜第二十。
🧾 🧾第十六篇文章《网络爬虫—字体反爬(实战演示)》全站热榜第二十五。
🎁🎁《Python网络爬虫》专栏累计发表十七篇文章，上榜七篇。欢迎免费订阅！欢迎大家一起学习，一起成长！！
💕💕悲索之人烈焰加身，堕落者不可饶恕。永恒燃烧的羽翼，带我脱离凡间的沉沦。


Scrapy Shell简介

🧾 🧾Scrapy是一个开源的Python框架，用于快速、高效地爬取网站数据。Scrapy提供了一组功能强大的工具和组件，使开发人员可以轻松地从网站上提取所需的数据。

🧾 🧾Scrapy Shell是一个命令行工具，可以让开发人员交互式地调试和探索网站。使用Scrapy Shell，开发人员可以轻松地测试Web爬虫并查看网站上的数据。

🧾 以下是Scrapy Shell的一些主要特点：

  1. 轻松进入交互式Shell：只需输入“scrapy shell”命令即可进入交互式Shell。

  2. 可以直接访问网站并查看HTML源代码：使用Scrapy Shell，您可以直接访问网站并查看其HTML源代码。这使您可以轻松地查找要提取的数据的位置。

  3. 支持XPath选择器和CSS选择器：在Scrapy Shell中，您可以使用XPath或CSS选择器快速选择和提取所需的数据。

  4. 可以在Scrapy Shell中测试爬虫：使用Scrapy Shell，您可以测试和调试Web爬虫，以确保其能够正确提取所需的数据。

  5. 支持调用各种Python函数和库：在Scrapy Shell中，您可以轻松调用各种Python函数和库，以进一步处理所提取的数据。

Scrapy Shell是一个非常强大的工具，可以帮助开发人员快速而方便地开发和调试Web爬虫，提取所需的数据。

进入shell调试网站

启动Scrapy Shell

🧾 🧾打开命令行终端，并进入一个Scrapy项目根目录，输入以下命令启动Scrapy Shell：

scrapy shell url

🎯这里以百度为例：

scrapy shell https://www.baidu.com/?tn=02003390_84_hao_pg&

🎯运行结果：
在这里插入图片描述

查看目标网站

🧾 🧾使用Scrapy Shell可以查看目标网站的内容，具体步骤如下：

  1. 打开命令行终端，在命令行中键入以下命令开始进入Scrapy Shell：
scrapy shell <url>   其中，`<url>`是目标网站的网址。
  1. 等待一段时间，直到Scrapy Shell加载完毕，显示下面的信息：
In [1]:
  1. 在Scrapy Shell中输入以下命令，获取目标网站的内容：
response.body
  1. 输入以下命令可以查看HTTP头信息：
response.headers
  1. 输入以下命令可以查看目标网页的标题：
response.xpath('//title/text()').get()
  1. 如需退出Scrapy Shell，请输入以下命令：
exit()

view(response)

在这里插入图片描述

获取网站源代码

response.body

在这里插入图片描述

常用方法

🧾 🧾输入response. 在这个时候按下键盘上的Tab键就可以实现参数选择

response.url  # 当前响应的url地址

response.request.url  # 当前响应对应的请求的url地址

response.text  # html字符串，str类型

response.body  # 广义上二进制的响应，bytes类型，相当于是response.content

response.body.decode()  # 对bytes类型的字符串进行解码，将其变为str类型，相当于是response.content.decode()

response.xpath()  # 调试我们的xpath表达式写地是否正确
response.xpath('//ul[@class="clears"]/li/div[@class="main_mask"]/h2[1]/text()').extract()

response.headers  # 响应头

response.request.headers  # 当前响应的请求头

调试xpath

🎯先将文本打印出来

response.text

在这里插入图片描述

response.xpath('/html/head/title/text()')

在这里插入图片描述

提取数据

 response.xpath('/html/head/title/text()').extract()

在这里插入图片描述

Scrapy请求子页面

请求及返回处理

创建项目

scrapy startproject douban_movie

在这里插入图片描述

创建爬虫

🎯进入到spiders文件下创建创建爬虫文件

cd douban_movie\douban_movie\spiders

创建爬虫
🎯命令[scrapy genspider 爬虫的名称 爬虫网站]

scrapy genspider movie movie.douban.com

创建成功
在这里插入图片描述
在这里插入图片描述

数据解析

title = response.xpath('normalize-space(string(//div[@id="content"]/h1))').extract()
        info = response.xpath('normalize-space(string(//div[@id="info"]))').extract()

import scrapy


class MovieSpider(scrapy.Spider):
    name = "movie"
    allowed_domains = ["movie.douban.com"]
    start_urls = [
        f'https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action=&start={i}&limit=20'
        for i in range(0, 100)]

    def parse(self, response, *_):
        urls = [i['url']for i in response.json()]
        yield from response.follow_all(urls=urls, callback=self.parse_t)


    def parse_t(self,response,*_):
        title = response.xpath('normalize-space(string(//div[@id="content"]/h1))').extract()
        info = response.xpath('normalize-space(string(//div[@id="info"]))').extract()
        print(title)
        # yield {
        #     'title': title,
        #     'info': info
        # }
        zip(title, info)
        for i in zip(title, info):
            print(i[0], i[1])
            yield {
                'title': title,
                'info': info
            }

在这里插入图片描述

写入csv文件

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
import csv


class DoubanMoviePipeline:
    def __init__(self):
        self.f = open('电影.csv', 'w+', encoding='utf', newline='')
        self.csv_f = csv.writer(self.f)
        self.csv_f.writerow(['标题', '简介'])

    def process_item(self, item, spider):
        self.csv_f.writerow([item['title'], item['info']])
        return item

    def close_spider(self):
        self.f.close()
        print("信息写入完成！")

在这里插入图片描述

后记

👉👉本专栏所有文章是博主学习笔记，仅供学习使用，爬虫只是一种技术，希望学习过的人能正确使用它。
博主也会定时一周三更爬虫相关技术更大家系统学习，如有问题，可以私信我，没有回，那我可能在上课或者睡觉，写作不易，感谢大家的支持！！🌹🌹🌹


http://www.niftyadmin.cn/n/272389.html

相关文章

SpringBoot【运维实用篇】---- 多环境开发

SpringBoot【运维实用篇】---- 多环境开发

SpringBoot【运维实用篇】---- 多环境开发 1. 多环境开发&#xff08;yaml单一文件版&#xff09;2. 多环境开发&#xff08;yaml多文件版&#xff09;3. 多环境开发&#xff08;properties多文件版&#xff09;4. 多环境开发独立配置文件书写技巧5. 多环境开发控制 讲的内容距…
阅读更多...
Linux必会100个命令（五十九）journalctl

Linux必会100个命令（五十九）journalctl

不带参数&#xff0c;将输出所有的日志。 使用-r参数&#xff0c;输出为反序 使用-f查看最新的日志 使用-n 输出指定行数 使用--since和--until输出一段时间内的日志 查看昨天的日志&#xff1a; journalctl --since yesterday 查看10点以后2小时的日志&#xff1a; journal…
阅读更多...
MATLAB | 如何使用MATLAB绘制高度自定义的桑基图(sankey)

MATLAB | 如何使用MATLAB绘制高度自定义的桑基图(sankey)

我之前也出过一个超简单的桑基图绘制函数&#xff0c;但是无法应对很多特殊情况&#xff0c;在这里我将其重构了一些写成了类&#xff0c;加了很多内置修饰函数&#xff0c;实现了流入流出数据不相等或者跨层数据流动的特殊情况绘制&#xff0c;首先展示一下使用我编写的函数能…
阅读更多...
西门子安装和配置

西门子安装和配置

一、已安装 V16&#xff0c;检查软件正常 1.判断西门子软件是否正常工作&#xff0c;检查软件图标&#xff0c;如下图。 2.如果软件图标不存在&#xff0c;检查Windows服务是否存在&#xff0c;打开方法如下图&#xff1a; 3.检查西门子的服务&#xff0c;共16个服务&#xff…
阅读更多...
如何利用Mybatis-Plus自动生成代码（超详细注解）

如何利用Mybatis-Plus自动生成代码（超详细注解）

1、简介 MyBatis-Plus (opens new window)&#xff08;简称 MP&#xff09;是一个 MyBatis (opens new window)的增强工具&#xff0c;在 MyBatis 的基础上只做增强不做改变&#xff0c;为简化开发、提高效率而生。 特性 无侵入&#xff1a;只做增强不做改变&#xff0c;引入…
阅读更多...
在写LotusScript代码时考虑一点技术含量

在写LotusScript代码时考虑一点技术含量

大家好&#xff0c;才是真的好。 在编写LotusScript时考虑性能问题&#xff0c;尤其是大量数据处理时&#xff0c;前面我们提得也比较多&#xff0c;例如在循环文档时&#xff0c;尽量不使用getNthdocument&#xff0c;而使用getNextDocument等。 今天我们介绍的是LS编程技巧…
阅读更多...
【hello Linux】进程间通信——共享内存

【hello Linux】进程间通信——共享内存

目录 前言&#xff1a; 1. System V共享内存 1. 共享内存的理解 2. 共享内存的使用步骤 3. 共享内存的使用 1. 共享内存的创建 查看共享内存 2. 共享内存的释放 3. 共享内存的挂接 4. 共享内存的去挂接 4. 共享内存的使用示例 1. 两进程挂接与去挂接演示&#xff1a; 2. 两进程…
阅读更多...
mitmproxy抓包

mitmproxy抓包

0.mitmproxy功能简介 实时拦截、修改 HTTP/HTTPS 请求和响应可保存完整的 http 会话&#xff0c;方便后续分析和重放支持反向代理模式将流量转发到指定服务器支持 macOS 和 Linux上的透明代理模式支持用 Python 脚本对 HTTP 通信进行修改 1. 安装mitmproxy pip3 install mit…
阅读更多...
最新文章

Copyright @ 2022~2023