爬取豆瓣电影分类排行榜中的电影详情数据

进入界面,右键打开检测,选择网络

然后网页滚动条拉倒最下面使其刷出新的数据,然后查看数据包

编写代码

import requests
import  json

if __name__ == '__main__':

    get_url = 'https://movie.douban.com/j/chart/top_list'

    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0'
    }

    data = {
        'type':'24',
        'interval_id':'100:90',
        'action':'',
        'start':'1',
        'limit':'20'
    }

    response = requests.post(url=get_url,data=data,headers=headers)

    # json 返回的是一个对象(如果确认响应数据是json类型的才可以使用)
    dic_obj = response.json()

    # file_name = word + '.json'
    fp = open('./movice.json','w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)

参数中的  'start':'1'   , 'limit':'20'  分别表示起始数据、每次刷新的数据条数,第一个电影应该是 0 开始,这里写 1 表示从第二个开始爬

运行结果:


http://www.niftyadmin.cn/n/5456497.html

相关文章

Java项目:78 springboot学生宿舍管理系统的设计与开发

作者主页:舒克日记 简介:Java领域优质创作者、Java项目、学习资料、技术互助 文中获取源码 项目介绍 系统的角色:管理员、宿管、学生 管理员管理宿管员,管理学生,修改密码,维护个人信息。 宿管员管理公寓…

浙大版《C语言程序设计(第4版)》题目集-习题3-5 三角形判断

给定平面上任意三个点的坐标(x1,y1)、(x2,y2)、(x3,y3),检验它们能否构成三角形。 输入格式: 输入在一行中顺序给出六个[−100,100]范围内的数字,即三个点的坐标x1、y1、x2、y2、x3、y3。 输出格式: 若这3个点不能构成三角形,则在一行中输…

Laravel扩展包的开发

扩展包的开发 1. 创建一个新项目,初始化扩展包配置 首先创建一个全新的Laravel项目: composer create-project --prefer-dist laravel/laravel laravelPkg 接下来,在项目中创建目录package/{your_name}/{your_package_name} mkdir -p pa…

Wagtail-基于Python Django的内容管理系统CMS实现公网访问

目录 前言 1. 安装并运行Wagtail 1.1 创建并激活虚拟环境 2. 安装cpolar内网穿透工具 3. 实现Wagtail公网访问 4. 固定Wagtail公网地址 前言 Wagtail是一个用Python编写的开源CMS,建立在Django Web框架上。Wagtail 是一个基于 Django 的开源内容管理系统&…

java算法题每日多道十一

53. 最大子数组和 题目 给你一个整数数组 nums ,请你找出一个具有最大和的连续子数组(子数组最少包含一个元素),返回其最大和。 子数组 是数组中的一个连续部分。 示例 1: 输入:nums [-2,1,-3,4,-1,…

MyBatis中的“For Update“详解

引言 在数据库操作中,为了保证数据的一致性,特别是在并发环境下,我们经常需要借助于各种锁机制。在MyBatis框架中,通过SQL语句中的FOR UPDATE子句,我们可以实现对数据库记录的行级锁定。本文将详细介绍MyBatis中如何使…

【Leetcode】单链表常见题

🔥个人主页:Quitecoder 🔥专栏:Leetcode刷题 本节内容我们来讲解常见的几道单链表的题型,文末会赋上单链表增删查,初始化等代码 目录 1.移除链表元素2.链表的中间节点3.返回倒数第K个节点:4.环…

【最新!红外小目标检测算法HCFNet】

文章目录 摘要1 引言2 相关工作2.1 传统方法2.2 深度学习方法 3 方法3.1 PPA3.2 维度感知选择性整合模块3.3 多稀释通道细化器模块3.4 损失函数设计 4 实验4.1 数据集与评估指标4.2 实现细节4.3 消融和对比 5 结论 论文:HCF-Net: Hierarchical Context Fusion Netwo…