【爬虫】一、前置知识

news/2024/7/19 10:49:10 标签: 爬虫, python

一、Web请求过程解析

1.服务器渲染:在服务器端把数据和html整合在一起,统一返回给浏览器。(在页面源代码中科院看到数据)
在这里插入图片描述
2.客户端渲染:第一次请求只要html骨架,第二次请求数据,在客户端进行拼接展示。(在页面源代码中看不到数据)
在这里插入图片描述

二、HTML协议

爬虫中需要注意:反爬基本都是出现在请求头和响应头
请求头:
1.UserAgent:请求载体的身份标识(用get还是post发送请求)
GET:查询时使用(显示提交)
POST:对数据进行修改时(隐式提交)
2.Referer:防盗链(反爬中使用,请求是从哪个页面来的)
3.cookie:本地字符串数据信息(用户登录信息,反爬cookie)

响应头:
1.cookie:本地字符串数据信息(用户登录信息,反爬cookie)
2.各种字符串(一般是token,防止攻击和反爬


http://www.niftyadmin.cn/n/158589.html

相关文章

生辰八字五行计算

本文介绍生辰八字和八字五行的一种算法。站内有人在查询生辰八字的算法,此题本人也感兴趣。故以此文以续貂尾。 生辰八字计算要点是节气日,年柱以立春起,月柱以是月节气日起,故先要计算月首的节气日。本节气算法的节气时刻精度差些…

基于 gma 绘制古代洛阳 5 大都城遗址空间分布地图

了解 gma gma 是什么? gma 是一个基于 Python 的地理、气象数据快速处理和数据分析函数包(Geographic and Meteorological Analysis,gma)。gma 网站:地理与气象分析库。 gma 的主要功能有哪些? 气候气象&a…

什么蓝牙耳机好看又好用?好看耐用的蓝牙耳机推荐

现在无论是在办公还是学校都离不开蓝牙耳机,蓝牙耳机就主要就是音质要高,当前市面上的耳机品牌众多,许多人不知道如何选择,所以小编就整理一期好看耐用的蓝牙耳机分享给大家~ 一、南卡小音舱蓝牙耳机 动圈单元:13.3m…

斜率优化DP

一.考虑如下DP方程 1.m为常数,s表示数组前缀和 ​​​​​​​ 2.化简可得 3.观察式子可知,若想dp[i]更小,则需要更小 4.因此dp方程转换为 5.令y等于,k等于,x等于 6.又因为递增,因此用一个单调队列维护凸包即可…

DCScan: A Power-Aware Scan Testing Architecture

DCScan: A Power-Aware Scan Testing Architecture Abstract 本文提出了一种名为DCScan的新型功率感知扫描架构,该架构将兼容的扫描单元分成多个段,并使用数据复制和转移技术来降低测试功耗、布线开销和响应数据量。实验结果表明,这种方法在…

Redis基础学习

redis一秒可以读11w次 一秒可以写入8w次 安装到Linux可能需要C语言环境需要安装GCC Linux安装后各文件目录 启动方式有两种一种前台不建议(关闭后就中断了)推荐后台启动 找到etc下文件 vim redis.conf 进行修改 搜索/daem 找到daemonize no 修改为dae…

[chapter3][5G-NR][Frame Structure ]

参考: 3GPP 38.211https://www.sharetechnote.com/html/5G/5G_FrameStructure.html目录: 1: Numerology - Subcarrier Spacing2: Numerology and Slot Length 3: Numerology and Supported Channels4: RB&…

springboot+jsp基于性别网上学习特征及可视化系统

经过近期对 java 面向对象程序设计、前端知识以及JAVA springboot框架的掌握和学习,让我更加了解到 java 学习的重要性。在开发这个系统是哪个,我完成多个实验以及测试,在这个阶段的学习开发中,我从认识到熟悉,而后到能…