Python网络爬虫(四):b站评论

news/2024/7/19 9:28:26 标签: 爬虫

        首先来看一下采集的数据格式:

        本文不对数据采集的过程做探讨,直接上代码。首先要在程序入口处bvids列表内替换成自己想要采集的视频bvid号,然后将self.cookies替换成自己的(需要字典格式),代码可以同时爬取多个视频的评论,且爬取的评论较为完整,亲测有效:

import csv
import math
import re
import requests
import time
import json


class BilibiliComment:
    def __init__(self):
        """
        需要替换cookies,字典格式
        """
        self.cookies = {
            
        }   
        self.headers = {
            'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
  

http://www.niftyadmin.cn/n/5474131.html

相关文章

GitHub与Namecheap域名绑定解除指南:删除CNAME文件

github namecheap 域名到期怎么解绑 什么是CNAME文件? CNAME文件是位于你的username.github.io仓库根目录中的一个简单文本文件,它指明了你的GitHub Pages站点要绑定的自定义域名。GitHub通过读取这个文件中的内容来配置DNS解析,从而将你的自…

企业技术中心基础条件

(一)企业条件 1、企业符合国家、省产业政策,成长性好、竞争力强,管理用工规范、具有社会责任,无违法违纪行为的中小企业。 2、企业经济效益较好,企业年主营业务收入不低于2亿元(其中高新技术企…

正大国际:10年后,100万的房子还值多少钱?专家们给出答案,你是否认同?

10年后,现价100万的房子还值多少钱?一位行家说出“实话” 近年来,随着经济的发展和城市化进程的加速,房价呈现出不断上涨的趋势。然而,未来的房价走势受到多种因素的影响,包括经济发展、政策调控、人口结构…

k8s CNI Calico 网络模式总结【建议收藏】

目录 calico架构图 ​编辑 IPIP模式下的架构图 calico 核心组件 Overlay 网络模式: Vxlan IPIP IpCrossubnet Pod IP对外暴露 不对外暴露: 实现对外暴露的方法: overlay模式下的网络MTU Iptables & ipvs Full-mesh o…

【保姆级教程】如何在 Windows 上实现和 Linux 子系统的端口映射

写在前面 上次分享【保姆级教程】Windows上安装Linux子系统,搞台虚拟机玩玩,向大家介绍了什么是虚拟机以及如何在Windows上安装Linux虚拟机。对于开发同学而言,经常遇到的一个问题是:很多情况下代码开发需要依赖 Linux 系统&…

Coursera上托福专项课程03:TOEFL Test-Taking Strategies 学习笔记(完结)

TOEFL Preparation Specialization Specialization Certificate TOEFL Test-Taking Strategies Course Certificate 本文是学习 TOEFL Test-Taking Strategies 这门课的学习笔记,如有侵权,请联系删除。 文章目录 TOEFL Preparation SpecializationTOEF…

基于SpringBoot Vue家政服务预约平台系统

一、📝功能介绍 基于SpringBoot Vue家政服务预约平台系统 角色:管理员、家政人员、用户 管理员:管理员登录进入小区家政服务预约平台可以查看系统首页、个人中心、用户管理、家政人员管理、服务类型管理、家政服务管理、服务预约管理、服务…

爬取学习强国视频小示例

因为需要爬取的视频数量并不是很大,总共需要将131个视频下载下来,所以就直接去手动找找视频的地址和名称保存下来的。由于页面是动态加载的,所以我们无法在网站源码中直接找到视频的超链接。设想是可以用Selenium模拟浏览器点击进行动态加载获…