手把手教你完成一个数据科学小项目(4):评论数变化情况

news/2024/7/19 9:53:09 标签: javascript, python, 爬虫

前言

本系列将全面涉及本项目从爬虫、数据提取与准备、数据异常发现与清洗、分析与可视化等细节,并将代码统一开源在GitHub:DesertsX/gulius-projects ,感兴趣的朋友可以先行 star 哈。

请先阅读“中国年轻人正带领国家走向危机”,这锅背是不背? 一文,以对“手把手教你完成一个数据科学小项目”系列有个全局性的了解。

《踏莎行》

我知道好几个朋友按照前几篇文章的内容已经开始运行代码了,也知道一些人遇到了我碰到的 BUG,虽然更鼓励自行根据报错信息网上搜索解决方案,但也不介意加 Python
交友娱乐会所群(QQ群:613176398,娱乐会所没有嫩模)来询问,力所能及处也会帮忙新手小白看看为何出错,可爱友善的群友也同样会帮忙的。

而如果你正被 BUG 折腾的“心力交瘁”,这里送上一首叶嘉莹先生的《踏莎行》,希望你能元气满满哈。(如何评价叶嘉莹? - Deserts X)

—世多艰,寸心如水。也曾局囿深杯里。炎天流火劫烧余,藐姑初识真仙子。
谷内青松,苍然若此。历尽冰霜偏未死。一朝鲲化欲鹏飞,天风吹动狂波起。

评论数变化情况

数据读取

但不管什么说,截至目前已经完成了数据爬取、数据提取与IP查询、数据异常与清洗,拿到手的数据终于可以用来分析和可视化了,也是件值得欣慰的事。

那么,闲言少叙,先来看看评论数随时间的变化情况吧,虽然上一篇文章:数据异常与清洗里涉及过,但由于侧重点在数据异常,所以未做展开,现在重新扩展下。

import pandas as pd
df = pd.read_csv('Sina_Finance_Comments_All_20180811_Cleaned.csv',encoding='utf-8')
df.head()
复制代码

请无视前面几列多出来的:

先来看看评论数随时间戳变化情况:

import matplotlib.pyplot as plt
%matplotlib inline
plt.plot(df.stamp, df.cmntcount);
复制代码

时间戳不太好识别,所以还是用常规的日期,并使用 pyecharts ( pyecharts 配置文档 )绘制每日评论数的变化折线图:

df_ymdcount = df.groupby('time_ymd')['cmntcount'].count()
from pyecharts import Line
line = Line("每日评论数变化情况")
line.add("日期", df_ymdcount.index, df_ymdcount.values,line_type='dotted')
line
复制代码

按天来看,这篇文章的大部分评论都是产生于在8月8号,即2008年北京奥运会十周年的当日,当然可能并不相关。

df_mdhcount = df.groupby('time_mdh')['cmntcount'].count()
from pyecharts import Line
line = Line("每小时评论数")
line.add("小时", df_mdhcount.index, df_mdhcount.values,line_opacity=1,line_type='dotted')
line
复制代码

细分到每个小时上,评论的峰值发生在8号的9点,高达658条,数值大小在本文的图里看不出来,但 jupyter notebook 代码里的 pyecharts 图表都是交互式的,每个点的数值和时间均可查看。需注意的是需要运行过过代码才能看到,Github上点开是空白的。

然后是看起来更为立体的每小时评论数柱形图:

from pyecharts import Bar
bar = Bar("每小时评论数")
bar.add("小时", df_mdhcount.index, df_mdhcount.values,is_label_show=True,xaxis_interval=0,xaxis_rotate=-90)
bar
复制代码

该新浪财经这篇《中国年轻人正带领国家走向危机》文章,有着极其“耸人听闻”的标题,但同样逃不过“速朽”的命运,在一两天内就趋于平淡了。

组合图 overlap

评论数随时间的变化情况大概就是这样了,其实没太多可说的,如果把后面提取地理位置(area 列)中的省份和城市数据,并调用百度地图API拿到所有位置的经纬度,并用BDP绘制动态热力图的实现过程先在这里一起讲的话,可能更有的可说,不过内容所限还是后续再讲哈。感兴趣的朋友可以按照这里的思路自行尝试绘制出下面的动态图哈。

4-heat-map-BDP-2h-8FPS.gif

仍值得一说的是在作图和可视化的过程中,对评论数相关图表还是不满意,于是想把每小时评论数的柱形图和总评论数变化的曲线图组合到一起,就像当初爬取张佳玮138w+知乎关注者:数据可视化完成项目时,在完全不懂 ECharts3里的代码和配置项的情况下,硬着头皮坑 JavaScript 代码,搞了个知乎第一大V“张公子”张佳玮的138万关注中自身有100+关注的人群的性别人数和比例图,今日看来,依旧兼具美感和创意,不像别处看到的可视化图一般“丑陋”(逃…);

也在简书=鸡汤?爬取简书今日看点:1916篇热门文章可视化项目里绘制了简书热门文章发布时间的年月分布图,审美杠杠的(逃…):

当然这里不必像上述二者那样需要去啃 ECharts3 的 JavaScript 代码(相关实现:图表太丑怎么破,ECharts神器带你飞!),直接在 pyecharts 配置文档 里有组合图多种示例,轻松实现下图:

df_mdhmax = df.groupby('time_mdh')['cmntcount'].max()
df_mdhcount = df.groupby('time_mdh')['cmntcount'].count()
from pyecharts import Bar, Line, Overlap
bar = Bar("每小时评论数")
bar.add("小时", df_mdhcount.index, df_mdhcount.values,is_label_show=True,xaxis_interval=-90,
        xaxis_rotate=-90, yaxis_interval=200,yaxis_max=800)
line = Line("每小时评论数")
line.add("小时", df_mdhmax.index, df_mdhmax.values,line_opacity=1,
         line_type='dotted', yaxis_interval=1000,yaxis_max=4000)

overlap = Overlap()
overlap.add(bar)
overlap.add(line, is_add_yaxis=True, yaxis_index=1)
#overlap.render() # 使用 render() 渲染生成 .html 文件
overlap
复制代码

便捷的代价就是配色上没有太多选择的余地:

小结

pyecharts( 图表详情) 提供的图表选择还是蛮多的,大家可以自行选择想呈现的效果。后面地图可视化也会用到。而且,用起来很简单的,套用示例,改成自己的数据就行。

本系列将全面涉及本项目从爬虫、数据提取与准备、数据异常发现与清洗、分析与可视化等细节,并将代码统一开源在GitHub:DesertsX/gulius-projects ,感兴趣的朋友可以先行 star 哈。

本系列文章:
“中国年轻人正带领国家走向危机”,这锅背是不背?
手把手教你完成一个数据科学小项目(1):数据爬取
手把手教你完成一个数据科学小项目(2):数据提取、IP 查询
手把手教你完成一个数据科学小项目(3):数据异常与清洗



http://www.niftyadmin.cn/n/1441153.html

相关文章

【索引】 AOAPC I: Beginning Algorithm Contests -- Training Guide (Rujia Liu)

AOAPC I: Beginning Algorithm Contests -- Training Guide (Rujia Liu) Chapter 1. Algorithm DesignChapter 2. MathematicsChapter 3. Data StructuresChapter 4. GeometryChapter 5. Graph TheoryChapter 6. Selected Topics

Win10交换Ctrl和大写键

打开注册表 [HKEY_LOCAL_MacHINE\SYSTEM\CurrentControlSet\Control\Keyboard Layout] “Scancode Map”是注册表中中的一个二进制键值(默认没有,需新建),并且有固定的格式: Scancode Map 代码的一般格式是:“hex:00,00,00,00,00,00,00,00,|0…

显卡型号后缀详解(转)

显卡型号中最复杂的部分,应该是型号后的英文字母。因为它代表着显卡虽然采用同一个图形核心,但市场的定位不同。最麻烦的是ATI与NVIDIA公司各自使用的后缀字母不统一(也不可能统一),让人看得眼花缭乱。LE:NVIDIA显卡型号采用的后缀…

Rsync+sersync文件实时同步

转载自https://www.cnblogs.com/xmzncc/p/5945902.html Rsyncsersync文件实时同步一.为什么要用Rsyncsersync架构1.sersync是基于Inotify开发的,类似于Inotify-tools的工具2.sersync可以记录下被监听目录中发生变化的(…

WML教程4:跳转和传递参数(转)

go的基本属性和应用 实现card之间跳转的一个基本方法是go,go和do、anchor等标签的结合是wml高级应用的一个基础。相关属性:href:声明链接的urlsendreferer:表示是否传递调用href所指定的url的页面的url,也就是当前页的…

fail-fast和fail-safe

一.什么是fail-fast机制? 在用迭代器遍历集合时,当集合的结构被修改,会抛出ConcurrentModificationException异常 二.什么情况下集合的结构会被修改? 1.单线程环境 集合在遍历的过程中,如果要对集合进行增删操作,没有调用迭代器的方法,而是用的集合自身的方法,则可能会产生fa…

webpack4搭建的react全家桶example项目

前言 搭建这个项目的起因是,一家公司的面试题,要求使用react,webpack等技术,并且要包含类型检查功能,包括不限于flow,typescript,同时要有单元测试,最好包含数据状态管理库... 于是就利用自己目…

在网吧教你用好你的用户存放区(转)

首先在你的共享服务器上建立一个文件夹,权限要设置完全共享,然后设置一下权限[ 相关贴图 ]430)this.width430" align"center" border"0" />看图,设置一下客人是否可以删除文件,这个看自己的需要&…