当Excel大老碰到2G的XML数据,好戏来了【真实案例】

news/2024/7/19 10:44:33 标签: xml, python, 爬虫
xmlns="http://www.w3.org/2000/svg" style="display: none;">

这周碰到一个工作中的案例,可以很好的帮助初学者理解Excel,Python和数据可视化平台(比如Tableau)之间的关系。

虽然案例隐掉了具体数据内容,但是数据量和整个过程是真实的,很有参考价值。

Tom的烦恼

公司有一个很棒的销售,属于技术性销售,很善于分析数据,从数据中找线索。我们称他为Tom吧。

Tom很擅长使用Excel,可以用Excel轻松的做出各种数据透视图和分析报表。

这种:

在这里插入图片描述

这种:

在这里插入图片描述
还有这种:

在这里插入图片描述
这周Tom遇到了一个难题。他从某个数据网站上下载了一份大的数据。有多大呢,2个G。而且数据格式是XML。

在这里插入图片描述
XML也是一种很常见的数据格式,在JSON和Restful统治网络之前,它是王者,现在仍然是很重要的数据格式。下面是一个XML片段:

在这里插入图片描述
这下Tom很为难!首先这么大的文件,根本打不开;再者了,XML格式无法用Excel处理。

解决方法

烦恼了半小时后,善于学习的Tom想到了Excel之外的技术 - Python。

如果用Python去读取这个大文件,然后再转成Excel能够读取的CSV文件。是不是就可以了呢?应该可以!

Tom学过一点Python,但是感觉自己不知道如何下手写代码。

❝ 至少Tom学习过一点,虽然没能力写出很复杂的代码, 但当遇到问题的时候,能够有思路。这是在解决问题上及其重要的一步。

于是Tom找了一个程序员帮忙,最后他们比较好的解决了这个问题。最终解决的步骤是这样的:

  • 用Python读取大文件。Python可以一行行的读取数据,所以文件大不是问题。
  • 读取出的XML数据转换成CSV格式。
  • 由于行数太多,每80万行数据保存一个新的文件,否则Excel还是打不开。
  • 用Excel打开解析好的CSV文件。一旦能用Excel打开了,就进入了Tom擅长的领域。

这样基本上遇到了Tom的问题,但是并不完美。因为每个月都会有一份这样的大文件。虽然通过Python转成Excel以后能够处理本月的数据,但是无法进行跨月的数据分析。

所以他打算做进一步的优化,大致思路是这样的:

  • 每个月把数据存放到数据库。
  • 用Tableau连接到数据库,在Tableau上做数据分析和可视化。

这样数据就都打通了:

在这里插入图片描述
而且有了Tableau这个平台,分享和查看就更方便了:

在这里插入图片描述

总结和建议

在这个真实的例子中:

  • 使用Python是为了更方便的处理数据,或者说是为了自动化。
  • 处理完了数据,很可能还是要用Excel去进一步处理或者查看的。毕竟Excel要方便的多,可以随意修改,做过滤等等。
  • 为了更加系统的分析,串联这些数据,可能会使用Tableau等更专业的数据分析平台。

所以这些技术完全不冲突,而且会互相补充,共同完成复杂的工作。

❝ 有时候广告中会把它们对立起来,那完全是为了通过标题吸引流量,不用太认真。

希望本文能给小白解惑。如果你想学习Python,或者Excel,或者Tableau都完全不用犹豫,不用担心它们会冲突。多多学习是永远不会错的。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。


这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费


http://www.niftyadmin.cn/n/1323805.html

相关文章

AI算法让猛男变成娇羞的萌妹子,害苦多少网络少年

最近又火了一个 AI 算法,猛男都 hold 不住的 AI 特效。 想像一下,魁梧的身躯,浓密的络腮胡的猛男。 在 AI 特效的加持下,“华丽转身”瞬间变成了一个可爱的“小胖子”。 AI 如此多娇,引得无数猛男竞折腰 其实&#x…

技术大老64岁被裁员,说出一句话,让我好扎心

昨天参加一个线上培训,培训师声音很洪亮,说话自信又有节奏,我对他挺有好感的。看头像有四五十岁的样子。 他是美国人,住在休斯顿附近。晚上通宵给我们做培训。他已经习惯了。 一般这种跨国的培训报酬都是挺高的。我个人对培训也…

使用Python如何快速打开一个百万行级别的超大Excel文件?

知乎上有同学求助说,当他试图打开一个20M左右的excel文件时,无论是使用pandas的read_excel,还是直接使用xlrd或者openpyxl模块,速度都慢到了无法忍受的程度,耗时大约1分钟左右。 真的会这样吗?第一感觉是&…

搞疯爬虫程序员的8个难点

Python很强大,熟练的程序员可以在5分钟内写出一个有价值的爬虫,比如: 抓取股票信息抓取笑话抓取商品信息 但大部分被抓的网站不是任你抓取的木鸡,有抓就有反抗! 这是一场网站和程序员之间的一种博弈!都是…

滴滴程序员被亲戚鄙视:年薪八十万不如二本教书的……

日前一名滴滴程序员在职场社交论坛发帖称:“自己是一名程序员,年薪近80万,亲戚的孩子是博士生,在一所二本大学教书,自己的年薪能抵过他5、6年的工资,但是,居然被鄙视了。“ 这个帖子一发出来&am…

比互联网还卷,程序员的金饭碗变成了“泥饭碗”

曾经,银行和公务员、老师并列人们心目中的“金饭碗”,但如今,互联网人人羡慕的银行也迎来了内卷。 在国家宣布996工作制违法,大厂们都忙着取消大小周的同时,有这么一家银行因为加班问题,引发了网友的激烈讨…

知乎热榜:国家何时整治程序员的高薪现象?

最近在知乎上,就出现了一个画风清奇的问题:国家何时整治程序员的高薪现象? 某匿名用户称:相同的应届毕业生,程序员相关的职位工资似乎往往高于其他专业的应届毕业生,且社会上普遍性的有程序员高薪认知。对于…

MySQL中varchar与char区别

转载自:https://www.cnblogs.com/ttxcs/p/11614473.html 一. varchar存储规则 4.0版本以下,varchar(20),指的是20字节,如果存放UTF-8汉字时,只能存6个(每个汉字3字节) ;   5.0版本…