京东商品评论数据爬虫,包含对数据的采集、清洗、可视化、分析等过程,作为数据库课程。

news/2024/7/19 10:19:58 标签: 爬虫, 数据挖掘, 大数据, 数据分析

感谢大家的star和fork,为了感谢大家的关注,特意对代码进行了优化,对最新的url格式进行了更新,减少了一些冗余的参数,希望能够帮助大家入门爬虫,已经爬好的京东的商品评论数据已经存储在data目录下,可以直接用于进一步分析。后续会重新封装几个版本,主要是添加多线程、redis缓存等机制提高爬虫效率,同时也将把核心参数打包成json方便使用。 

希望你抓取顺利,同时也希望大家多多关注和支持,你们的fork是对我最大的认可,哈哈哈!

JD.item_review-获得JD商品评论接口

公共参数

名称类型必须描述
keyString调用key(必须以GET方式拼接在URL中,获取key和secret)
secretString调用密钥 (复制v:Taobaoapi2014 )
api_nameStringAPI接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等]
cacheString[yes,no]默认yes,将调用缓存的数据,速度比较快
result_typeString[json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读
langString[cn,en,ru]翻译语言,默认cn简体中文
versionStringAPI版本

请求参数

请求参数:num_iid=71619129750&page=1

参数说明:item_id:商品ID
page:页数

 响应示例

请求示例

 响应示例

{
	"items": {
		"totalpage": "100",
		"total_results": "0",
		"page_size": 10,
		"page": "1",
		"item": [
			{
				"rate_content": "鞋子的版型很好看,价格也很便宜,穿上舒适透气,非常的喜欢,值得购买",
				"rate_date": "2020-07-16 17:04:45",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/143538/26/2997/98915/5f10182dE075cf6f4/3893a6ebd54bf20b.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/126308/37/7305/88222/5f10182dE2ed282fb/cfebb2e627fe3be4.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/123576/17/7322/100064/5f10182dE90877815/bb5f985a08987bc6.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/133271/17/4481/244268/5f10182dEd8ecc049/555eaa30d3599158.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/146490/36/3038/90958/5f10182dE065f71fd/12bb1e78f59309d7.jpg"
				],
				"display_user_nick": "j***X",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "鞋子很青春休闲,版型很好看,又百搭面料,摸着很舒服,穿着非常的舒适,很满意。",
				"rate_date": "2020-07-16 14:58:08",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/126114/25/7235/113602/5f0ffa80E13a4cbd1/4bb8f80169565723.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/116245/40/12535/94358/5f0ffa80Eb718edcc/a2fa0be8e208f728.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/131138/21/4585/162381/5f0ffa80E85973f3d/95647e8bbcc82ad3.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/120553/13/7355/126975/5f0ffa80Ee8c6b756/959b3ea6f73ecb86.jpg"
				],
				"display_user_nick": "j***G",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "鞋子已收到,穿上不闷很透气,鞋子的图案版型都很喜欢,买的是黑色的,非常耐脏嘛,尺码很标准。",
				"rate_date": "2020-07-17 18:03:27",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/125182/11/7291/418447/5f11776fE80c296f6/ce4f18132f1339d5.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/124968/39/7243/404641/5f11776fE33777d13/ed56246d66b430e1.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/129908/23/4700/412863/5f11776fEe04d86f6/a2b308efe09cf8e4.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/128096/4/7282/405527/5f11776fE9788ca8f/cafeb1a293a9813e.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/115520/15/12445/454682/5f11776fE134e0e3f/9450910b70809f2b.jpg"
				],
				"display_user_nick": "j***s",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "帆布鞋质量不错,穿上正合适很舒适,尺码标准,脚感很好,非常喜欢。",
				"rate_date": "2020-07-21 18:52:02",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/130056/36/5089/278917/5f16c8d2E196f34fd/5ad753039b65125e.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/141143/2/3492/277303/5f16c8d2E7e0c067d/f0614a2ff7580edd.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/133845/33/4975/258500/5f16c8d2E39f1a05a/324fe698896c798b.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/130437/17/5133/258634/5f16c8d2Ee4c72f6f/12f407a4aedc1c30.jpg"
				],
				"display_user_nick": "j***T",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "鞋子收到了,鞋子材质很好,款式简约新颖非常喜欢,版型也好看很百搭,总体非常满意。",
				"rate_date": "2020-07-20 18:07:58",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/142827/18/3375/464946/5f156cfeEd3009ae9/dc98d03cb6262314.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/147097/19/3295/466559/5f156cfeE08f4dba7/ed784fb4e453c513.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/126388/38/7636/482686/5f156cfeEee2e1160/ffd1663c5236515a.jpg"
				],
				"display_user_nick": "j***Y",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "鞋子收到了,特别舒服的一款帆布鞋,大小合适喜欢",
				"rate_date": "2020-07-20 18:14:39",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/118301/23/12855/72815/5f156e8fEa83416e3/f92e7f5b823c8a70.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/135616/29/4848/72074/5f156e8fEc82a7d80/6484851d44574830.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/148932/1/3387/69784/5f156e8fE7ba78e9d/7b61ee6327626d78.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/150109/36/3353/66120/5f156e8eE82e25eaf/9055b98faf6a044d.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/118412/31/12839/72815/5f156e8fE721e7bfd/327582fa5d9a25b3.jpg"
				],
				"display_user_nick": "j***y",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "东西非常不错 颜值很高很满意  搭配上牛仔裤在夏天穿 上身白体桖  一股浓郁的学院风扑面而来  年轻了十几岁",
				"rate_date": "2020-07-25 22:09:33",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/126821/34/7944/185434/5f1c3d1dE11aea5ec/689c14ef4399a439.jpg"
				],
				"display_user_nick": "三***容",
				"auction_sku": "YC-X-188米色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "这个帆布鞋的款式挺不错的,穿着也很百搭,做工很精细。",
				"rate_date": "2020-07-20 00:01:00",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/119504/13/11389/520508/5f1581faEf69c5854/2377fb2e01fc79e2.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/135899/37/4958/566205/5f1581faEc5f67e4c/1bd719364ac26276.jpg",
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/110797/21/15353/558212/5f1581fbE98486508/98667557f6b47c31.jpg"
				],
				"display_user_nick": "j***y",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": "很有个性的一款鞋子,穿的舒适,样子新颖,质量也很好。"
			},
			{
				"rate_content": "这个鞋子我非常的喜欢,而且穿着特别的舒服,搭配起衣服来也特别的百搭。非常值得购买的一款鞋子。",
				"rate_date": "2020-09-16 09:18:43",
				"pics": [
					"//img30.360buyimg.com/n0/s128x96_jfs/t1/120503/26/12622/88927/5f6167efE6c9ef8ae/6fdeb847965a9acf.jpg"
				],
				"display_user_nick": "j***s",
				"auction_sku": "YC-X-188黑色(女)",
				"add_feedback": ""
			},
			{
				"rate_content": "鞋子穿着很舒服,用来搭配长裙或者是棉麻裤,都很好看,而且很合脚,走起路来一点都不会累。",
				"rate_date": "2020-07-17 17:48:04",
				"pics": [],
				"display_user_nick": "j***l",
				"auction_sku": "MX-D01黑色(女)",
				"add_feedback": ""
			}
		]
	},
	"secache": "8e3404bdf02f989d0e3164490e3945a2",
	"secache_time": 1615366119,
	"secache_date": "2021-03-10 16:48:39",
	"translate_status": "",
	"translate_time": 0,
	"language": {
		"default_lang": "cn",
		"current_lang": "cn"
	},
	"error": "",
	"reason": "",
	"error_code": "0000",
	"cache": 0,
	"api_info": "today:21 max:10000",
	"execution_time": 0.854,
	"server_time": "Beijing/2021-03-10 16:48:39",
	"client_ip": "106.60.351.144",
	"call_args": {
		"num_iid": "71619129750",
		"data": "1",
		"page": 1
	},
	"api_type": "jd",
	"translate_language": "zh-CN",
	"translate_engine": "google_cn",
	"server_memory": "3.15MB",
	"request_id": "gw-3.604887e6dc512"
}


http://www.niftyadmin.cn/n/243578.html

相关文章

Redis缓存雪崩、穿透、击穿

Redis缓存雪崩、穿透、击穿 解决方案正常的缓存流程Redis缓存雪崩Redis缓存雪崩解决方案 Redis缓存穿透Redis缓存穿透解决方案 Redis缓存击穿Redis缓存击穿解决方案 解决方案 布隆过滤器,分布式锁 正常的缓存流程 Redis缓存雪崩 Redis中的key大面积失效&#xff0…

【小程序】手动实现switch开关中带文字效果(开关左右文字相同/不同都可以)

最终效果&#xff1a; 左右文字宽度相同 左右文字宽度不同 左右长度相同 效果&#xff1a;配合wx:show切换 注意&#xff1a;左右长度相同的话可以设置合适的相同的宽度。 html&#xff1a; <view class"switch"><viewclass"switchNums {{ swi…

DeepSpeed 搭建碰到的问题

Windows 系统来做一些前沿开发&#xff0c;估计连微软自家的孩子们也都鄙视&#xff0c;在Win 11下搭建Deepspeed 环境&#xff0c;遇到 PS C:\WINDOWS\system32> pip install deepspeed Collecting deepspeed Downloading deepspeed-0.9.0.tar.gz (764 kB) -------…

docker容器与网络模式|磁盘使用|内存使用|清理

docker容器与网络模式|磁盘使用|内存使用|清理 一 docker 网络模式二 docker的网络模式分类三 网络模式详解3.1host模式&#xff1a;3.2 container模式container模式操作 3.3 none模式3.4 brideg模式3.5 自定义网络 四 容器资源控制4.1 docker容器cpu压力测试4.2 设置CPU资源占…

QGIS--开发OpenSCENARIO动态场景(三)--制作动态场景

一、添加scenario&#xff0c;carla的环境变量 export CARLA_ROOT/path/to/your/carla/installation export SCENARIO_RUNNER_ROOT/path/to/your/scenario/runner/installation export PYTHONPATH$PYTHONPATH:${CARLA_ROOT}/PythonAPI/carla/dist/carla-<VERSION>.egg ex…

第四十章 调试总结

调试没有文本输出控制台,GLSL中没有断点,无法检测GPU的运行状态。 glGetError函数可以查询错误标记,会检测错误标记集,在OpenGL确实出错的时候返回一个错误值,原型如下: GLenum glGetError();————要么会返回错误标记之一,要么返回无错误。 GL_NO_ERROR 0 自上次调用…

微积分入门

文章目录 前言初期积分微分微积分问题 后期极限 ε \varepsilon ε- δ \delta δ极限勒贝格积分 结语 前言 微积分总共走过了两个时期。首先是牛顿和莱布尼茨利用无穷小量定义微分和积分&#xff0c;并且发现了微分和积分的关系&#xff0c;这是第一个时期&#xff0c;这时的…

能量密度的必要性:城市比乡村具有更高的能量密度

文章目录 引言I 人口密度1.1 人口密度太低对于经济的发展的不利因素1.2 足够的人口密度带来的好处1.3 乌鲁克城II 农耕文明和商业文明2.1 农耕文明2.2 商业文明III 有效掌握动力的文明处于优势3.1 苏美尔人- 轮子&风能的利用3.2 英国人- 以蒸汽机为代表的工业革命引言 文明…