618购物大促销已经过了，但是今年大家的热情相比此前热情大战购物节减少了很多，今年不少消费者选择了“冷静”，没有抢购、没有冲刺，有的减少了下单的客单价，有的减少了购买数量。很多网页反馈说对购物节似乎不那么在意这种促销活动了，羊毛薅不动了，已经没有几年前参与大促时的满满兴致。
大家都知道618更多是京东的主场，淘宝防守为主以进攻双11主场，拼多多则继续百亿补贴抢占中小品牌的低价市场。今年很多商家发现很多的老用户热情逐渐退场，消费欲望被分流。对于老用户而言，对购物节大促的疲惫感似乎与日俱增。
虽然大家对促销的热情减少了不少，但是还有很多人参与了618购物节,所以今天准备分析一波购物节大家都喜欢买什么？本文以某东为例,用Python爬取618活动的畅销商品数据,并进行数据清洗,最后以可视化的方式从不同角度去了解畅销商品中,名列前茅的商品是哪些？销售数据如何？用户好评如何？等等
完整的步骤如下
1、爬取某东畅销商品数据
2、清洗数据并并进行简单分析
3、将数据进行可视化展示
数据的获取只最重要的一步，在爬取数据之前，先对某东进行了分析，目标的反爬措施一如既往的严格，各种反爬措施都使用上，特别是对基本的IP的防空更是加强了，一般的代理已经没法使用了，这里必须使用高质量，高匿的代理，经过一波测试分析，目前只有亿牛云的代理在成功率上有很好的效果。这里我们可以通过使用代理 IP、修改请求头部信息、降低请求频率或使用其他语言库，如 aiohttp、 Scrapy、Selenium 等，来进行复杂的反爬处理。比如这里我们可以使用aiohttp、爬虫代理加强版IP和随机User-Agent实现数据采集。
import urllib.parse
import asyncio
import aiohttp
import lxml.html
import random
URL_TEMPLATE = 'https://search.jd.com/search?keyword=%E6%89%8B%E6%9C%BA/{}'
HEADERS_LIST = [
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299',
'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; AS; rv:11.0) like Gecko',
# 添加更多 User-Agent
]
# 代理服务器( www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "16yun"
proxyPass = "16ip"
PROXIES = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
async def query(content):
async with aiohttp.ClientSession(headers=get_random_headers()) as session:
url = URL_TEMPLATE.format(urllib.parse.quote(content))
async with session.get(url, proxy=PROXIES) as response:
html = lxml.html.fromstring(await response.read())
sen_list = html.xpath('//div[contains(@class,"lemma-summary") or contains(@class,"lemmaWgt-lemmaSummary")]//text()')
sen_list_after_filter = [item.strip('\n') for item in sen_list]
return '\n'.join(sen_list_after_filter).encode('utf-8')
async def main():
async for content in get_input():
result = await query(content)
print("查询结果：\n%s" % result.decode('utf-8'))
async def get_input():
while True:
yield input('查询词语：')
def get_random_headers():
return {'User-Agent': random.choice(HEADERS_LIST)}
if __name__ == '__main__':
asyncio.run(main())
