【Python3爬虫】12306爬虫

news/2024/7/19 11:39:12 标签: 爬虫, python, json

此次要实现的目标是登录12306网站和查看火车票信息。

 

具体步骤

一、登录

登录功能是通过使用selenium实现的,用到了超级鹰来识别验证码。没有超级鹰账号的先注册一个账号,充值一点题分,然后把下载这个Python接口文件,再在里面添加一个use_cjy的函数,以后使用的时候传入文件名就可以了(验证码类型和价格可以在价格体系查看):

1 def use_cjy(filename):
2     username = ""  # 用户名
3     password = ""  # 密码
4     app_id = ""  # 软件ID
5     cjy = CJYClient(username, password, app_id)  # 用户中心>>软件ID
6     im = open(filename, 'rb').read()  # 本地图片文件路径
7     return cjy.PostPic(im, 9004)  # 9004->验证码类型

然后进入12306的登录页面,网址为https://kyfw.12306.cn/otn/login/init,可以看到有一个像下面这样的验证码:

要破解这个验证码,第一个问题是怎么得到这个验证码图片,我们可以很轻松的找到这个验证码图片的链接,但是如果用requests去请求这个链接,然后把图片下载下来,这样得到的图片和网页上的验证码图片是不同的,因为每次请求都会刷新一次验证码。所以需要换个思路,比如先把网页截个图,然后我们可以知道验证码图片在网页中的位置,然后再根据这个位置,把截图相应的位置给截取出来,就相当于把验证码图片从整个截图中给抠出来了,这样得到的验证码图片就和网页上的验证码一样了。相关代码如下:

 1 # 定位到验证码图片
 2 captcha_img = browser.find_element_by_xpath('//*[@id="loginForm"]/div/ul[2]/li[4]/div/div/div[3]/img')
 3 location = captcha_img.location
 4 size = captcha_img.size
 5 # 写成我们需要截取的位置坐标
 6 coordinates = (int(location['x']), int(location['y']),
 7                int(location['x'] + size['width']), int(location['y'] + size['height']))
 8 browser.save_screenshot('screen.png')
 9 i = Image.open('screen.png')
10 # 使用Image的crop函数,从截图中再次截取我们需要的区域
11 verify_code_image = i.crop(coordinates)
12 verify_code_image.save('captcha.png')

现在已经得到了验证码图片了,下一个问题是怎么识别?点触验证码识别起来有两个难点,一个是文字识别,要把图上的鞭炮文字识别出来,第二点是识别图片中的内容,比如上图就要把有鞭炮的图片识别出来,而这两个难点利用OCR技术都很那实现,因此选择使用打码平台(比如超级鹰)来识别验证码。对于上面这个图,在使用超级鹰识别之后会返回下面这个结果:

{'pic_id': '6048511471893900001', 'err_no': 0, 'err_str': 'OK', 'md5': 'bde1de3b886fe2019a252934874c6669', 'pic_str': '117,140'}

 其中pic_str对应的值就是有鞭炮的图片的坐标位置(如果有多个坐标,会用“|”进行分隔),我们对这个结果进行解析,把坐标提取出来,再利用selenium模拟点击就可以了,相关代码如下:

 1 # 调用超级鹰识别验证码
 2 capture_result = use_cjy('captcha.png')
 3 print(capture_result)
 4 # 对返回的结果进行解析
 5 groups = capture_result.get("pic_str").split('|')
 6 points = [[int(number) for number in group.split(',')] for group in groups]
 7 for point in points:
 8     # 先定位到验证图片
 9     element = WebDriverWait(browser, 20).until(
10         EC.presence_of_element_located((By.CLASS_NAME, "touclick-bgimg")))
11     # 模拟点击验证图片
12     ActionChains(browser).move_to_element_with_offset(element, point[0], point[1]).click().perform()
13     sleep(1)

 

 

二、查询

带有车票信息的ajax接口很容易找到,格式也是标准的json格式,解析起来会方便不少

但是爆保存车票的字符串很复杂,我们先把第一条信息打印出来看看,以下是部分信息:

'hH0qeKPBgl0X0aCnrtZFyBgzqydzV45U2M1r%2F32FsaPHeb7Mul00sIb7y9W%2B6df1tUdDGCxqdVs8%0Aw2VodSjdXjUQ2uNdwFprKdVK9iaW60Wj2jKpNKaViR4ndlBCjsYB0SIF
QR0pLksy7HDP0KcaoLe4%0A4RW6zRcscO7SRNJZOsF%2Fxj3Ooq76lzzdku3Uw957yjLFyf7ikixOaC%2FAOrLAwCc7y0krRpKJbSn3%0ApBsY%2F%2Fok%2Bmg2xNhXapoCPIt4w0p9',  这段字符是随机生成的,过几秒就回失效。 '39000D30280G',  列车编号 'D3028',  车次 'HKN',  始发站 'AOH',  终点站 'HKN',  出发站 'AOH',  目的站 '07:31',  出发时间 '13:06',  到达时间 '05:35',  总耗时 'Y',  Y表示可以购票,N表示不可以 '20181111',  日期
后面基本都是座位的余票信息了。

对于提到的列车站点代码,可以通过请求这个链接,通过得到JS脚本中的station_names变量获取,对应的站点以@字符分隔,相关代码如下:

1 # 请求保存列车站点代码的链接
2 res1 = requests.get("https://kyfw.12306.cn/otn/resources/js/framework/station_name.js")
3 # 把分割处理后的车站信息保存在station_data中
4 self.station_data = res1.text.lstrip("var station_names ='").rstrip("'").split('@')
 1 # 返回车站英文缩写
 2  def get_station(self, city):
 3     for i in self.station_data:
 4         if city in i:
 5             return i.split('|')[2]
 6 
 7 # 返回车站中文缩写
 8 def get_city(self, station):
 9     for i in self.station_data:
10         if station in i:
11             return i.split('|')[1]

由于ajax接口有了一点变化,所以我对之前的代码做了一点修改,在输入数据的部分:

1 # 需要按2018-01-01的格式输入日期,不然会出现错误
2 d = input("请输入日期(如:2018-01-01):")
3 f = self.get_station(input("请输入您的出发站:"))
4 t = self.get_station(input("请输入您的目的站:"))
5 url = "https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date={}&leftTicketDTO.from_station={}" \
6       "&leftTicketDTO.to_station={}&purpose_codes=ADULT".format(d, f, t)

 

完整代码已上传到GitHub!

转载于:https://www.cnblogs.com/TM0831/p/9883322.html


http://www.niftyadmin.cn/n/1667327.html

相关文章

SQLite数据库中rowid使用

2019独角兽企业重金招聘Python工程师标准>>> SQLite数据库中rowid使用 SQLite中每个表都默认包含一个隐藏列rowid,使用WITHOUT ROWID定义的表除外。通常情况下,rowid可以唯一的标记表中的每个记录。表中插入的第一个条记录的rowid为1&#xf…

阿里云 随实例一起购买的数据盘是否需要自行挂载处理

阿里云 随实例一起购买的数据盘是否需要自行挂载处理 阿里云 随实例一起购买的数据盘是否需要自行挂载处理?或者默认是 挂载到哪里? 正式站和测试站的目录挂载区别。正式:测试:https://yq.aliyun.com/articles/160374posted 201…

怎么回答面试官:你对Spring的理解?

作者:bravo1988 链接:https://www.zhihu.com/question/48427693/answer/723146648 来源:知乎 最近看了点Spring的源码,正好来稍微扯一扯,帮一部分培训班的朋友撕开一道口子,透透气。我自己都是看的培训班视…

本机号码认证黑科技:极光(JG)开发者服务推出“极光认证”新产品

近日,中国领先的大数据服务商极光(JG)推出全新产品——极光认证JVerification。极光认证是极光针对APP用户注册登陆,二次安全验证等身份验证场景打造的一款本机号码认证SDK,验证用户提供的号码是否与本机SIM卡号码一致…

一文快速上手Echarts(持续更新)

目录 一、引入Echarts 二、选择一个Echarts图 1、引入部分 2、属性部分 3、方法部分 三、常见参数靠谱详解 常见Echarts图类型配置 与容器四周距离配置 X轴参数设置(刻度线,标签旋转) Y轴参数设置 折线图线条粗细与渐变色配置 线条取消圆点 圆…

记个maven无法识别JAVA_HOME的问题 Error: JAVA_HOME is not defined correctly.

Error: JAVA_HOME is not defined correctly. We cannot execute /Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home/bin/java 安装的是maven3,本地安装了两个java,1.7和1.8,但我项目中使用的都是1.8 所以把1.7的删除了&…

微信小程序----App生命周期

微信小程序----App生命周期 App生命周期 onLaunch—-当小程序初始化完成时,会触发 onLaunch(全局只触发一次)onShow —-当小程序启动,或从后台进入前台显示,会触发 onShowonHide —-当小程序从前台进入后台&#xff0…

UVa 10179 - Irreducable Basic Fractions

题目:计算一个给定数的欧拉函数(1~n-1中和n互质的数的个数)。 分析:数论,素数筛法,欧拉函数。欧拉函数:φ(n) n *(1 - 1/p1)*(1 - 1/p…