python 爬虫细节

news/2024/7/19 9:53:15 标签: python, 爬虫, selenium

python-selenium设置">Python selenium设置

selenium设置代理">selenium设置代理

python hljs ">ip = "xxx"
port = xxx
profile = webdriver.FirefoxProfile()
profile.set_preference('network.proxy.type', 1)
profile.set_preference('network.proxy.socks', ip)
profile.set_preference('network.proxy.socks_port', port)
profile.set_preference('network.proxy.ssl', ip)
profile.set_preference('network.proxy.ssl_port', port)
self.driver = webdriver.Firefox(executable_path=self.FIREFOX_PATH,firefox_profile=profile)

python-selenium错误">python selenium错误

问题1

【异常】selenium.common.exceptions.WebDriverException: Message: {“errorMessage”:“‘undefined’ is not an object

【解决办法】
设置用户代理设置导致了这个问题,可能是phantomjs不支持相应的代理。
错误代码:

python hljs ">    dcap = dict(DesiredCapabilities.PHANTOMJS)
    dcap["phantomjs.page.settings.userAgent"] = (
        "User-Agent,Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0")
    driver = webdriver.PhantomJS(desired_capabilities=dcap)
    driver = webdriver.PhantomJS()

更正做法:

python hljs ">    driver = webdriver.PhantomJS()

问题 - KeyError问题

selenium中,把webdriver的firefox赋值给变量后,提示KeyError:’sessionId’ ?
出现这种情况的原因,可能是版本的问题。版本A 和 版本B 的中的key值发生了变化,所以系统交替的地方(firfox驱动 + selenium产生了不匹配)产生了问题。
解决办法:

pip install -U selenium

更新一下selenium

如果当前目录下有selenium目录,请更新一下,或删除掉

更新geckodriver.exe
参考:
关于该异常的一些讨论


http://www.niftyadmin.cn/n/1427963.html

相关文章

windows编程14-其它常用控件

其它常用控件 单选按钮(Radio Button)和复选框(Check Box)是常见的Windows控件,用于从给出的选项中选择一项或多项 单选按钮是互斥的,只能选择其中一项;而复选框没有限制,可以选择…

数据流分析总结

本文旨在总结常见数据流分析:活跃性(liveness)分析,常用表达式(Available Expressions)分析,very busy 表达式(VeryBusy Expressions)分析,定值到达(Reaching Defs)分析,文章中的各类概念定义并…

2019 Bay Area LLVM Developers‘ Meeting - Talk Abstracts Program with Talk Abstracts

文章目录1. Keynote Talks1.1 Generating Optimized Code with GlobalISel Volkan Keles, Daniel Sanders1.2 Even Better C Performance and Productivity: Enhancing Clang to Support Just-in-Time Compilation of Templates Hal Finkel2. Technical Talks2.1 Using LLVMs p…

mysql 基础知识整理

关系模型 && 数据库 理解 (TODO) 相关理论部分: 数据库原理 知识点总结 数据类型 (TODO) 关键字 group by 数据库编程细节问题 -- 5.group by 的使用 limit的使用 1、查询第一行记录: select * f…

windows编程15-其他控件的事件处理

其他控件的事件处理 在实际开发中,我们往往需要知道哪个按钮被选中了,才能进行下一步的操作。例如对于一组单选按钮,只有一个选项能被选中,最好的办法是将这组按钮作为参数传入一个函数,通过函数返回值判断哪个按钮被…

mysql 题目汇总

最近在看leetcode上一些数据库题目,进行简答的如下总结。 相关的题目主要给出链接的形式,这里只是给出相应的解释,总结。题目的安排的顺序,是个人认为的从容易倒难得顺序安排的。 在进行分析前有必要了解下MySQL的执行次序。 M…

Infrastructure Working Group 日记 (1)

1. The infrastructure of the LLVM project ● source code repository : github.llvm ● bug tracker : Bugzilla ● all build servers/machines: 1. Green dragon 2. LLVM Buildbot ● all web sites ● build system/scripts: ● code review tool…

数据结构-二分搜索树14

二分搜索树 Binary Search Tree 性质: a. 二分搜索树是二叉树 b.二分搜索树的每一个节点的值: 大于其左子树的所有节点的值 小于其右子树的所有节点的值 c.每一颗子树也是二分搜索树 e.存储的元素必须具有可比较性(二分搜…