Mojo::UserAgent模块做的一个快速爬虫项目

news/2024/7/19 12:29:50 标签: mojo, 爬虫, tcp/ip, http, 网络协议
http://www.w3.org/2000/svg" style="display: none;">
use Mojo::UserAgent;

my $ua = Mojo::UserAgent->new;
my $proxy = 'duoip:8000';

# 使用爬虫IP
$ua->proxy('http', $proxy)  # 设置http爬虫IP
    ->proxy('https', $proxy); # 设置https爬虫IP

my $res = $ua->get('音乐网址');
if ($res->is_success) {
    print $res->body;
} else {
    print "Failed to download video, error message: ", $res->message, "\n";
}

https://img-blog.csdnimg.cn/92ab092523af440f82220914b2640b1b.png#pic_center" alt="在这里插入图片描述" />

解释:

1、导入Mojo::UserAgent模块,这个模块提供了创建和使用HTTP客户端的功能。

2、创建一个Mojo::UserAgent对象。

3、设置爬虫IP,使用proxy方法设置爬虫IP服务器的地址和端口。

4、使用get方法获取指定网页的HTML内容。

5、判断HTTP请求是否成功,成功则打印响应体,否则打印错误信息。


http://www.niftyadmin.cn/n/5141783.html

相关文章

与云栖的浪漫邂逅:记一段寻找云端之美的旅程

云端之旅 2023 年的云栖大会如约而至,这次云栖大会也是阿里新任掌门蔡老板当任阿里巴巴董事局主席以来的第一次。大会与以往有很多不一样的地方,其中 AIGC 更是本届大会的重点议题!你会感叹,阿里还是猛啊! 我逛了下展…

高等数学啃书汇总重难点(十一)曲线积分与曲面积分

依旧是公式极其复杂恶心的一章,建议是:掌握两种线面积分的计算套路即可,和第8章一样属于同济版教材中最不重要的章节,不会对底层理解做过多考察~ 1.弧长曲线积分的几何意义 2.弧长曲线积分的定义和性质 3.弧长曲线积分的计算方式 …

跟着Nature Communications学作图:纹理柱状图+添加显著性标签!

📋文章目录 复现图片设置工作路径和加载相关R包读取数据集数据可视化计算均值和标准差 计算均值和标准差方差分析组间t-test 图a可视化过程图b可视化过程合并图ab 跟着「Nature Communications」学作图,今天主要通过复刻NC文章中的一张主图来巩固先前分享…

深入探究Vue.js生命周期及其应用场景

当谈到Vue.js的生命周期时,我们指的是组件在创建、更新和销毁过程中发生的一系列事件。了解Vue的生命周期对于开发人员来说是至关重要的,因为它们提供了一个机会来执行特定任务,并在不同的阶段处理组件。 Vue的生命周期可以分为八个不同的阶…

Kubernetes-网络插件

目录 一、flannel网络插件 二、calico网络插件 1、部署 2、网络策略 (1)限制pod流量 (2)限制namespace流量 (3)同时限制namespace和pod (4)限制集群外部流量 一、flannel网络…

kubernetes存储-configmap

一、字面值创建 二、通过文件创建 三、通过目录创建 四、通过yaml文件创建 五、使用configmap设置环境变量 六、使用conigmap设置命令行参数 七、通过数据卷使用configmap 八、configmap热更新

Spire.doc读取模板文档,并在书签处插入内容

在书签位置插入文字 //加载模板文档 Document document new Document(Server.MapPath("~/File/评价结果.doc")); //创建书签导航器 BookmarksNavigator bn new BookmarksNavigator(document); //添加一个section到文档 Section newSec document.AddSection(); …

【安装】自建Rustdesk Server

文章目录 RustDesk说明RustDesk优点RustDesk相关链接非Docker基于CentOSRustDesk默认程序占用端口说明 启动 hbbr 是中继服务器启动 hbbs 是ID服务器客户端配置编写启动脚本hbbr、hbbs命令详细说明 RustDesk说明 RustDesk优点 自建服务端。搭建在自己的云服务器就相当于独享高…