node写简单的爬虫(二)

news/2024/7/19 9:47:13 标签: 爬虫

上次我们已经成功的爬取了网站上的图片,现在我们把爬取的图片存储到本地

首先引入request

var request=require('request');
http.get(url, function (res) {
        var imageData ='';
        res.setEncoding("binary");
        res.on('data',function(data){  //图片加载到内存变量
            imageData += data;
        }).on('end',function(){        //图片加载完
            var $=cheerio.load(imageData);
            $Imgs = $('img'),
            $Imgs.each((iten,i)=>{
            console.log($(i).attr('src')+"------");
            var urlimg=$(i).attr('src');
            var filename= path.basename(urlimg);;
            downloadImg(urlimg,filename)
           })   
        });
    });

  function downloadImg(url, filename) {
    request(url).on('error',function(){
        console.log('done no');
    }).pipe(fs.createWriteStream('images/' + filename));//保存图片到文件夹
}

 

转载于:https://www.cnblogs.com/aSnow/p/8438945.html


http://www.niftyadmin.cn/n/799104.html

相关文章

python项目打包部署到ios_Python CI中iOS项目自动打包运行

依赖:ios-deploy安装:brew install nodenpm install -g --unsafe-permtrue ios-deploy项目代码片段(运行测试build):def __build_run_app(self, test_compile_folder):try:xcodebuildxcodebuild # -sdk iphoneos10.2os.chdir(test_compile_fo…

十四、增加EmployeeService实现用户添加

1.添加EmployeeAction,用来处理mainFrame界面中,用户提出的增删查改请求 1.1com.myz.web.actions包下新建EmployeeAction package com.myz.web.actions;import java.util.Date;import javax.annotation.Resource; import javax.servlet.http.HttpServlet…

四个角不是直角的四边形_福利来了,四年级数学上册二、三单元测试,面积和角的学习很重要...

福利来了,四年级数学上册二、三单元测试,面积和角的学习很重要进入四年级的数学学习,难度随之变高了,四年级第一单元学习了数的认识,第二单元紧接着又学习了新的知识,关于面积的学习很多同学学得不是很扎实…

linux上mysql安装

所有平台的MySQL下载地址为: MySQL 下载. 挑选你需要的 MySQL Community Server 版本及对应的平台。 MySQL - MySQL服务器。你需要该选项,除非你只想连接运行在另一台机器上的MySQL服务器。MySQL-client - MySQL 客户端程序,用于连接并操作My…

Xmind——编写测试用例的新工具

以前写测试用例,都是在excel上完成的。excel基本能满足写用例的大多数需求,但是如果测试的业务系统比较庞大,各个模块之间又有比较紧密的业务联系时,那么excel可能无法满足。 经过一段时间的探索实践,我发现使用Xmind可…

linux 互斥锁销毁_Linux系统编程 —互斥量mutex

互斥量mutex前文提到,系统中如果存在资源共享,线程间存在竞争,并且没有合理的同步机制的话,会出现数据混乱的现象。为了实现同步机制,Linux中提供了多种方式,其中一种方式为互斥锁mutex(也称之为互斥量)。互…

狩猎家族

狩猎家族 狩猎家族官方支持!官方QQ群:647756723 posted on 2018-02-12 17:43 雨亭 阅读(...) 评论(...) 编辑 收藏 转载于:https://www.cnblogs.com/waterdragon/p/8445179.html

小新air15为啥没人买_小新Air15 2019简测

小新Air15 2019简测2019-06-21 13:03:240点赞2收藏5评论(伪)开箱箱子是用牛皮纸材质的硬纸壳做的,电脑被泡沫包裹着。其他的配件有一个65w的适配器、三包凭证、说明书,笔记本键盘上还有盖着一张无纺布。包装很简洁,没有多余的东西。外观合上盖…