我的 小蜘蛛

news/2024/7/19 12:36:06 标签: 爬虫

spider 的小案例

知识在于传递,互联网的发展让人们有了更丰富的知识阅览 。技术的出现因应时代的 发展 ,技术可以便捷生活。

定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序,它根据既定的抓取目标,有选择的访问万维网上的网页与相关的链接,获取所需要的信息。与通用爬虫(general purpose web crawler)不同,聚焦爬虫并不追求大的覆盖,而将目标定为抓取与某一特定主题内容相关的网页,为面向主题的用户查询准备数据资源。

https://github.com/hxj886600/...

https://github.com/hxj886600/...

这是两个spider的项目
*第一个是百度的图片
*第一个是http://www.bootcss.com/p/font...(可以引用图标的网站)的文件名字
用的的模块

核心模块

const http=require("http");
const fs=require("fs");
const  https=require("https")

引用的模块

const cheerio=require("cheerio")


var $=cheerio.load()

 res.setEncoding('binary');
 二进制方法保存保证不失真
 

主要用来引jq的模块
当然 也可直接引入jq的模块(不过不推荐使用)
加几张效果图吧
image
image
image

完成后会出现image 的文件,其中包括这几张图片 感兴趣的可以试一试


http://www.niftyadmin.cn/n/711209.html

相关文章

Java面试——Spring系列总结

文章目录: 1.什么是Spring? 2.Spring由哪些模块组成? 3.Spring中都用到了哪些设计模式? 4.什么是Spring IOC容器?有什么作用? 5.Spring IoC的实现机制 6.BeanFactory 和 ApplicationContext有什么区别…

端口被占用怎么办?

1. netstat -ano 所有端口占用状态2. 找到对应端口的pid,在任务管理器找到所属进程。转载于:https://www.cnblogs.com/superPerfect/p/4295769.html

2017-10-16 前端日报

2017-10-16 前端日报 精选 [译]Vue 2.5 发布了王跃:关于微信小程序的技术,也许你想错了细说Web API中的Blobchrome浏览器页面渲染工作原理浅析ts-check - 腾讯Web前端 IMWeb 团队社区JavaScript — Learn & Understand Arrow FunctionsIntroducing P…

微软职位内部推荐-Senior Software Engineer

微软近期Open的职位:Position: Senior SDEThe R&D of Shared Data Platform at Application and Services Group (ASG) China aims to build a unified data platform encompassing users, advertisers, search engine, and office365. We are able to process and present…

javascript基础学习四

回顾:1、面向对象的角度 a) 什么是面向对象 b) 什么是面向过程 c) 什么是面向对象开发,面向过程开发2、调试工具的使用(查看DOM方法)3、数据的内存结构(*)4、基本类型和复杂类型的变量存储结构空对象&#…

Java面试——SpringMVC系列总结

文章目录: 1.什么是Spring MVC? 2.Spring MVC的主要组件有哪些? 3.请描述一下Spring MVC的工作流程? 4.MVC是什么?MVC设计模式的好处有哪些 5.拦截器Interceptor与过滤器Filter有什么区别? 6.Spring M…

SpringBoot——聊聊application.properties和application.yml的写法规范及区别

1.写在前面 我们都知道SpringBoot项目都有一个核心配置文件叫 application.xxx,这个xxx后缀名可以有三种类型:properties、yml、yaml,这里可能我理解的不太精确,我认为 yml 和 yaml 没什么区别。 YAML 是 "YAML Aint Markup …

[vue组件]无缝轮播图

该文章请对应源码阅读,github源码地址,DEMO使用地址,线上DEOM展示。 做一个vue基础组件系列,使用vue以最简洁的方式实现常用组件,可用于快速二次定制化开发。 (๑•̀ㅂ•́)و✧不定时更新,欢迎 star&…