.NET Core Community 第三个千星项目诞生:爬虫 DotnetSpider

news/2024/7/19 11:36:54 标签: 爬虫, 数据库

498413-20180627011300901-273724376.jpg

本文所有打赏将全数捐赠于 NCC(NCC 的资金目前由 倾竹大人 负责管理),请注明捐赠于 NCC。捐赠情况将由倾竹大人在此处公示。

DotnetSpider 至力于打造一个轻量化、高效率、易开发、可管理的一体化爬虫框架。它的核心要素是URL调度、基本的网页内容下载器、基于爬虫实体类的爬虫实现模式、常用数据库的支持、多线程的支持、状态的监控、运行日志、网页端管理。

DotnetSpider 具有相当高的可定制性,支持包括 MSSQL、MySQL、PostgreSQL、MongoDB 在内的多种数据库,文档(目录?)齐全,样例丰富、通俗易懂,同时还自带了 Web Manager(依赖于作者的另一个项目 Scheduler.NET)

项目:https://github.com/dotnetcore/DotnetSpider
Web Manager:https://github.com/zlzforever/DotnetSpider.Hub
Scheduler.NET:https://github.com/zlzforever/Scheduler.NET

授权:GPL-3.0
Wiki:https://github.com/dotnetcore/DotnetSpider/wiki

作者:Zlzforever
GitHub:https://github.com/zlzforever
QQ群:477731655


DotnetSpider 自加入 NCC 起始终坚持不懈的更新、完善,作者帅气、为人风趣幽默;项目日趋成熟、追求完美,于 2018 年 5 月下旬成为 NCC 第三个星数破千的项目,值得祝贺。为此,经 NCC 授权,由 AlexLEWIS 赠送 DotnetSpider 作者 Zlzforever 先生图书一本。

498413-20180627010346795-1949801883.jpg

一本游戏力,祝你家小萝莉健康茁壮成长。


本项目的作者将在 6 月 30 日 NCC 小聚会上做专题演讲《大话网络爬虫》。

演讲将采用录播方式,在事后为大家奉上。

498413-20180627010520036-1344535291.png
498413-20180627010529449-1449040995.png


如果您有项目想加入我们,欢迎来 http://github.com/dotnetcore/home 提请:)

本文所有打赏将全数捐赠于 NCC(NCC 的资金目前由 倾竹大人 负责管理),请注明捐赠于 NCC。捐赠情况将由倾竹大人在此处公示。

转载于:https://www.cnblogs.com/forerunner/p/ncc-dotnetspider-with-over-thousand-stars.html


http://www.niftyadmin.cn/n/1697688.html

相关文章

什么?动态规划10行求出连续子数组的最大和 剑指offer-42讲解

剑指offer_42一、题目信息二、解法三、代码实现一、题目信息 题目意思就是要求出连续子数组的最大和,并且返回这个和。 二、解法 有三种方法都可以解这道题,第一种是暴力搜索,但是它的时间复杂度非常高有O(n^2),第二…

实验楼----PHP代码审计(sha1、md5)

地址:http://www.shiyanbar.com/ctf/1787 题目: 分析: 如图,需要传递name和password,同时需要name和password不相等,到这里都很简单 然后需要(sha1($_GET[name]) sha1($_GET[password]) 使用常规的用户名密…

三种方法任君挑选 LeetCode_136只出现一次的数字

LeetCode_136一、题目信息二、题解2.1、HashMap2.2、HashSet2.3、异或运算一、题目信息 一个数组中有一个数只出现了一次,请你找到它。要求是具有线性的时间复杂度。 二、题解 2.1、HashMap 用HashMap遍历数组,对每个数字记录他们出现的次数&#xff…

定时执行存储过程

--创建计划&#xff0c;使JOBNO和存储过程关联 DECLARE JOBNO INTEGER; BEGINDBMS_JOBS.SUBMIT ( JOBNO, PRO_NAME;, SYSDATE, SYSDATE1/24 ); END;--DBMS_JOB.SUBMIT参数说明 DBMS_JOB.SUBMIT ( JOBNO > JOBID, --对应的唯一 ID &#xff08; JOBID <-> JOBNA…

怎么把i am a student逆置成student a am i?面试题逆置字符串讲解

逆置字符串一、题目描述二、解题思路三、完整代码四、运行结果一、题目描述 字符串逆置&#xff0c;如 “I am a student” 逆置为 "student a am I" 二、解题思路 1、逆序整个字符串 2、逆序每个单词 /*** 用来逆序一个整体&#xff0c;可以是单词也可以是整个数…

剑指 Offer 58 - II. 左旋转字符串的三种解法一起看看吧!!

一、题目信息 二、解题思路 2.1、字符串切片 形如 “abcdefg”的字符串&#xff0c;用字符串切片函数切成“cdefg”和“ab”两部分&#xff0c;最后在返回的时候拼接在一起就好啦。 上代码&#xff01; class Solution {public String reverseLeftWords(String s, int n) {r…

Flink源码阅读(一)--Checkpoint触发机制

Checkpoint触发机制 Flink的checkpoint是通过定时器周期性触发的。checkpoint触发最关键的类是CheckpointCoordinator&#xff0c;称它为检查点协调器。 org.apache.flink.runtime.checkpoint.CheckpointCoordinator CheckpointCoordinator主要作用是协调operators和state的分布…

es6学习笔记-箭头函数_v1.0_byKL

es6学习笔记-箭头函数_v1.0 箭头函数使用方法 var f v > v; //普通函数配合箭头函数写法,这里并且是传参的 //相当于 var f function(v) {return v; };/*------------------------*/var f () > 5; //匿名函数配合箭头函数写法 // 等同于 var f function () { return …