十一、常用API——爬虫

news/2024/7/19 9:32:32 标签: 爬虫, 开发语言

目录

  • 爬虫
    • 本地爬虫和网络爬虫
    • 贪婪爬取和非贪婪爬取
    • 正则表达式在字符串方法中的使用
    • 捕获分组和非捕获分组
      • 分组
      • 捕获分组
      • 非捕获分组

爬虫

本地爬虫和网络爬虫

  • 有如下文本，请按照要求爬取数据。（本地爬虫）

Java自从95年问世以来，经历了很多版本，目前企业中用的最多的是Java8和Java11，因为这两个是长期支持版本，下一个长期支持版本是Java17，相信在未来不久Java17也会逐渐登上历史舞台

要求：找出里面所有的JavaXX

public static void main(String[] args) {
        /*有如下文本，请按照要求爬取数据。
                Java自从95年问世以来，经历了很多版本，目前企业中用的最多的是Java8和Java11，因为这两个是长期支持版本，
            下一个长期支持版本是Java17，相信在未来不久Java17也会逐渐登上历史舞台
        要求：找出里面所有的JavaXX*/

        String str = "Java自从95年问世以来，经历了很多版本，目前企业中用的最多的是Java8和Java11，因为这两个是长期支持版本,下一个长期支持版本是Java17，相信在未来不久Java17也会逐渐登上历史舞台";

//        method1(str);

        //0.获取正则表达式对象
        Pattern p = Pattern.compile("Java\\d{0,2}");

        //1.获取文本匹配器的对象
        Matcher m = p.matcher(str);

        //2.利用循环获取匹配内容
        while (m.find()){
            String s = m.group();
            System.out.println(s);
        }
    }

    private static void method1(String str) {
        //获取正则表达式对象
        Pattern p = Pattern.compile("Java\\d{0,2}");
        //获取文本匹配器的对象
        //m:文本匹配器的对象
        //str:大串
        //p：规则
        //m要在str中找符合p规则的小串
        Matcher m = p.matcher(str);

        //拿着文本匹配器从头开始读取，寻找是否有满足规则的子串
        //如果没有，方法返回false
        //如果有，返回true，在底层记录子串的起始索引和结束索引+1
        boolean b = m.find();

        //方法底层会根据find方法记录的索引进行字符串的截取
        //subString(起始索引，结束索引）；包头不包尾
        //把截取的小串进行返回
        String s1 = m.group();
        System.out.println(s1);

        //第二次在调用find的时候，会继续读取后面的内容
        //读取到第二个满足要求的子串，方法会继续返回true
        //并把第二个子串的起始索引和结束索引+1，进行记录
        b = m.find();

        //第二次调用group方法的时候，会根据find方法记录的索引再次截取
        String s2 = m.group();
        System.out.println(s2);
    }

注意：以下代码中的链接可能已经失效

public class RegexDemo7 {
    public static void main(String[] args) throws IOException {
        /* 扩展需求2:
            把连接:https://m.sengzan.com/jiaoyu/29104.html?ivk sa=1025883i
            中所有的身份证号码都爬取出来。
        */

        //创建一个URL对象
        URL url = new URL("https://m.sengzan.com/jiaoyu/29104.html?ivk sa=1025883i");
        //连接上这个网址
        //细节:保证网络是畅通
        URLConnection conn = url.openConnection();//创建一个对象去读取网络中的数据
        BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream()));
        String line;
        //获取正则表达式的对象pattern
        String regex = "[1-9]\\d{17}";
        Pattern pattern = Pattern.compile(regex);//在读取的时候每次读一整行
        while ((line = br.readLine()) != null) {
            //拿着文本匹配器的对象matcher按照pattern的规则去读取当前的这一行信息
            Matcher matcher = pattern.matcher(line);
            while (matcher.find()) {
                System.out.println(matcher.group());
            }
        }
        br.close();
    }
}

需求：

​ 有如下文本，按要求爬取数据。

​ Java自从95年问世以来，经历了很多版本，目前企业中用的最多的是Java8和Java11，因为这两个是长期支持版本，下一个长期支持版本是Java17，相信在未来不久Java17也会逐渐登上历史舞台。

需求1：

​ 爬取版本号为8，11.17的Java文本，但是只要Java，不显示版本号。

需求2：

​ 爬取版本号为8，11，17的Java文本。正确爬取结果为：Java8 Java11 Java17 Java17

需求3：

​ 爬取除了版本号为8，11，17的Java文本。

public static void main(String[] args) {
        String str = "Java自从95年问世以来，经历了很多版本，目前企业中用的最多的是JAva8和Java11，因为这两个是长期支持版本，下一个长期支持版本是Java17，相信在未来不久Java17也会逐渐登上历史舞台。";

        //0.爬取版本号为8，11.17的Java文本，但是只要Java，不显示版本号。
        System.out.println("0.爬取版本号为8，11.17的Java文本，但是只要Java，不显示版本号。");
        String regex = "(?i)Java(?=8|11|17)";
        Pattern p = Pattern.compile(regex);
        Matcher m = p.matcher(str);
        while (m.find()){
            String s = m.group();
            System.out.println(s);
        }
        System.out.println("---------------------------------");

        //1.爬取版本号为8，11，17的Java文本。正确爬取结果为：JAva8 Java11 Java17 Java17
        System.out.println("爬取版本号为8，11，17的Java文本。正确爬取结果为：Java8 Java11 Java17 Java17");
        String regex2 = "(?i)Java(8|11|17)";
        String regex3 = "(?i)Java(?:8|11|17)";
        Pattern p2 = Pattern.compile(regex3);
        Matcher m2 = p2.matcher(str);
        while (m2.find()){
            System.out.println(m2.group());
        }

        System.out.println("---------------------------");

        //2.爬取除了版本号为8，11，17的Java文本
        System.out.println("爬取除了版本号为8，11，17的Java文本");
        String regex4 = "(?i)Java(?!8|11|17)";
        Pattern p4 = Pattern.compile(regex4);
        Matcher m4 = p4.matcher(str);
        while (m4.find()){
            System.out.println(m4.group());
        }
    }

贪婪爬取和非贪婪爬取

只写+和表示贪婪匹配，如果在+和后面加问号表示非贪婪爬取
+? 非贪婪匹配
*? 非贪婪匹配
贪婪爬取:在爬取数据的时候尽可能的多获取数据
非贪婪爬取:在爬取数据的时候尽可能的少获取数据

举例：
如果获取数据：ab+
贪婪爬取获取结果:abbbbbbbbbbbb
非贪婪爬取获取结果:ab

    public static void main(String[] args) {
        String str = "Java自从95年问世以来，abbbbbbbbbbbbaaaaaaaaaaaaaaaaaa经历了很多版本，目前企业中用的最多的是Java8和Java11，因为这两个是长期支持版本，下一个长期支持版本是Java17，相信在未来不久Java17也会逐渐登上历史舞台";

        //需求1:按照ab+的方式爬取ab，b尽可能多获取
        String regex = "ab+";
        Pattern p = Pattern.compile(regex);
        Matcher m = p.matcher(str);
        while (m.find()){
            System.out.println(m.group());
        }

        //需求2:按照ab+的方式爬取ab，b尽可能少获取
        String regex2 = "ab+?";
        Pattern p2 = Pattern.compile(regex2);
        Matcher m2 = p2.matcher(str);
        while (m2.find()){
            System.out.println(m2.group());
        }
    }

正则表达式在字符串方法中的使用

在这里插入图片描述

    public static void main(String[] args) {
        /*
        * 有一段字符串:小诗诗dqwefqwfqwfwq12312小丹丹dqwefqwfqwfwq12312小惠惠
            要求1:把字符串中三个姓名之间的字母替换为vs
            要求2:把字符串中的三个姓名切割出来
        * */

        String str = "小诗诗dqwefqwfqwfwq12312小丹丹dqwefqwfqwfwq12312小惠惠";

        //要求1:把字符串中三个姓名之间的字母替换为vs
        //按照正则表达式的规则进行替换
        /*
        * 细节：
        * 方法在底层跟之前一样也会创建文本解析器的对象
        * 然后从头开始去读取字符串中的内存，只要有满足的，那么就用第二个参数去替换
        * */
        String result = str.replaceAll("[\\w&&[^_]]+", "VS");
        System.out.println(result);  // 小诗诗VS小丹丹VS小惠惠

        //要求2:把字符串中的三个姓名切割出来
        //按照正则表达式的规则切割字符串
        String[] arr = str.split("[\\w&&[^_]]+");
        for (int i = 0; i < arr.length; i++) {
            System.out.println(arr[i]);
        }
    }

捕获分组和非捕获分组

分组

分组就是一个小括号

在这里插入图片描述

每组是有组号的，也就是序号
规则1： 从1开始，连续不间断
规则2： 以左括号为基准，最左边的是第一组，其次为第二组，以此类推。

捕获分组

捕获分组就是把这一组的数据捕获出来，再用一次

public static void main(String[] args) {
        //需求1:判断一个字符串的开始字符和结束字符是否一致?只考虑一个字符
        //举例: a123a b456b 17891 &abc& a123b(false)
        // \\组号:表示把第X组的内容再出来用一次
        String regex1 = "(.).+\\1";
        System.out.println("a123a".matches(regex1)); //true
        System.out.println("b456b".matches(regex1)); //true
        System.out.println("17891".matches(regex1)); //true
        System.out.println("&abc&".matches(regex1)); //true
        System.out.println("a123b".matches(regex1)); //false

        System.out.println("----------------------------------");

        //需求2:判断一个字符串的开始部分和结束部分是否一致?可以有多个字符
        //举例: abc123abc b456b 123789123 &!@abc&!@ abc123abd(false)
        String regex2 = "(.+).+\\1";
        System.out.println("abc123abc".matches(regex2)); //true
        System.out.println("b456b".matches(regex2)); //true
        System.out.println("123789123".matches(regex2)); //true
        System.out.println("&!@abc&!@".matches(regex2)); //true
        System.out.println("abc123abd".matches(regex2)); //false

        System.out.println("--------------------------------");
        
        //需求3:判断一个字符串的开始部分和结束部分是否一致?开始部分内部每个字符也需要一致
        //举例: aaa123aaa bbb456bbb 111789111 &&abc&&
        //(.):把首字母看做一组
        // \\2:把首字母拿出来再次使用
        // *:作用于\\2,表示后面重复的内容出现日次或多次
        String regex3 = "((.)\\2*).+\\1";
        System.out.println("aaa123aaa".matches(regex3)); //true
        System.out.println("bbb456bbb".matches(regex3)); //true
        System.out.println("111789111".matches(regex3)); //true
        System.out.println("&&abc&&".matches(regex3)); //true
        System.out.println("aa123bb".matches(regex3)); //false
    }

后续还要继续使用本组的数据
正则内部使用： \组号
正则外部使用： $组号

public static void main(String[] args) {
        /*需求:
            将字符串：我要学学编编编编程程程程程程。
            替换为：我要学编程*/

        String str = "我要学学编编编编程程程程程程";

        //  (.)表示把重复内容的第一个字符看做一组
        //  \\1表示第一字符再次出现
        //  + 至少一次
        //  $1 表示把正则表达式中第一组的内容，再拿出来用
        String new_str = str.replaceAll("(.)\\1+", "$1");

        System.out.println(str);
        System.out.println(new_str);
    }

非捕获分组

非捕获分组：分组之后不需要再用本组数据，仅仅是把数据括起来。
特点:不占用组号
在这里插入图片描述

//身份证号码的简易正则表达式
//非捕获分组:仅仅是把数据括起来
//特点:不占用组号
//这里\\1报错原因:(?:)就是非捕获分组，此时是不占用组号的。


//(?:) (?=) (?!)都是非捕获分组//更多的使用第一个
//String regex1 ="[1-9]\\d{16}(?:\\d|x|x)\\1";
String regex2 ="[1-9]\\d{16}(\\d Xx)\\1";
//^([01]\d|2[0-3]):[0-5]\d:[@-5]\d$

System.out.println("41080119930228457x".matches(regex2));

http://www.niftyadmin.cn/n/5340992.html

相关文章

PLC-IoT 网关开发札记（6）: Xamarin.Forms 的 CollectionView 绑定了什么？

PLC-IoT 网关开发札记（6）: Xamarin.Forms 的 CollectionView 绑定了什么？

需求&#xff1a;使用 CollectionView 呈现数据列表和按钮动作 项目开发中不可避免地会遇到在一个页面中呈现列表的情况&#xff0c;使用 CollectionView 作为容器是很方便的。CollectionView 中显示的数据对应于后台的一个 IEnumerable 派生的列表&#xff0c;常用的是 List&…
阅读更多...
valgrind安装使用教程

valgrind安装使用教程

安装 valgrind官网下载链接 安装过程&#xff1a; tar -xf valgrind-3.22.0.tar.bz2 cd valgrind-3.22.0/ ./configure make make install使用 基本工具 Memcheck&#xff0c;检测内存错误使用问题Callgrind&#xff0c;检查程序函数调用过程中出现的问题Cachegrind&#x…
阅读更多...
logback排除指定包类方法的日志

logback排除指定包类方法的日志

logback排除指定包\类\方法的日志 修改logback.xml <!--排除指定包--> <logger name"com.servier" level"OFF"/><!--排除指定类--> <logger name"com.servier.UserServier" level"OFF"/><!--排除指定指定…
阅读更多...
gitlab.rb主要配置

gitlab.rb主要配置

根据是否docker安装，进入挂载目录或安装目录 修改此文件，我一般是在可视化窗口中修改，有时候也在命令行手敲 将下面的配置复制到该文件中 external_url http://192.168.100.50 # nginx[listen_port] = 8000 （docker安装的这一行不需要，因为端口映射导致此处修改会导致访问…
阅读更多...
k8s-helm

k8s-helm

Helm: 什么是helm,在没有这个heml之前&#xff0c;deployment service ingress的作用就是通过打包的方式&#xff0c;把deployment service ingress这些打包在一块&#xff0c;一键式的部署服务&#xff0c;类似于yum 官方提供的一个类似于安全仓库的功能&#xff0c;可以实现…
阅读更多...
算法通关村番外篇-面试150题一

算法通关村番外篇-面试150题一

大家好我是苏麟 , 今天开始LeetCode面试经典150题 . 大纲 26. 删除有序数组中的重复项80. 删除有序数组中的重复项 II 26. 删除有序数组中的重复项 描述 : 给你一个 非严格递增排列 的数组 nums &#xff0c;请你 原地 删除重复出现的元素&#xff0c;使每个元素 只出现一次 …
阅读更多...
【css技巧】css实现边框渐变

【css技巧】css实现边框渐变

海鲸AI-ChatGPT4.0国内站点&#xff0c;支持设计稿转代码&#xff1a;https://www.atalk-ai.com 在CSS中实现边框渐变效果&#xff0c;你不能直接应用渐变到border属性上&#xff0c;因为CSS标准不支持这样的操作。但是&#xff0c;你可以使用一些技巧来模拟边框渐变的效果。以…
阅读更多...
Linux命令_vim的详细用法

Linux命令_vim的详细用法

简介 vim是一款针对Linux和其他类Unix操作系统的文本编辑器。它是Vi编辑器的升级版本&#xff0c;具有丰富的功能和强大的扩展性。vim有三种基本模式&#xff1a;命令模式、插入模式和可视模式。 命令模式&#xff1a;用户可以使用各种命令移动光标和进行编辑操作&#xff0c;如…
阅读更多...
最新文章

Copyright @ 2022~2023