java实现爬虫改变人生!

news/2024/7/19 9:54:28 标签: java, 爬虫, box, 艳辉网, 下载

写代码让你怀疑人生,那爬虫定会改变你人生,爬取你需要的torrent,当然高级点的网站都反爬虫

下面就爬取一下电影的网站

http://www.xunleigang.net/html/aiqing/

1、Elements links=doc.select(".bcr_box dl");

2、Elements links21 = link.getElementsByTag("dt");  
        Elements links31 = link.getElementsByTag("dd");  
        Elements links21_ = links21.get(0).getElementsByTag("i");  
        Elements links22_ = links21.get(0).getElementsByTag("a");  
        Elements links31_ = links31.get(0).getElementsByTag("img");  
        String links21__ = links21_.toString();
        String links22__ = links22_.attr("href");
        String links23__ = links22_.text().toString();
        String links31__ = links31_.attr("src");
        links21__ = links21__.substring(3, links21__.lastIndexOf("<"));
        Calendar a = Calendar.getInstance();
        links21__ = a.get(Calendar.YEAR) + "-" + links21__;
        //      System.out.println(links21__); //电影时间
        //      System.out.println(links22__); //电影详情
        //      System.out.println(links23__); //电影名称
        //      System.out.println(links31__); //电影图片
        //      Map<String,String> replaceImgMap=downLoadImags(imgUrlList); // 下载图片
        //      String newContent=replaceWebPageImages(content,replaceImgMap); // 替换图片
        //String links44__ = downLoadImags(links31__); // 下载图片

3下载图片
InputStream inputStream=entity.getContent();
                    String imageType=entity.getContentType().getValue();
                    String urlB=imageType.split("/")[1];
//                  System.out.println(imageType);
                    String currentDatePath=DateUtil.getCurrentDatePath(); // 当年年月日路径
                    String uuid=UUID.randomUUID().toString(); // uuid
                    String newPath="http://localhost:8080/CnBlog/static/blogImages/"+currentDatePath+"/"+uuid+"."+urlB;
                    result = newPath;
                    FileUtils.copyToFile(inputStream, new File(PropertiesUtil.getValue("imageFilePath")+currentDatePath+"/"+uuid+"."+urlB));

详细下载地址:
链接:http://pan.baidu.com/s/1boOHfFD 密码:mkln

全CSDN的丰(好)色(se)博客,这里有书本看不到的Java技术,电影院禁播的电影,欢迎关注QQ群494808400


http://www.niftyadmin.cn/n/785649.html

相关文章

JSON 序列化

/// <summary>/// 将对象序列化为JSON格式/// </summary>/// <param name"o">对象</param>/// <returns>json字符串</returns>public static string SerializeObject(object o){string json JsonConvert.SerializeObject(o);re…

大数据架构五个顶级框架你知道几个

自从像AWS这样的公共云产品开辟了大数据分析功能以来&#xff0c;小企业通过挖掘大量的数据做到只有大企业才能做到的事情&#xff0c;至今大约有10年时间。这些事情其中包括网络日志、客户购买记录等&#xff0c;并通过按使需付费的方式提供低成本的商品集群。在这十年中&…

jxls实现多sheet的报表导出

大家都说软件工程就是吹水&#xff0c;水越高工程越大。项目越大&#xff0c;要写的文档就越多&#xff0c;特别是excel报表之类&#xff0c;然后就想定义一个excel模板&#xff0c;像写jsp那样&#xff0c;往里面传数据就可以&#xff0c;现在jxls完全可以轻松搞定&#xff0c…

Java反射理解

什么是Java反射机制 JAVA反射机制是在运行状态中&#xff0c;对于任意一个类&#xff0c;都能够知道这个类的所有属性和方法&#xff1b;对于任意一个对象&#xff0c;都能够调用它的任意一个方法&#xff1b;这种动态获取的以及动态调用对象的方法的功能称为Java的反射机制。 …

大数据入门选择python大数据么?现在程序员都是喜欢这个

Python是适合做大数据分析的计算机语言吗?如今是一个大数据时代&#xff0c;通过数据分析&#xff0c;我们可以得到任何我们想知道的事情&#xff0c;充分挖掘数据的价值。之前有人说过JAVA语言是最适合做数据分析的计算机编程语言之一&#xff0c;在这里&#xff0c;我想说其…

poi实现Excel模板的报表导出

前言&#xff1a;会用jxls的&#xff0c;就不会不懂poi的&#xff0c;他们的区别就不一一说道&#xff0c;现在就看看poi是怎么玩的。 List<Map<String, Object>> listMap new ArrayList<Map<String, Object>>();for (int i 0; i < 100; i) {Map&…

白话经典算法系列之十 一道有趣的GOOGLE面试题

微博http://weibo.com/MoreWindows已开通&#xff0c;欢迎关注。最近在微博上看到一道有趣的GOOGLE面试题&#xff0c;见下图&#xff1a;文字版&#xff1a;一个大小为n的数组&#xff0c;里面的数都属于范围[0, n-1]&#xff0c;有不确定的重复元素&#xff0c;找到至少一个重…

Vue.js,select中的option用ajax想循环控制值的显示 v-model可以实现但提示报错,这是为什么?...

应该将v-model换成&#xff1a;value&#xff0c;因为v-model只能绑定一个值&#xff0c;无法绑定多个值 <select v-model"citys"> <option v-for"(item,index) in city" :value"item.val" v-text"item.name" ><…