先上福利图：
图片描述" title="" />

需求：利用爬虫将网上的图片下载到本地，然后超大图标预览。这里的文件命名是以时间年月日+标题命名。这里的网站就不告诉大家了，你们都比我懂。。。然后下载完后，把url写进txt中，下次爬取先从txt中判断是否存在，存在则不爬取该链接。

/*业务 start*/
            String s_url = s_[0];
            //判断url是否写入
            if(!checkTxtEsist(txtFileName,s_url)){
                String dirName = s_[2];
                String time = s_[4].replaceAll(timeReplace, string">"");
                File dirFile = new File(baseDir+time+dirName);
                if(!dirFile.exists()){
                    dirFile.mkdirs();
                    logger.info(string">"创建文件夹-'{}'成功",time+dirName);
                }
                //统计页数
                String htmlSource2 = _cmsUtil.getHtmlResourceByUrl(s_url,encoding);
                htmlSource2 = htmlSource2.replaceAll(string">"\\s", string">"");
                pat2 = pat2.replaceAll(string">"\\s", string">"");
                Pattern pattern2 = Pattern.compile(pat2);
                Matcher matcher2 = pattern2.matcher(htmlSource2);
                String result2 = string">"";
                while(matcher2.find()){
                    result2 += matcher2.group(1);
                }
                int pageNum = _bigDataUtil.serachWord(result2, string">"<span>");
                if(pageNum == 0){
                    pageNum = 1;
                }

                //下载图片
                for(int i = 0 ; i < pageNum; i++){
                    String s_url3 = s_url +string">"/"+ (i+1);
                    String htmlSource3 = _cmsUtil.getHtmlResourceByUrl(s_url3,encoding);
                    htmlSource3 = htmlSource3.replaceAll(string">"\\s", string">"");
                    pat3 = pat3.replaceAll(string">"\\s", string">"");
                    Pattern pattern3 = Pattern.compile(pat3);
                    Matcher matcher3 = pattern3.matcher(htmlSource3);
                    while(matcher3.find()){
                        String picUrl = matcher3.group(2);
                        logger.info(string">"正在爬取图片：{}",picUrl);
                        _cmsUtil.downImages(baseDir+time+dirName, picUrl);
                    }
                }


                //写入追加txt
                try {
                    _txtUtil.addTxtContent(txtFileName, s_url+string">",");
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
            /*业务 end*/
            //需要util方法可以联系QQ490647751

可以加Q490647751，回复‘开通VIP获取Java爬虫技术批量下载美女图片不是事’获取代码学习。