Scrapy框架之全局配置文件settings.py详解
前言
settings.py 文件是 Scrapy框架下，用来进行全局配置的设置文件，可以进行 User-Agent 、请求头、最大并发数等的设置，本文中介绍 settings.py 文件下的一些常用配置
正文
1、爬虫的项目目录名、爬虫文件名
BOT_NAME：Scrapy 项目实现的 bot 的名字。用来构造默认 User-Agent，同时也用来 log。 当使用 startproject 命令创建项目时其也被自动赋值。
SPIDER_MODULES：爬虫文件名。
python"># Scrapy settings for Baidu project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
# https://docs.scrapy.org/en/latest/topics/settings.html
# https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
# https://docs.scrapy.org/en/latest/topics/spider-middleware.html
# 爬虫的项目目录名
BOT_NAME = "Baidu"
SPIDER_MODULES = ["Baidu.spiders"]
NEWSPIDER_MODULE = "Baidu.spiders"
2、设置USER_AGENT
USER_AGENT：爬取的默认User-Agent。
python"># Crawl responsibly by identifying yourself (and your website) on the user-agent
# 设置USER_AGENT
USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko)"
3、设置是否遵循robots协议(必须！)
ROBOTSTXT_OBEY：是否遵循 robots 协议，默认为True，需要设置为False 必须要设置的！
python"># Obey robots.txt rules
# 是否遵循robots协议，默认为True，需要设置为False 必须要设置的！
ROBOTSTXT_OBEY = False
4、设置最大并发量
CONCURRENT_REQUESTS：最大并发量，默认为16，可以理解为开多少线程
python"># Configure maximum concurrent requests performed by Scrapy (default: 16)
# 最大并发量，默认为16，可以理解为开多少线程
CONCURRENT_REQUESTS = 16
5、设置下载延迟时间
DOWNLOAD_DELAY：每隔多长时间去访问一个页面(每隔一段时间发请求，降低数据抓取频率)
python"># See also autothrottle settings and docs
# 下载延迟时间：每隔多长时间去访问一个页面(每隔一段时间发请求，降低数据抓取频率)
DOWNLOAD_DELAY = 1
6、设置是否启用Cookie
COOKIES_ENABLED：是否启用Cookie，默认是禁用的，取消注释即为开启Cookie
python"># 是否启用Cookie，默认是禁用的，取消注释即为开启Cookie
# 注释的情况：禁用 ；
# 取消注释并设置为False：找settings.py中DEFAULT_REQUEST_HEADERS中的Cookies
# 取消注释并设置为True：找爬虫文件中Request()方法中的cookies参数，或者中间件
# COOKIES_ENABLED = False
7、设置请求头
DEFAULT_REQUEST_HEADERS：请求头，类似于requests.get()方法中 headers 参数
python"># Override the default request headers:
# 请求头，类似于requests.get()方法中 headers 参数
DEFAULT_REQUEST_HEADERS = {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Language": "en"
}
8、设置是否启用中间件
DOWNLOADER_MIDDLEWARES：开启中间件，项目目录名.模块名.类名:优先级(1-1000不等)
python"># Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
# 开启中间件
# 项目目录名.模块名.类名:优先级(1-1000不等)
# DOWNLOADER_MIDDLEWARES = {
# "Baidu.middlewares.BaiduDownloaderMiddleware": 543,
# }
9、设置是否启用实体管道
ITEM_PIPELINES：开启管道，项目目录名.模块名.类名:优先级(1-1000不等)
python"># Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
# 开启管道
# 项目目录名.模块名.类名:优先级(1-1000不等)
# ITEM_PIPELINES = {
# "Baidu.pipelines.BaiduPipeline": 300,
# }
10、设置保存日志文件及级别
LOG_LEVEL：设置日志级别：DEBUG < INFO < WARNING < ERROR < CARITICAL
LOG_FILE：设置保存日志文件名称
python"># 设置日志级别：DEBUG < INFO < WARNING < ERROR < CARITICAL
LOG_LEVEL = 'INFO'
# 保存日志文件
LOG_FILE = 'KFC.log'
11、设置数据导出编码格式
FEED_EXPORT_ENCODING：设置数据导出的编码"utf-8" “gb18030”
python">FEED_EXPORT_ENCODING = "utf-8" # 设置数据导出的编码"utf-8" "gb18030"
12、定义MySQL数据库相关变量
MYSQL_HOST：服务器
MYSQL_USER：用户名
MYSQL_PWD：密码
MYSQL_DB：表
CHARSET：编码
python"># 定义MySQL数据库的相关变量
MYSQL_HOST = 'xxxxxxxxx'
MYSQL_USER = 'xxxx'
MYSQL_PWD = 'xxxxxx'
MYSQL_DB = 'xxxxx'
CHARSET = 'utf8'
13、定义MangoDB数据库相关变量
MANGO_HOST：服务器
MANGO_PORT：端口号
MANGO_DB：表
MANGO_SET：编码
python"># 定义MangoDB相关变量
MANGO_HOST = 'xxxxxxxx'
MANGO_PORT = 'xxxxx'
MANGO_DB = 'xxxxx'
MANGO_SET = 'carset'
