Scrapy项目创建 - 从零搭建爬虫项目完整指南

一、Scrapy项目概述

Scrapy项目是爬虫开发的基础单元，包含爬虫代码、数据定义、处理管道、配置文件等。通过startproject命令可以快速创建标准的项目结构。了解项目各文件的作用和配置方式，是开发Scrapy爬虫的第一步。

一个完整的Scrapy项目遵循约定优于配置的原则，自动组织好各个功能模块。这种标准化的项目结构让团队协作更加方便，也便于后续的项目维护和部署。更多关于项目结构的信息可以参考 Scrapy官方命令文档。

二、创建项目的基本语法

Scrapy提供了简洁的命令行工具来管理项目生命周期：

# 创建项目
scrapy startproject project_name [project_dir]

# 查看项目信息（列出所有可用爬虫）
scrapy list

# 查看设置
scrapy settings [options]

其中project_name是必填参数，指定项目名称；project_dir是可选参数，指定项目存放目录，默认为与项目名相同的目录。

三、参数详解

startproject 参数

项目文件说明

四、代码示例

示例1：创建标准项目

在命令行中执行以下命令创建一个新闻爬虫项目：

# 创建项目
scrapy startproject news_crawler

# 查看生成的文件（Windows系统使用 dir 命令）
dir news_crawler /s

输出结果：

New Scrapy project 'news_crawler', using template directory '...'
created in:
    /path/to/news_crawler

You can start your first spider with:
    cd news_crawler
    scrapy genspider example example.com

示例2：scrapy.cfg配置文件

scrapy.cfg是项目的入口配置文件，由Scrapy自动生成，通常不需要修改：

# Automatically created by: scrapy startproject
[settings]
default = news_crawler.settings

[deploy]
project = news_crawler

这个文件指定了默认的settings模块路径，以及部署时的项目名称。如果项目需要部署到Scrapyd服务器，可以在[deploy]段中添加服务器地址。

示例3：settings.py关键配置

settings.py是Scrapy项目的核心配置文件，以下是常用配置项及其说明：

# settings.py 关键配置项

# 项目名称（自动设置）
BOT_NAME = 'news_crawler'

# 爬虫模块搜索路径
SPIDER_MODULES = ['news_crawler.spiders']
NEWSPIDER_MODULE = 'news_crawler.spiders'

# 是否遵守robots.txt协议（生产环境建议为True）
ROBOTSTXT_OBEY = True

# 最大并发请求数（默认16）
CONCURRENT_REQUESTS = 16

# 下载延迟（秒），控制请求间隔
DOWNLOAD_DELAY = 1

# 默认请求头
DEFAULT_REQUEST_HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    'Accept': 'text/html,application/xhtml+xml',
}

# 启用的Pipeline（取消注释即可启用）
# ITEM_PIPELINES = {
#     'news_crawler.pipelines.NewsCrawlerPipeline': 300,
# }

# 自动限速扩展（智能控制爬取速度）
# AUTOTHROTTLE_ENABLED = True
# AUTOTHROTTLE_START_DELAY = 1
# AUTOTHROTTLE_MAX_DELAY = 10

CONCURRENT_REQUESTS：控制全局最大并发请求数，数值越大采集越快，但也更容易被目标网站封禁。一般建议从16开始，根据目标网站的承受能力调整。
DOWNLOAD_DELAY：下载延迟，单位秒。设置为1表示每次请求之间间隔1秒。这是控制爬取速度最直接的方式。
AUTOTHROTTLE：自动限速扩展，根据服务器响应时间动态调整请求速度，是比固定延迟更智能的限速方式。

五、实际应用场景

• 开始新的爬虫项目：使用标准结构组织代码，快速搭建项目骨架，避免从零开始配置。

• 团队协作开发：统一的项目结构和配置规范让团队成员能够快速理解项目架构，提高协作效率。

• 项目部署：通过scrapy.cfg配置部署信息，配合Scrapyd实现爬虫的远程部署和管理。

六、注意事项

命名规范：项目名称必须符合Python包命名规范（字母、数字、下划线，不能以数字开头，不能包含空格和特殊字符）。推荐使用小写字母和下划线的组合。

工作目录：不要在项目目录外直接运行scrapy命令，需先进入项目目录（cd news_crawler），否则Scrapy可能无法正确加载配置文件。

robots.txt：settings.py中的ROBOTSTXT_OBEY默认为True，会遵守robots.txt限制。如果需要采集被robots.txt禁止的路径，请确保你的行为合法合规。

下载延迟：生产环境中务必设置DOWNLOAD_DELAY避免对目标服务器造成压力。建议至少设置为1秒，对于小型网站可以设置为2-3秒。

七、Scrapy常用命令对比

八、小结与练习题

本节小结

• 项目创建：startproject命令创建标准项目结构，包含所有必要文件。

• 配置文件：scrapy.cfg是项目入口配置，settings.py是核心配置文件。

• 命名规范：项目名称需符合Python包命名规范。

• 开发准备：开发前应根据需求调整settings.py中的关键配置。

练习题