本爬虫使用了scrapy框架，功能为采集国家统计局2009年~迄今国家统计局统计用区划和城乡划分代码。

也可以只采集指定年份的计用区划和城乡划分代码

国家统计局统计用区划和城乡划分代码页面如如下图所示：

使用 pip install -r requirements.txt安装以下依赖库

bs4==0.0.1
fake-useragent==0.1.11
pandas==0.23.4
PyMySQL==0.9.2
Scrapy==1.5.1
SQLAlchemy==1.2.12
Twisted==18.7.0

注意：

• scrapy中使用到了Twisted框架，如果在安装scrapy过程中提示Twisted安装错误：

  可以到https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载Twisted 的离线文件安装。

• 若出现 ImportError: No module named 'win32api' 错误，下载安装

  pywin32

• 本爬虫默认采集 国家统计局统计用区县和城乡代码页面下2009年迄今为止所有年份的数据； 2017年的时候采集了2009~2016年8年间数据，大概是65万左右。

  截止到本月（2018年10月），已经有2009-2017年共9年的的数据，数据量预计在72万左右，因为scrapy框架自带多线程，后来又对采集存储的pipeline进行了优化，速度相对较快了，全部采集完预计要6~8个小时。

  如果只设置采集一个年份的数据，估计在1个小时内采集完毕，当然前提是网络较好。

• 因为数据量较大，所以使用了 mysql 作为存储工具，可在setting.py里设置，具体设置方法如下：

    # 配置mysql, 使用sqlalchemy的creteengine
    user = "root"  # mysql用户名
    passwd = "123456"  # mysql用户密码
    host = "localhost"  # mysql ip address
    
    db = "your_database_name"  # 用于设置数据库名，这个必须提前创建好
    charset = 'utf8'  # 指定编码
  
    # sqlalchemy配置信息，只需要在上面填写好mysql信息即可
  
    mysql_settings = "mysql+pymysql://{user}:{passwd}@{host}/{db}?charset={charset}".format(user=user, passwd=passwd,
                                                                                            host=host, db=db,
                                                                                            charset=charset)
    engine = create_engine(mysql_settings)
    
    # 设置数据库表名，在这里填写名字即可，若不存在会自动创建
    write_sql_table_name = "stats_gov_cn_data"
  

• 默认采集所有年份的数据，如果仅需要采集指定年份的数据，只需要在setting.py里设置year_settings为指定年份即可，注意输入数字，不要带引号""，如下所示：

  year_settings = 2017

• 其他设置参考 scrapy官方文档。

两种启动方式：

• 在程序根目录，运行python run.py

​

​* 在程序根目录，运行scrapy crawl stats_spider

• mysql中查询结果示例

• 导出的excel结果示例