最终目标:打造一个分析系统。
scrapy crawl stock_list
scrapy crawl stock_detail
scrapy crawl territory
scrapy crawl concept
scrapy crawl industry_zjh
scrapy crawl industry_sw
scrapy crawl report -a quarter=S0 -a crawl_mode=append -a report=balance
- quarter:
- S0 所有单季报
- all 所有报告期报表
- crawl_mode:
- append 增量采集
- all 全量采集
- report:
- balance 资产负债表
- income 利润表
- cash_flow 现金流量表
- indicator 主要指标
- start_year: 报表开始年
- end_year: 报表截止年
如果发现有数据丢失,可以修复数据:
scrapy crawl stock_report -a quarter=S0 -a report=balance -a code=SZ300576
python manage.py update_last_report_date [--single] // 更新最后报表日期
python manage.py clean_migrations
python manage.py seed_options
python manage.py seed_report_types
params:
name
code
params:
type
: value is证监会分类
or申万行业分类
params:
omit
: 排除的字段, 例如 omit=stocks,idfileds
: 指定字段
params:
omit
: 排除的字段, 例如 omit=stocks,idfileds
: 指定字段
params:
omit
: 排除的字段, 例如 omit=stocks,idfileds
: 指定字段
params:
stock
: 股票IDreport_type
: report_type IDquarter_str
: 季度,例如:2018-2
params:
stock
: 股票IDreport_type
: report_type IDquarter_str
: 季度,例如:2018-2
params:
stocks
: 股票列表 ID 字符串, 逗号,
号分隔,例如 stocks=25,36,456subject
: subject IDis_single
: 是否单季度报quarter
: 季度, such as 2018-2