python -m crawler --debug --province xxx --city xxx
python -m crawler --all --workers ?? \
--metadata-output OUTDIR
python -m db-writer --db-host DB_ADDR \
--db-port DB_PORT \
--db-user DB_USER \
--db-pswd DB_PSWD \
--database DATABASE_NAME \
--table TABLE_NAME \
--metadata-path METADATA_SAVING_PATH
建议对爬虫抓取的数据数量进行限制以缩短测试时间.
python -m crawler --debug --download-files --province xxx --city xxx
-
运行爬虫需要使用Python 3.6及以下的版本, 参考CSDN: SSL: SSLV3_ALERT_HANDSHAKE_FAILURE.
-
如果要在VS Code中使用Black Formatter, 可以临时切换到Python 3.7或以上的版本.