主要使用 Python 写爬虫,暂时先爬取 chuansongme.com 网站的资源和搜狗提供的资料。
使用:
- 可能需要安装开发版Python
- 安装pip
- MySQL 数据库
- Flask 框架
- Flask 默认支持的 [jinja2] (http://jinja.pocoo.org/) 模板
- Flask-MySQL 扩展
- MySQLdb 库
- Requests: HTTP for Humans
- xmltodict 解析XML
安装
sudo apt-get install python-dev
sudo apt-get install python-pip
sudo pip install flask
sudo pip install flask-mysql
sudo pip install requests
sudo pip install xmltodict
初始化
- 修改 sql.py 文件配置,执行
python sql.py