Code Monkey home page Code Monkey logo

doubanwebspider's Introduction

豆瓣图书信息采集

功能:根据书名采集豆瓣图书信息,并将结果写入到本地excel文件中。

说明

普通使用

1 如果你只是想使用这个小工具,请直接下载windows可执行文件压缩包。

解压后找到里面的"豆瓣图书信息采集.exe"

select_exe

解压后是一个exe可执行文件,直接打开即可使用。

2 安装火狐浏览器

如果提示当前火狐浏览器不可用,请卸载当前的火狐浏览器并安装最新版本的火狐浏览器,并下载最新版本的GeckoDriver,然后将下载完成的"geckodriver.exe"放到项目tools文件夹下。

3 将需要采集豆瓣图书信息的书名放到一个excel文件里

4 运行"豆瓣图书信息采集.exe",指定excel文件路径以及文件中指定采集的书名的列名,默认为"书名"

run

5 开始采集,过程中会自动打开系统自带的火狐浏览器

image-20200816225501700

采集完成后,会自动将采集结果写入到当前程序所在的文件夹下一个名为"采集完成的豆瓣图书信息.xlsx"

result_example

开发者使用

如果你熟悉python,以下是启动流程

1 使用以下指令clone到本地

`git clone https://github.com/xugongli/doubanWeSpider.git

2 安装依赖

pip install -r requirements.txt

3 安装火狐浏览器

如果提示当前火狐浏览器不可用,请卸载当前的火狐浏览器并安装最新版本的火狐浏览器,并下载最新版本的GeckoDriver,然后将下载完成的"geckodriver.exe"放到项目tools文件夹下。

4 启动

python main.py

联系我

如果在使用过程中遇到无法解决的问题,你可以通过关注我的公众号 人文互联网 找到我。

另外,也可以通过提交issue的方式提交问题。

rewnwen_wechat

doubanwebspider's People

Contributors

soaringsoul avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.