Webページを再帰的に辿り条件にあったコンテンツをダウンロードしていくプログラムを書くつもりでしたが(途中まで書いた)、wget
コマンドですでに実装されていたので開発を中止しました。とはいえ、Python経由再帰的なリンクツリーを作成したい欲求はあるので、wget-spyderにてwget
のPythonバインディングのようなものを作成しようと思います。後に個人的に参考にしたいコードが幾つかあるので、このリポジトリ自体は残しておきます。
uehara1414 / extremecrawler Goto Github PK
View Code? Open in Web Editor NEWList up all pages in a website.
License: MIT License