Code Monkey home page Code Monkey logo

desuparser's Introduction

Desu Parser

Desu Parser – это кроссплатформенный скрипт для получения данных с сайта Desu в формате JSON. Он позволяет записать всю информацию о конкретной манге, а также её главах и содержании глав в формате DMP-V1.

Порядок установки и использования

  1. Загрузить последний релиз. Распаковать.
  2. Установить Python версии не старше 3.10. Рекомендуется добавить в PATH.
  3. В среду исполнения установить следующие пакеты: BeautifulSoup4, dublib, Pillow.
pip install BeautifulSoup4
pip install dublib
pip install Pillow

Либо установить сразу все пакеты при помощи следующей команды, выполненной из директории скрипта.

pip install -r requirements.txt
  1. Настроить скрипт путём редактирования Settings.json.
  2. Открыть директорию со скриптом в терминале. Можно использовать метод cd и прописать путь к папке, либо запустить терминал из проводника.
  3. Указать для выполнения главный файл скрипта dp.py, передать ему команду вместе с параметрами, нажать кнопку ввода и дождаться завершения работы.

Консольные команды

collect

Помещает список алиасов тайтлов, обновлённых на сайте за последние два дня, в файл Collection.txt.


getcov [MANGA_SLUG*] [FLAGS]

Загружает обложки конкретного тайтла.

Описание позиций:

  • MANGA_SLUG:
    • Аргумент – алиас тайтла. Обязательная позиция.

Список специфических флагов:

  • -f – включает перезапись уже загруженных обложек.

parce [MANGA_SLUG*] [FLAGS] [KEYS]

Проводит парсинг тайтла с указанным алиасом в JSON формат и загружает его обложки. В случае, если файл тайтла уже существует, дополнит его новыми данными.

Описание позиций:

  • MANGA_SLUG:
    • Аргумент – алиас тайтла. Обязательная позиция.
    • Флаги:
      • -collection – указывает на то, что список тайтлов для парсинга необходимо взять из файла Collection.txt.

Список специфических флагов:

  • -f – включает перезапись уже загруженных обложек и существующих JSON файлов.

Список специфических ключей:

  • --from – указывает, с момента обнаружение какого алиаса необходимо начать парсинг коллекции.

update [FLAGS] [KEYS]

Проводит парсинг тайтлов, обновлённых за интервал времени, указанный в Settings.json.

Список специфических флагов:

  • -f – включает перезапись уже загруженных обложек и существующих JSON файлов;
  • -local – обновляет все локальные файлы JSON.

Список специфических ключей:

  • --from – указывает алиас тайтла, с момента обнаружения которого в списке обновляемых тайтлов необходимо начать обработку обновлений, а eсли таковой не был обнаружен, скрипт пропустит все обновления.

Неспецифические флаги

Данный тип флагов работает при добавлении к любой команде и выполняет отдельную от оной функцию.

  • -s – выключает компьютер после завершения работы скрипта.

Settings.json

"sizing-covers": false

Указывает, нужно ли определять и записывать в JSON разрешение обложки и слайдов.


"use-id-instead-slug": false

При включении данного параметра файлы JSON и директория обложек тайтла будут названы по ID произведения (коим считается ID первой главы тайтла), а не по алиасу.


"covers-directory": ""

Указывает, куда сохранять обложки тайтлов. При пустом значении будет создана папка Covers в исполняемой директории скрипта. Рекомендуется оформлять в соответствии с принципами путей в Linux, описанными здесь.


"titles-directory": ""

Указывает, куда сохранять JSON-файлы тайтлов. При пустом значении будет создана папка Titles в исполняемой директории скрипта. Рекомендуется оформлять в соответствии с принципами путей в Linux, описанными здесь.


"delay": 1

Устанавливает интервал в секундах между последовательными запросами к серверу.


"tags": {
	"название жанра": "название тега",
	"название жанра": null
}

В данном разделе можно указать список жанров, которые будут помечены как теги, а также, при необходимости, задать для них новые названия. Переопределённые жанры удаляются из оригинального списка.

Copyright © DUB1401. 2023-2024.

desuparser's People

Contributors

dub1401 avatar

Watchers

 avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.