Code Monkey home page Code Monkey logo

python-image-dowloader's Introduction

python image-downloader

nozomi.la API in Python. with rule34 API!

Release 4.0.0

  • интерактивный запуск

  • возможность удаления дубликатов

  • почти полный рефакторинг приложения

  • В мульти указано свыше 40 артистов и наборов тегов для загрузки общим объемом свыше 180к файлов и 80+ гигабайт данных.

  • Загружается также медленно, как и в версиях 3.х.х. Это связано с тем, что сервера nozomi и rule34 не такие производительные, как сервера того же вконтакте.

  • Ограничение не через семафор, а лимит одноверменных подключений. Если убрать лимит, сервер будет присылать ошибки 503.

The original author and code

https://github.com/Alfa-Q/python-nozomi

How to use

  • Не рекомендуется скачивать очень крупные теги, возвращающие в результате более 10 тысяч id постов. Например "loli", "animated"
  • При скачивании с nozomi количество файлов может превышать количество постов. Это норма. С rule34: 1 пост - 1 файл, но размер файлов значительно больше.
  • Изменение лимита для семафоров может привести к непредсказуемым последствиям, вплоть до сломанных файлов или бана вашего IP.
  • rule34 работает постранично для АПИ. Если получать не по 100 результатов, в набор постов могут попасть не все файлы, могут возникать непредвиденные ошибки. Лучше подождать пару минут, пока идет получение списка постов, чем недождаться и словить "api abuse"
  • Для работы с данным ПО достаточно запустить main.py файл в VS Code. Если не запускается, вероятно, нужно установить недостающие библиотеки в python.

python-image-dowloader's People

Contributors

dependabot[bot] avatar solitaryspiral avatar

Stargazers

 avatar

Watchers

 avatar

python-image-dowloader's Issues

Сервер предоставляет файлы медленно.

Не смотря на простой код многопоточность, асинхронного, мультипроцессорность не делают скачивание быстрым. Не позволяют использовать всю пропускную способность сети. Количество файлов за единицу времени скачивается меньше, чем средняя скорость трафика сети клиента.

Должен быть способ получать файлы гораздо быстрее и больше, и не получить бан по ip за api abuse.

buffer size problem

In some cases, when artist tag have Upper case letters.
post_ids = list(struct.unpack(f'!{total_ids}I', bytearray(response.content)))
breaks down to error

File "d:\ghd\python-nozomi-3.0.0\nozomi\api.py", line 174, in _get_post_ids
struct.error: unpack requires a buffer of 152 bytes

--buffer size problem
positive_tags = ['artist:PossumMachine⚠️']
positive_tags2 = ['artist:Libidoll']
positive_tags3 = ['artist:AliceBunnie']
positive_tags4 = ['artist:SPICYdias']

nozomi data isue

  • negative tags doesn't work correctly.

  • good tags may have problems, when tag character and tag artist have same name. negative tag don't except artist tag.
    for example:
    sherry
    image

  • Bad search: nozomi has tag search with blue tag, red tag as artist tag and green as character tag, but in some cases image searching no have difference in them. It can download extra post, that you don't need. Some tags of character tag are blue and green with low difference.
    image
    and
    image

  • Also need something for good searching to avoid extra tags

positive_tags17 = ['marie']
positive_tags18 = ['marie_rose']
positive_tags19 = ['marierose']

or

positive_tags7 = ['Vanellope']
positive_tags11 = ['vanellope']
positive_tags4 = ['vanellope_von_schweetz']

or

positive_tags10 = ['Sarah']
positive_tags12 = ['sarah_(the_last_of_us)']

broken files

sometimes request file_type not equal content_type.

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.