hsheric0210 / parallelpixivutil2 Goto Github PK
View Code? Open in Web Editor NEWRun PixivUtil2 in parallel to download images faster (and get banned faster)
Run PixivUtil2 in parallel to download images faster (and get banned faster)
Aria2에 대한 지원을 추가함으로써 더 빠른 이미지 다운로드 속도 보장
실행 단계를
(원래 계획은 일단 aria2를 이용하여 이미지들을 모두 다운로드한 뒤, 다시 pixivutil2를 실행하여 파일명을 변경하고, 올바른 경로로 파일을 옮기는 것이었지만,
아래의 aria2 input file의 'dir' 속성과 'out' 속성을 사용하면 매우 쉬운 일이 될 것으로 보인다)
참고:
기존의 '모든 IPC, 상태, 오류 메시지를 전부 다 보여주는' 로깅 방식을 버리고
여러 개의 워커가 각각 현재 어떤 작업을 처리하고 있는지, 얼마나 처리했는지(진행 상황), 얼마나 남았는지 등과
실행 시간, 남은 작업 갯수 등을 워커 별로 나타내고
기타 오류나 끝난 작업 알림 등과 같은 것은 상태 표 윗쪽에 나타나도록 처리하는 식으로 개선 요망
사진 출처: Youtube
ZeroMQ를 통한 ipc를 구현해서 여러 ffmpeg 인스턴스가 구동되면 컴퓨터가 얼어버리는 현상을 parallelpixivutil2에서 순차 처리하게 함으로서 근본적으로 수정하기.
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.