Comments (12)
抖音分享的链接 无法获取到数据,例如:https://www.iesdouyin.com/share/video/7274129170744020284
需要将地址改造成如下的地址才可以https://www.douyin.com/video/7274129170744020284
from tiktokdownloader.
抖音分享的链接 无法获取到数据,例如:https://www.iesdouyin.com/share/video/7274129170744020284 需要将地址改造成如下的地址才可以https://www.douyin.com/video/7274129170744020284
第一个链接是怎么拿到的?
from tiktokdownloader.
我就在抖音的分享那点击复制URL得到的分享链接,多数时候得到是:https://v.douyin.com/**的短链接,那个链接不知道是什么情况下会给
from tiktokdownloader.
我就在抖音的分享那点击复制URL得到的分享链接,多数时候得到是:https://v.douyin.com/**的短链接,那个链接不知道是什么情况下会给
一般分享按钮拿到的链接都是 v.douyin
,这种分享链接是支持的。
from tiktokdownloader.
昨天重现了,是分享按钮显示绿色的wechat图标时拿到的就是:[https://www.iesdouyin.com/share/video/***的链接
from tiktokdownloader.
批量下载账号 获取每一页数据时能不能检测下最后一条(最老)数据是否存在于 数据库中?
如存在则不继续抓取后续的页码减少请求,直接使用数据库中的数据?
from tiktokdownloader.
批量下载账号 获取每一页数据时能不能检测下最后一条(最老)数据是否存在于 数据库中? 如存在则不继续抓取后续的页码减少请求,直接使用数据库中的数据?
目前可以使用参数限制请求次数。
from tiktokdownloader.
@JoeanAmier
不是请求次数,限制请求它还是会遍历吧.
或者说限制页数,限制页数可能会有未完全下载,或不知道限制多少页的问题
每次更新的时候都会遍历所有页数.作品较多的非常耗时
第一次已经加载完所有数据了,并存入数据库了
后续更新再请求所有页面完全没必要呀,它已经存在于数据库中了
页数在前面的都是最新的
判断一下每一页最后一个存在于数据库中时后续的用数据库的内容就行了
这种情况下后续更新一般只要抓取一两页就够了
from tiktokdownloader.
刚想了下,可能是想简单了,文案之类的可能没变,但可能链接会变...
唉,可能还得自己来想办法
TikTokDownload是抓取一页下载一页
要临时中断还挺容易的
本脚本是一次性抓取所有页,对python也不熟悉
我得看看怎么样在抓取一页后临时加个判断,看看ID是否存在于IDRecorder.txt中.
存在多次就代表已经下载到历史位置了
可能还得反转抓取数据,从最老的开始下...
from tiktokdownloader.
@JoeanAmier 不是请求次数,限制请求它还是会遍历吧. 或者说限制页数,限制页数可能会有未完全下载,或不知道限制多少页的问题
每次更新的时候都会遍历所有页数.作品较多的非常耗时 第一次已经加载完所有数据了,并存入数据库了
后续更新再请求所有页面完全没必要呀,它已经存在于数据库中了 页数在前面的都是最新的 判断一下每一页最后一个存在于数据库中时后续的用数据库的内容就行了 这种情况下后续更新一般只要抓取一两页就够了
不是所有人都使用数据库格式储存数据;如果设置了发布日期限制,早于该日期的数据不会请求获取;如果有定制需求,建议二次开发。
from tiktokdownloader.
下载评论的时候是先下载所有一级评论再下载二级评论,这样会打破阅读顺序,可以优化为顺序下载或者下载后重排顺序
from tiktokdownloader.
用户搜索的结果和界面显示的不一样。
from tiktokdownloader.
Related Issues (20)
- 英文操作打开程序是乱码 HOT 2
- 运行一段时间后会报错,sqlite3.OperationalError: near "?": syntax error HOT 1
- 有大佬能告诉一下怎么采集视频评论,点赞量等吗 HOT 6
- [solved]f-string error ----python>=3.12 HOT 3
- 终端运行main.py出现cookie实现问题 HOT 3
- 大佬帮看下,模块安装不上导致main.py打不开 HOT 1
- 尝试修复TikTok平台API。 HOT 1
- 关于直播回放 HOT 1
- 获取作品数据时间好长,5秒起步,有点难等呀 HOT 2
- 大佬能否将本项目提交到docker hub? HOT 3
- 怎么用exe文件获取tiktok关键词搜索的评论呀?用源码一直报错 HOT 3
- 抖音收费视频,电脑网页端无法显示,我的收藏里根本没有,只能在app收藏里显示,请问我付费后,您的软件怎么下载 HOT 1
- 大佬帮忙看下。TIKTOK提取失败 HOT 2
- 作者大大请问我下载代码之后本地跑,引入了cookies之后后续执行老是提示这个网络异常是什么问题呀,我网络正常的 HOT 11
- 请问一下,我启用的是api服务,然后如果用登录后的cookie请求,大概请求多少的数据量会被封? HOT 1
- 闪退 TikTokDownloader_V5.3_WIN_SetUp.exe
- 关于作品多张动图下载 HOT 1
- 关于5.4版本 启动全部功能 HOT 1
- 下载的作品命名能付增加点赞评论和转发数目,比如说像 id+描述+标签+收藏数+转发数 这样的文件命名。 HOT 1
- 我这是缺少什么吗 HOT 1
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from tiktokdownloader.