Comments (3)
hermanWu55
commented on May 28, 2024
加一 有同样的问题，本人的感觉是 你的文字过于粗略，因为 CLIP利用的图文对，文本是长文本。这可能导致 样本分布偏差。当你的文本足够长的时候，它的相似度得分可能会变得低起来
from chinese-clip.
yumianhuli1
commented on May 28, 2024
加一 有同样的问题，本人的感觉是 你的文字过于粗略，因为 CLIP利用的图文对，文本是长文本。这可能导致 样本分布偏差。当你的文本足够长的时候，它的相似度得分可能会变得低起来
长了确实不行，估计和训练用的文本和维度都相差太大，造成判分混乱。不知道有什么好的间接解决方案没。。
from chinese-clip.
hermanWu55
commented on May 28, 2024
是的 chinese clip利用的wukong数据集是新闻图集，图文对 中，文本的描述非常详尽。如果说使用的时候，文本很简单 或者不像他们的文本一样。那么区分就不会很明显了。相对正负样本 得分都差不多
获取Outlook for Android<https://aka.ms/AAb9ysg>
…________________________________
From: yumianhuli ***@***.***>
Sent: Saturday, February 17, 2024 4:02:30 PM
To: OFA-Sys/Chinese-CLIP ***@***.***>
Cc: hermanWu55 ***@***.***>; Comment ***@***.***>
Subject: Re: [OFA-Sys/Chinese-CLIP] 相似度计算实测下来完全不对 (Issue #255)
加一 有同样的问题，本人的感觉是 你的文字过于粗略，因为 CLIP利用的图文对，文本是长文本。这可能导致 样本分布偏差。当你的文本足够长的时候，它的相似度得分可能会变得低起来
长了确实不行，估计和训练用的文本和维度都相差太大，造成判分混乱
―
Reply to this email directly, view it on GitHub<#255 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/A5V6CIFMZYCPQHDGUETPPCLYUBPZNAVCNFSM6AAAAABC4IZWRGVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTSNBZHA4TEMRRGE>.
You are receiving this because you commented.Message ID: ***@***.***>
from chinese-clip.
Related Issues (20)
- 转换onnx失败 HOT 2
- 为什么使用gpu进行推理比cpu还慢？ HOT 1
- AttributeError: 'NoneType' object has no attribute 'get' HOT 5
- 这个支持词性标注吗 HOT 1
- ImportError: cannot import name 'convert_state_dict' from 'cn_clip.clip.model' HOT 2
- AttributeError: 'Namespace' object has no attribute 'use_flash_attention' HOT 2
- load_from_name function logic problem
- torch onnx tensorrt 推理速度和deployment.md评估效果差异较大 HOT 1
- 关于跨模态检索的召回率疑问，请大佬解答一番 HOT 1
- 论文初始化image encoder的模型参数
- 关于训练过程一个batch内，text文本标签存在较多重复，是否会导致训练不收敛 HOT 3
- 转换torchscript报错
- 尝试使用CLIP模型来进行文搜文遇到的问题
- 请问将cn_clip转为onnx格式后，有没有不使用cn_clip库进行预处理的思路，我们在尝试用C++部署
- 使用脚本怎么跑不了了，一直卡着什么输出也没有
- finetune时如何运行sh文件
- 使用flash-Attention训练，loss不下降，acc也不增加
- 请问在chinese-clip获取到图文特征json数据后，如何在clip-retrieval使用呢，想搭建自己的demo HOT 2
- finetune时的问题
- 在Huggingface上使用你们的模型的时候出现无法加载tokenizer的错误
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from chinese-clip.