Comments (9)
在 chatglm3-6b-32k
中复现了以上两类无法调用工具的问题。目前我们仅在 chatglm3-6b
中增加了工具调用支持,chatglm3-6b-32k
中暂未支持工具调用,参见 #29 。
from chatglm3.
您好!我刚才用 float16, temperature=0.95 和 top_p=0.80 试了 10 次,没能复现不能调用的情况。我觉得一个可能的原因 temperature 或 top_p 偏高。
另外对于 6B 模型来说,不能正确触发调用的情况也确实存在。这时可以考虑删除无用工具或修改对工具和参数的描述。
from chatglm3.
您好,我看了我的设置 也是一样的。我没有在环境变量中定义MODEL_PATH,而是直接修改了client.py,将MODEL_PATH直接指定到模型的下载目录。另外因为is_ascii在3.2之后的charset_normalizer.util已经被移除了。我环境中的是3.3.x版本,一开始运行的时候是找不到is_ascii的错误,后来我从3.2.0版本里面把那个函数定义拷贝到本地的3.3版本的util.py里面去,不知道会不会是这个导致的问题?
您好!我刚才用 float16, temperature=0.95 和 top_p=0.80 试了 10 次,没能复现不能调用的情况。我觉得一个可能的原因 temperature 或 top_p 偏高。 另外对于 6B 模型来说,不能正确触发调用的情况也确实存在。这时可以考虑删除无用工具或修改对工具和参数的描述。
from chatglm3.
同样的情况(https://github.com/THUDM/ChatGLM3/assets/137745961/0b496e80-c137-43a1-8f7a-dcfc85dade98)
不光自己不会用 调低temperature和top_p之后反而教育我让我去用工具
自定义的搜索引擎工具也只会在第一次调用 当有history的情况下会非常强烈的想使用上下文来回答而不是继续使用工具
比如 搜苹果 之后再让 搜橘子 就会
from chatglm3.
请问你们都是怎么跑成功的?给个配置呗。比如python版本,操作系统,显卡GPU,是否需要量化模型等。
我跑完一直是这个状态,也没看到加载模型的进度条,打开URL,都是“该页无法显示”。
from chatglm3.
请问你们都是怎么跑成功的?给个配置呗。比如python版本,操作系统,显卡GPU,是否需要量化模型等。
我跑完一直是这个状态,也没看到加载模型的进度条,打开URL,都是“该页无法显示”。
我是WIN10, Anaconda环境,python 3.10.6, CUDA 11,RTX3070 16G (自己找人升级的显存),模型是从modelscope下载的发布版本。看代码应该是没有做在线量化。运行后大概占用内存13.2GB
from chatglm3.
在
chatglm3-6b-32k
中复现了以上两类无法调用工具的问题。目前我们仅在chatglm3-6b
中增加了工具调用支持,chatglm3-6b-32k
中暂未支持工具调用,参见 #29 。
谢谢,使用chatglm3-6b模型就会调用方法了。请问后续会在32K版本里面的添加方法调用支持吗?
from chatglm3.
请问你们都是怎么跑成功的?给个配置呗。比如python版本,操作系统,显卡GPU,是否需要量化模型等。
我跑完一直是这个状态,也没看到加载模型的进度条,打开URL,都是“该页无法显示”。
我是WIN10, Anaconda环境,python 3.10.6, CUDA 11,RTX3070 16G (自己找人升级的显存),模型是从modelscope下载的发布版本。看代码应该是没有做在线量化。运行后大概占用内存13.2GB
膜拜一下壕。我租的服务器,24G显存的4090,理论上应该能跑。除非~~~这货跟Ubuntu不太对付。唯一奇怪的是,webui_demo是没问题的。但跟streamlit有关的demo都不成功。不知道是不是跟streamlit的版本有关。
from chatglm3.
请问你们都是怎么跑成功的?给个配置呗。比如python版本,操作系统,显卡GPU,是否需要量化模型等。
我跑完一直是这个状态,也没看到加载模型的进度条,打开URL,都是“该页无法显示”。
我是WIN10, Anaconda环境,python 3.10.6, CUDA 11,RTX3070 16G (自己找人升级的显存),模型是从modelscope下载的发布版本。看代码应该是没有做在线量化。运行后大概占用内存13.2GB
膜拜一下壕。我租的服务器,24G显存的4090,理论上应该能跑。除非~~~这货跟Ubuntu不太对付。唯一奇怪的是,webui_demo是没问题的。但跟streamlit有关的demo都不成功。不知道是不是跟streamlit的版本有关。
hi,我也遇到这个问题, 我是V100,重配了几次环境都不行,请问你解决了吗?
from chatglm3.
Related Issues (20)
- 【求助】关于算法备案的问题
- 进行p-tuning-v2微调时,报如下错误 HOT 4
- 拼接格式与 chat 接口处理逻辑是否冲突 HOT 2
- lora微调报错 HOT 1
- RMSNorm的不同实现方式
- LORA 微调报错 HOT 1
- bug when running inference_hf.py after finetuning with lora.
- api模式下是不能实现工具调用吗? HOT 1
- 执行了composition_demo,发现仅仅用了一个cpu去执行推理。速度非常慢。这个是什么原因导致的? HOT 1
- 运行basic_demo下的web_demo_gradio.py程序报错ModuleNotFoundError: No module named 'peft' HOT 3
- langchain_demo中的那个是不是不是流式处理?
- ChatGLMForConditionalGeneration forward position_ids 参数哪里传入的?
- 从 chat 接口内部调用 generate 接口的处理逻辑看,使用上述拼接方式生成的 input_ids 不符合你们对于特殊符(如<|user|>、<|assistant|>)的 id 定义,这部分是否只是为了兼容通用的 generate 接口?且存在对模型性能的损失? HOT 3
- 使用chatglm.cpp调用chatglm3-6b-32k时,非常容易触发无限循环的问题,repetition_penalty设置为2依然没有效果 HOT 1
- openai_api_request.py运行不成功 HOT 1
- Getting requirements to build wheel did not run successfully. HOT 1
- ChatGLM3-6b微调之后再运行就会出错 HOT 1
- 但是这样做代码会自动复原,加入的代码就被冲刷掉了> 请问你解决了吗?
- 使用finetune_demo/finetune_hf.py的lora微调之后,用finetune_demo/inference_hf.py做推理了的时候加载权重后无反应 HOT 3
- 用这里的ChatGLM3 + 魔搭社区的ChatGLM3-6B的模型在阿里云微调官方示例,但Running Evaluation时出错,请求指导。 HOT 6
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from chatglm3.