Feature request / 功能建议

希望能在本地部署和智谱ai里面的CharacterGLM一样的api接口

Motivation / 动机

我希望使用自己的CharacterGLM作为(https://github.com/Ikaros-521/AI-Vtuber)支持智谱ai里面的CharacterGLM的后端

Your contribution / 您的贡献

真对不起，
我尝试用glm3的api文件改一个出来，但是不符合智谱ai的标准

请问还开放吗？

System Info / 系統信息

Ubuntu20.04, Python 3.10, Pytorch 2.1.1, CUDA 11.8, cuDNN 8, NVCC, VNC

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

FileNotFoundError: [Errno 2] No such file or directory: 'character.json'
Traceback:
File "/root/miniconda3/envs/myconda/lib/python3.10/site-packages/streamlit/runtime/scriptrunner/script_runner.py", line 535, in _run_script
exec(code, module.dict)
File "/root/CharacterGLM-6B/basic_demo/web_demo_streamlit.py", line 22, in
with open('character.json', 'r', encoding='utf-8') as file:

Expected behavior / 期待表现

成功运行

Feature request / 功能建议

请问论文中提到的语料库子集公开的地址在哪？

Motivation / 动机

web_demo中预设的几个角色是如何实现的，模型本身是否有这几个角色的信息，还是通过模型泛化后用prompt限定生成的？

Your contribution / 您的贡献

本地运行了下web_demo示例代码，对话中出现了死循环回复相同语句的问题

您好，我通过阅读cli_demo.py代码，看到如下代码：

session_meta = {
'user_info': '我是陆星辰，是一个男性，是一位知名导演，也是苏梦远的合作导演。我擅长拍摄音乐题材的电影。苏梦远对我的态度是尊敬的，并视我为良师益友。',
'bot_info': '苏梦远，本名苏远心，是一位当红的国内女歌手及演员。在参加选秀节目后，凭借独特的嗓音及出众的舞台魅力迅速成名，进入娱乐圈。'
'她外表美丽动人，但真正的魅力在于她的才华和勤奋。苏梦远是音乐学院毕业的优秀生，善于创作，拥有多首热门原创歌曲。'
'除了音乐方面的成就，她还热衷于慈善事业，积极参加公益活动，用实际行动传递正能量。'
'在工作中，她对待工作非常敬业，拍戏时总是全身心投入角色，赢得了业内人士的赞誉和粉丝的喜爱。'
'虽然在娱乐圈，但她始终保持低调、谦逊的态度，深得同行尊重。在表达时，苏梦远喜欢使用“我们”和“一起”，强调团队精神。',
'bot_name': '苏梦远',
'user_name': '陆星辰'
}
for response, history, past_key_values in model.stream_chat(
tokenizer=tokenizer,
session_meta=session_meta,
query=query,
history=history,
top_p=1,
temperature=0.01,
past_key_values=past_key_values,
return_past_key_values=True
):

我是否可以理解为session_meta其实就是模型的prompt？
如果我想自定义一部分prompt，比如要求模型必须说中文，必须依照给定的场景描述进行回答，必须按照给定话术的语气保持一致性语气进行回答等，这些原本应该放在prompt中的内容我应该通过什么方式传递给CharacterGLM-6B模型？

模型没有放出来， 从示例看，问马斯克的一些成就，这些内容是不是已经在profile中提到了。

System Info / 系統信息

非常欢迎各种声音讨论

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

.

Expected behavior / 期待表现

.

Feature request / 功能建议

期待微调脚本！想用来模拟一些虚拟角色说话～想收集数据来进行微调，非常期待！

Motivation / 动机

想用数据微调CharacterGLM模拟虚拟人物！

Your contribution / 您的贡献

没有

user_info和bot_info的提示优先级

1. 想询问info内容是以system prompt设定的吗？模型能否学习到info中的知识
2. 智谱的characterGLM接口，temperature设定是多少？
   谢谢

Feature request / 功能建议

请教一下

1. 250个角色里面**角色和外国角色都有吗？
2. 角色扮演的数据集，采用语言是中英文都有吗？

Motivation / 动机

无

Your contribution / 您的贡献

无

System Info / 系統信息

CUDA 10020，py 3.10

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

/.conda/envs/py310/lib/python3.10/site-packages/torch/cuda/init.py:141: UserWarning: CUDA initialization: The NVIDIA driver on your system is too old (found version 10020). Please update your GPU driver by downloading and installing a new version from the URL: http://www.nvidia.com/Download/index.aspx Alternatively, go to: https://pytorch.org to install a PyTorch version that has been compiled with your version of the CUDA driver. (Triggered internally at ../c10/cuda/CUDAFunctions.cpp:108.)

Expected behavior / 期待表现

怎么样可以加速分析呢

Feature request / 功能建议

CharacterGLM支持量化了吗

Motivation / 动机

显存不足

Your contribution / 您的贡献

测试

希望获得代码研究研究

Feature request / 功能建议

论文中提到会公开的profile数据，希望获得并学习

Motivation / 动机

为了学术研究

Your contribution / 您的贡献

暂无

Feature request / 功能建议

/

Motivation / 动机

/

Your contribution / 您的贡献

/

没资源可以下载

Feature request / 功能建议

可以公开训练的角色和作品的名称

Motivation / 动机

我想测一下你们的模型

Your contribution / 您的贡献

暂无