unexpected keyword argument 'prompt' about llama-factory HOT 4 CLOSED

小白目前算是修的能用了，我猜测是vllm 0.4.3版本修改了engine目录下async_llm_engince.py文件中的generate函数参数 测试模型为llama3-8B-Instruct

# vllm新版本下的函数
    async def generate(
        self,
        inputs: PromptInputs,
        sampling_params: SamplingParams,
        request_id: str,
        lora_request: Optional[LoRARequest] = None,
    ) -> AsyncIterator[RequestOutput]:

可以手动将chat目录下vllm_engine.py内的generate函数修改为如下形式

        result_generator = self.model.generate(
            #prompt=None,
            sampling_params=sampling_params,
            request_id=request_id,
            inputs = messages[-1]['content'],
            #prompt_token_ids=prompt_ids,
            lora_request=self.lora_request,
            #multi_modal_data=multi_modal_data,
        )

不过本人是纯小白，不知道这么修改是否合理，只是现在能成功加载模型对话了，还是等作者进行修复吧。 另外也可以尝试降级vllm，但是本人为了环境稳定性没有尝试。

Downgrading vllm to version 0.4.2 fixed the problem in my environment. Thank you.

from llama-factory.

使用vllm遇到了同样的报错。

from llama-factory.

我也是，有什么解决方法吗

from llama-factory.

小白目前算是修的能用了，我猜测是vllm 0.4.3版本修改了engine目录下async_llm_engince.py文件中的generate函数参数
测试模型为llama3-8B-Instruct

# vllm新版本下的函数
    async def generate(
        self,
        inputs: PromptInputs,
        sampling_params: SamplingParams,
        request_id: str,
        lora_request: Optional[LoRARequest] = None,
    ) -> AsyncIterator[RequestOutput]:

可以手动将chat目录下vllm_engine.py内的generate函数修改为如下形式

        result_generator = self.model.generate(
            #prompt=None,
            sampling_params=sampling_params,
            request_id=request_id,
            inputs = messages[-1]['content'],
            #prompt_token_ids=prompt_ids,
            lora_request=self.lora_request,
            #multi_modal_data=multi_modal_data,
        )

不过本人是纯小白，不知道这么修改是否合理，只是现在能成功加载模型对话了，还是等作者进行修复吧。
另外也可以尝试降级vllm，但是本人为了环境稳定性没有尝试。

from llama-factory.