1. LLamaFactory微调效果与vllm部署效果不一致如何解决？
- 生成式语言模型的对话模板介绍
什么是对话模板?
对话模板是一套规则，用于将用户的多轮对话格式化为一个单一的模型能够理解的字符串。
通常包括:
特殊令牌: 如“<|im_start|>/<|im_end|>”等
角色标志: 如“user、system”等,用于区分系统、用户
格式化规则: 如何将不同角色的发言拼接起来
不同的模型，其对话模板会存在差异性。
llamaFactory在微调时，用的是框架自定义的模板（参考的是官方的对话模板规则，并没有用模型自带的对话模板。）
因此，在微调模型后，使用vllm或者lmdeploy进行部署时，应当关注对话模板的一致性。目前的解决方案，就是让vllm
2. Lora微调后单独部署大模型输出结果不一致
如何导出LLama Factory的对话模板
vllm推理模型时自定义对话模板