New
1.1.2
1.1.2版本
-
GPT模型支持了NEFTune给embedding加噪SFT训练方法，SFT中使用
--neft_alpha参数启用 NEFTune，例如--neft_alpha 5，示例代码：https://github.com/shibing624/textgen/blob/main/examples/gpt/training_llama_demo.py -
兼容了 ChatGLM-6B 1,2,3 / Baichuan 1,2 / LLaMA 1,2 / BLOOM / Mistral / QWen 等GPT模型LoRA微调训练和预测，可以用于多轮对话微调训练
Full Changelog: https://github.com/shibing624/textgen/compare/1.1.1...1.1.2