ChatGLM3 多轮对话训练数据
资源描述
本仓库提供了一个用于训练 ChatGLM3 模型的多轮对话数据集。该数据集包含了原始数据、数据处理代码以及训练所需的 train.json、dev.json 和 test.json 文件。
数据结构
- 原始数据: 包含多轮对话的原始文本数据。
- 处理代码: 用于处理原始数据并生成训练数据的代码。
- train.json: 训练数据文件，存放于
finetune_demo/data/JDMulConversations/train.json。 - dev.json: 验证数据文件，用于模型训练过程中的验证。
- test.json: 测试数据文件，用于模型训练后的测试。
使用说明
数据存放位置
训练数据文件 train.json 存放在 finetune_demo/data/JDMulConversations/train.json 路径下。
修改 Lora 配置
在使用该数据集进行训练前，需要修改 Lora 配置文件，具体配置如下：
data_config:
train_file: train.json
val_file: dev.json
test_file: test.json
num_proc: 16
训练命令
使用以下命令进行模型训练：
CUDA_VISIBLE_DEVICES=1 python finetune_hf.py data/JDMulConversations/ /root/autodl-tmp/model/chatglm3-6b configs/lora.yaml
注意事项
- 确保数据路径正确，避免训练过程中出现路径错误。
- 根据实际需求调整
num_proc参数，以优化数据处理速度。 - 训练过程中请确保 CUDA 设备可用，并根据实际情况调整
CUDA_VISIBLE_DEVICES参数。
贡献
欢迎提交 Issue 或 Pull Request 来改进本数据集和相关代码。