聊天中文语料库对比
本仓库提供了一个综合性的聊天中文语料库资源，包含了多个公开的中文聊天语料库。这些语料库经过统一化规整和处理，可以直接用于自然语言处理（NLP）项目，特别是聊天机器人和对话系统的开发。
语料库列表
本仓库包含了以下8个常见的中文聊天语料库：
- chatterbot
- 豆瓣多轮
- PTT八卦语料
- 青云语料
- 电视剧对白语料
- 贴吧论坛回帖语料
- 微博语料
- 小黄鸡语料
每个语料库都经过繁体字转换和格式统一处理，确保可以直接用于各种NLP任务。
使用方法
- 下载语料库：所有语料库已经统一打包，可以直接下载使用。
- 解压文件：将下载的文件解压到指定目录。
- 处理语料库：使用提供的Python脚本对语料库进行进一步处理，生成可用的TSV格式文件。
环境要求
- Python 3
处理过程
- 提取各个来源的语料库。
- 进行繁体字转换。
- 统一格式为一轮一轮的对话。
生成结果
每个语料库将生成一个独立的TSV文件，包含查询（query）和回答（answer）。
结果的使用
生成的语料库文件可以根据个人需求进行进一步处理和使用，适用于各种聊天机器人和对话系统的开发。
版权说明
本项目为非商业项目，旨在搜集和汇总资料。如有侵权，请在issue下留言。
通过本仓库，您可以方便地获取和处理多个中文聊天语料库，加速您的NLP项目开发。