NLP实战入门——从零构建智能对话系统（一）

1. 从零认识智能对话系统第一次接触智能对话系统时我盯着手机里的语音助手发呆——为什么它能听懂明天天气怎么样却对今晚吃啥答非所问后来才知道这背后是NLP技术在支撑。ChatBOT聊天机器人就像数字世界的接待员目前主要有三种类型QABOT你问它Python是什么它会从知识库找标准答案TASKBOT你说订明天9点的会议室它能执行具体任务CHATBOT聊今天心情不好时它能陪你唠家常去年我给公司做的客服机器人就踩过坑用户问支付失败系统却回复感谢夸奖。后来发现是没做好意图识别——这是对话系统的第一道关卡就像餐厅服务员得先分清顾客是要点菜还是找厕所。2. 开发环境搭建实战记得第一次配环境时我折腾了一整天。现在用Anaconda三分钟就能搞定conda create -n chatbot python3.8 # 创建专属环境 conda activate chatbot # 进入环境 pip install torch jieba fasttext # 核心三件套这里有个小技巧先装PyTorch再装其他库能自动匹配CUDA版本。我笔记本的RTX3060跑模型时速度比CPU快8倍。如果遇到包冲突试试conda list --show-channel-urls # 查看安装来源 conda clean --all # 清理缓存3. 语料处理的那些坑新手最常栽在语料准备上。上次我用爬虫抓了10万条问答数据结果训练出的机器人满口网络黑话。后来总结出语料处理三板斧词典构建从搜狗输入法官网下载专业词典后要用这个代码清洗with open(raw_dict.txt) as f: words [line.split()[0] sgjsj\n for line in f if len(line)3] with open(clean_dict.txt,w) as f: f.writelines(words)停用词过滤中文停用词库要加上呢、嘛、呀等语气词否则机器人会显得很机械数据增强对怎么退款这类高频问题可以生成如何申请退款、退款流程等同义句4. 文本分类的实战技巧fasttext确实适合新手但直接训练准确率往往不到70%。我改进后的方案model fasttext.train_supervised( inputtrain.txt, lr0.5, # 学习率调大 epoch50, # 迭代次数增加 wordNgrams3, # 考虑3个词的组合 losshs # 用层次softmax加速 )测试时发现个有趣现象加入单字切分后对Python难吗这类短句识别准确率提升15%。后来在代码里加了双重判断def predict(text): word_result model.predict( .join(jieba.cut(text))) char_result model.predict( .join(list(text))) return word_result if word_result[1]char_result[1] else char_result5. 对话系统的核心架构现在看当初画的系统架构图简直惨不忍睹。优化后的流程应该是输入预处理特殊符号过滤保留?、!等语气符号繁体转简体用opencc工具拼写纠错结巴分词的新词发现功能意图识别引擎graph LR A[用户输入] -- B{是否包含编程关键词} B --|是| C[QABOT流程] B --|否| D[CHATBOT流程]多轮对话管理用状态机记录对话上下文比如dialogue_states { waiting_food_type: lambda x: confirm_meal(x), waiting_address: lambda x: save_address(x) }6. 效果优化经验谈上线后监控日志发现三个典型问题一词多义Python可能指编程语言或蟒蛇解决方案结合用户历史查询记录判断长句理解我昨天买的那个你们说能退的东西怎么操作方案先用BERT提取关键词昨天 买 退 操作冷启动问题新业务问题回答不了方案设置默认回复正在学习该问题已转人工有次半夜被报警叫醒发现机器人把服务器挂了理解成娱乐场所歇业。后来在词典加入IT术语并在凌晨时段自动切换人工值守。