黄页网站推广方案,哪个网站做美食自媒体更好,高端品牌网站建设九五网络,深圳实力网站建设对于ToC端来说#xff0c;广大群众的口味已经被ChatGPT给养叼了#xff0c;市场基本上被ChatGPT吃的干干净净。虽然国内大厂在紧追不舍#xff0c;但目前绝大多数都还在实行内测机制#xff0c;大概率是不会广泛开放的#xff08;毕竟#xff0c;各大厂还是主盯ToB、ToG市…对于ToC端来说广大群众的口味已经被ChatGPT给养叼了市场基本上被ChatGPT吃的干干净净。虽然国内大厂在紧追不舍但目前绝大多数都还在实行内测机制大概率是不会广泛开放的毕竟各大厂还是主盯ToB、ToG市场的从华为在WAIC的汇报就可以看出。而对于ToB和ToG端来说本地化部署、领域or行业内效果绝群、国产化无疑就成为了重要的考核指标。
个人觉得垂直领域大模型或者说大模型领域化、行业化才是大模型落地的核心要素。恰好前几天ChatLaw一款法律领域大模型产品也是大火当时也是拿到了一手内测资格测试了一阵也跟该模型的作者聊了很久。正好利用周末的时间好好思考、梳理、汇总了一些垂直领域大模型内容。
文章内容将从ChatLaw展开、到垂直领域大模型的一些讨论、最后汇总一下现有的开源领域大模型。
聊聊对ChatLaw的看法
ChatLaw的出现让我更加肯定未来大模型落地需要具有领域特性。相较于目前领域大模型ChatLaw不仅仅是一个模型而是一个经过设计的大模型领域产品已经在法律领域具有很好的产品形态。
Paper: https://arxiv.org/pdf/2306.16092.pdf
Github: https://github.com/PKU-YuanGroup/ChatLaw官网: https://www.chatlaw.cloud/
可能会有一些质疑比如不就是一个langchain吗法律领域它能保证事实性问题吗等等等。但我觉得在否定一件事物的前提是先去更深地了解它。
ChatLaw共存在两种模式普通模型和专业模型。普通模式就是仅基于大模型进行问答。
而专业模式是借助检索的手段对用户查询进行匹配从知识库中筛选出合适的证据再根据大模型汇总能力得到最终答案。 由于专业模式借助了知识库的内容也会使得用户得到的效果更加精准。而在专业版中ChatLaw制定了一整套流程如上图所示存在反问提示进行信息补全用户信息确认、相似案例检索、建议汇总等。
作者JessyTsui知乎 也说过其实ChatLawChatLaw LLM keyword LLM laws LLM。而keyword LLM真的让我眼前一亮的之前对关键词抽取的理解一直是从文本中找到正确的词语在传统检索中使用同义词等方法来提高检索效果。而keyword LLM利用大模型生成关键词不仅可以找到文本中的重点内容还可以总结并释义出一些词。使得整个产品在检索证据内容时效果更加出色。 同时由于不同模型对不同类型问题解决效果并不相同所以在真正使用阶段采用HuggingGPT作为调度器的方式在每次用户请求的时候去选择调用更加适配的模型。也就是让适合的模型做更适合的事情。
聊聊对垂直领域大模型的看法
现在大模型的使用主要就是两种模型第一种是仅利用大模型本身解决用户问题第二种就是借助外部知识来解决用户问题。而我个人觉得是“借助外部知识进行问答”才是未来虽然会对模型推理增加额外成本但是外部知识是缓解模型幻觉的有效方法。
但随着通用大模型底层能力越来越强以及可接受文本越来越长在解决垂直领域问题时完全可以采用ICL技术来提升通用大模型在垂直领域上的效果那么训练一个垂直领域大模型是否是一个伪命题我们还有必要做吗
个人认为是需要的从几个方面来讨论 1、个人觉得真正垂直领域大模型的做法应该从Pre-Train做起。SFT只是激发原有大模型的能力预训练才是真正知识灌输阶段让模型真正学习领域数据知识做到适配领域。但目前很多垂直领域大模型还停留在SFT阶段。 2、对于很多企业来说领域大模型在某几个能力上绝群就可以了。难道我能源行业还需要care模型诗写的如何吗所以领域大模型在行业领域上效果是优于通用大模型即可不需要“即要又要还要”。 3、不应某些垂直领域大模型效果不如ChatGPT就否定垂直领域大模型。有没有想过一件可怕的事情ChatGPT见的垂直领域数据比你的领域大模型见的还多。但某些领域数据ChatGPT还是见不到的。 4、考虑到部署成本得问题我觉得在7B、13B两种规模的参数下通用模型真地干不过领域模型。及时175B的领域大模型没有打过175B的通用模型又能怎么样呢模型参数越大需要数据量越大领域可能真的没有那么多数据。
PS很多非NLP算法人员对大模型产品落地往往会有一些疑问
Q我有很多的技术标准和领域文本数据直接给你就能训练领域大模型了吧
A是也不是纯文本只能用于模型的预训练真正可以进行后续问答需要的是指令数据。当然可以采用一些人工智能方法生成一些指数据但为了保证事实性还是需要进行人工校对的。高质量SFT数据才是模型微调的关键。
Q你用领域数据微调过的大模型为什么不直接问答还要用你的知识库
A外部知识主要是为了解决模型幻觉、提高模型回复准确。
Q为什么两次回复结果不一样
A大模型一般为了保证多样性解码常采用Top-P、Top-K解码这种解码会导致生成结果不可控。如果直接采用贪婪解码模型生成结果会是局部最优。
Q我是不是用开源6B、7B模型自己训练一个模型就够了
A兄弟没有训练过33B模型的人永远只觉得13B就够了。
以上是个人的一些想法以及一些常见问题的回复不喜勿喷欢迎讨论毕竟每个人对每件事的看法都不同。
开源垂直领域大模型汇总
目前有很多的垂直领域大模型已经开源主要在医疗、金融、法律、教育等领域本小节主要进行「中文开源」模型的汇总及介绍。
「PS一些领域大模型如未开源不在该汇总范围内并且欢迎大家留言查缺补漏。」
医疗领域
非中文项目BioMedLM、PMC-LLaMA、ChatDoctor、BioMedGPT等在此不做介绍。
MedicalGPT-zh
Github: https://github.com/MediaBrain-SJTU/MedicalGPT-zh 简介基于ChatGLM-6B指令微调的中文医疗通用模型。 数据通过对16组诊疗情景和28个科室医用指南借助ChatGPT构造182k条数据。数据也已开源。 训练方法基于ChatGLM-6B采用Lora16bit方法进行模型训练。
DoctorGLM
Github: https://github.com/xionghonglin/DoctorGLM 简介一个基于ChatGLM-6B的中文问诊模型。 数据主要采用CMDChinese Medical Dialogue Data数据。 训练方法基于ChatGLM-6B模型采用Lora和P-tuning-v2两种方法进行模型训练。
PS数据来自Chinese-medical-dialogue-data项目。
Huatuo-Llama-Med-Chinese
Github: https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese 简介本草原名华驼-HuaTuo: 基于中文医学知识的LLaMA微调模型。 数据通过医学知识图谱和GPT3.5 API构建了中文医学指令数据集数据共开源9k条。 训练方法基于Llama-7B模型采用Lora方法进行模型训练。
Med-ChatGLM
Github: https://github.com/SCIR-HI/Med-ChatGLM 简介基于中文医学知识的ChatGLM模型微调与本草为兄弟项目。 数据与Huatuo-Llama-Med-Chinese相同。 训练方法基于ChatGLM-6B模型采用Lora方法进行模型训练。
ChatMed
Github: https://github.com/michael-wzhu/ChatMed 简介中文医疗大模型善于在线回答患者/用户的日常医疗相关问题. 数据50w在线问诊ChatGPT回复作为训练集。 训练方法基于Llama-7B模型采用Lora方法进行模型训练。
ShenNong-TCM-LLM
Github: https://github.com/michael-wzhu/ShenNong-TCM-LLM 简介“神农”大模型首个中医药中文大模型与ChatMed为兄弟项目。 数据以中医药知识图谱为基础采用以实体为中心的自指令方法调用ChatGPT得到11w的围绕中医药的指令数据。 训练方法基于Llama-7B模型采用Lora方法进行模型训练。
BianQue
Github: https://github.com/scutcyr/BianQue 简介扁鹊中文医疗对话模型。 数据结合当前开源的中文医疗问答数据集MedDialog-CN、IMCS-V2、CHIP-MDCFNPC、MedDG、cMedQA2、Chinese-medical-dialogue-data分析其中的单轮/多轮特性以及医生问询特性结合实验室长期自建的生活空间健康对话大数据构建了千万级别规模的扁鹊健康大数据BianQueCorpus。 训练方法扁鹊-1.0以ChatYuan-large-v2作为底座模型全量参数训练得来扁鹊-2.0以ChatGLM-6B作为底座模型全量参数训练得来。
SoulChat
Github: https://github.com/scutcyr/SoulChat 简介中文领域心理健康对话大模型与BianQue为兄弟项目。 数据构建了超过15万规模的单轮长文本心理咨询指令数据并利用ChatGPT与GPT4生成总共约100万轮次的多轮回答数据。 训练方法基于ChatGLM-6B模型采用全量参数微调方法进行模型训练。
法律领域
LaWGPT
Github: https://github.com/pengxiao-song/LaWGPT 简介基于中文法律知识的大语言模型。 数据基于中文裁判文书网公开法律文书数据、司法考试数据等数据集展开利用Stanford_alpaca、self-instruct方式生成对话问答数据利用知识引导的数据生成引入ChatGPT清洗数据辅助构造高质量数据集。 训练方法1Legal-Base-7B模型法律基座模型使用50w中文裁判文书数据二次预训练。2LaWGPT-7B-beta1.0模型法律对话模型构造30w高质量法律问答数据集基于Legal-Base-7B指令精调。3LaWGPT-7B-alpha模型在Chinese-LLaMA-7B的基础上直接构造30w法律问答数据集指令精调。4LaWGPT-7B-beta1.1模型法律对话模型构造35w高质量法律问答数据集基于Chinese-alpaca-plus-7B指令精调。
ChatLaw
Github: https://github.com/PKU-YuanGroup/ChatLaw 简介中文法律大模型 数据主要由论坛、新闻、法条、司法解释、法律咨询、法考题、判决文书组成随后经过清洗、数据增强等来构造对话数据。 训练方法1ChatLaw-13B基于姜子牙Ziya-LLaMA-13B-v1模型采用Lora方式训练而来。2ChatLaw-33B基于Anima-33B采用Lora方式训练而来。
LexiLaw
Github: https://github.com/CSHaitao/LexiLaw 简介中文法律大模型 数据BELLE-1.5M通用数据、LawGPT项目中52k单轮问答数据和92k带有法律依据的情景问答数据、Lawyer LLaMA项目中法考数据和法律指令微调数据、华律网20k高质量问答数据、百度知道收集的36k条法律问答数据、法律法规、法律参考书籍、法律文书。 训练方法基于ChatGLM-6B模型采用Freeze、Lora、P-Tuning-V2三种方法进行模型训练。
LAW-GPT
Github: https://github.com/LiuHC0428/LAW-GPT 简介中文法律大模型獬豸 数据现有的法律问答数据集和基于法条和真实案例指导的self-Instruct构建的高质量法律文本问答数据。 训练方法基于ChatGLM-6B采用Lora16bit方法进行模型训练。
lawyer-llama
Github: https://github.com/AndrewZhe/lawyer-llama 简介中文法律LLaMA 数据法考数据7k、法律咨询数据14k 训练方法以Chinese-LLaMA-13B为底座未经过法律语料continual training使用通用instruction和法律instruction进行SFT。
金融领域
非中文较好的项目BloombergGPT、PIXIU等在此不做介绍。
FinGPT
Github: https://github.com/AI4Finance-Foundation/FinGPT 简介金融大模型 数据来自东方财富 训练方法基于ChatGLM-6B采用Lora方法训练模型。
FinTuo
Github: https://github.com/qiyuan-chen/FinTuo-Chinese-Finance-LLM 简介一个中文金融大模型项目旨在提供开箱即用且易于拓展的金融领域大模型工具链。 数据暂未完成。 训练方法暂未完成。
教育领域
EduChat
Github: https://github.com/icalk-nlp/EduChat 简介以预训练大模型为基底的教育对话大模型相关技术提供教育场景下自动出题、作业批改、情感支持、课程辅导、高考咨询等丰富功能服务于广大老师、学生和家长群体助力实现因材施教、公平公正、富有温度的智能教育。 数据混合多个开源中英指令、对话数据并去重后得到约400w。 训练方法基于LLaMA模型训练而来。
