当前位置: 首页 > news >正文

汕头seo网站推广microsoft做网站

汕头seo网站推广,microsoft做网站,湖南省建设工程施工合同示范文本,网页美工设计课程教案《FACTS About Building Retrieval Augmented Generation-based Chatbots》是2024年7月英伟达的团队发表的基于RAG的聊天机器人构建的文章。 这篇论文在待读列表很长时间了,一直没有读,看题目以为FACTS是总结的一些事实经验,阅读过才发现FAC…

《FACTS About Building Retrieval Augmented Generation-based Chatbots》是2024年7月英伟达的团队发表的基于RAG的聊天机器人构建的文章。

这篇论文在待读列表很长时间了,一直没有读,看题目以为FACTS是总结的一些事实经验,阅读过才发现FACTS是论文定义的RAG-based chatbots的五个维度:freshness (F), architectures(A), cost economics of LLMs ©, testing (T), security (S)的缩写。

论文说在英伟达内部用RAG和LLM构建三个chatbot,如论文表1所示。基于这些chatbot构建经验总结了一套方法论。

WeChatWorkScreenshot_1bf27dc6-5e87-4a96-addf-8593ed4dfa88

这两年RAG很火,但是构建好一个基于RAG的聊天机器人并不是件易事,要考虑RAG流程的工程化、微调LLM、prompt engineering、保证召回知识的相关性和准确性、文件访问控制、生成精确的回复并包括参考资料以及保护个人敏感信息等等。因此论文总结了如论文图1和图4所示的15个RAG流程中的控制点(吐槽一下论文中所有的图片都不够清晰)。

WeChatWorkScreenshot_f1c8dca0-c689-4e46-ba88-df89ab7a4676

WeChatWorkScreenshot_df3e2325-9290-4239-8857-59f0fd689f43

为了避免在公司内部重复地开发一些构建chatbot需要的功能如安全、护栏等,开发了如论文图7所示可插拔架构的模块化平台NVbot。平台支持domain-specific, enterprise-wide, copilot三种不同的chatbot变体。

WeChatWorkScreenshot_6eb677ed-10da-4b80-b69c-10c611d2203b

一些论文提到的细节:

  • 为了提高检索相关度:进行了Metadata增强、查询改写、使用grid-search方法来寻找合适chunk大小、测试不同的chunk rerank策略等;使用混合搜索(Lexical search+向量搜索)。
  • 对于一些复杂问题,比如“compare the revenue of NVIDIA from Q1 through Q4 of FY2024 and provide an analytical commentary on the key contributing factors that led to the changes in revenues during this time”,要使用agent或multi-agent架构才能回答出来,论文使用了如图2所示的将一个问题拆成多个问题的agent方式。

fa

  • 微调Llama3-70B后在保持可接受的延迟下可得到挺不错的答案质量

WeChatWorkScreenshot_8c4682ee-175d-47f8-9dfe-5e38b1ce9439

  • Unstructured.io等专门从PDF中提取结构化内容的工具有助于解析和分块非结构文化。如果文档的结构固定比如SEC相关的文档,使用section-level的分割,用section title和subheading来分割并将它们加入到chunk的上下文有助于提升检索相关性。
  • 使用RAGOps/LLMOps监控工具来监控RAG流程,使用如Ragas等评估框架。
  • 用内部LLM Gateway来统一管理使用的商用LLM API,可以简化LLM使用、订阅和数据跟踪的安全审计。
  • 包含安全测试、prompt修改测试、反馈回路等用来测试chatbot的手段。
  • chatbots的数据访问有Access Control Lists (ACLs),用Nemo Guardrail对输入和输出进行处理。

总结:这篇论文介绍了基于RAG的chatbot的五个维度,论文按照这五个维度列举了一些经验,可以对照看看有哪些自己在开发过程中没有考虑过的点,不过总体来讲论文在详细实现上讨论的不够多。

http://www.yayakq.cn/news/654759/

相关文章:

  • 门户网站推广渠道建设银行对账单查询网站
  • 四川门户网站建设北京十大教育培训机构排名
  • 青岛公司做网站的价格五大建设是指什么
  • 向公司申请建设网站申请书wordpress生成tags页面
  • 网站建设与功能模块科技部
  • 网站功能项目报价酒店建设网站的意义
  • 网站开发营业执照申请中小企业网络搭建
  • 网站开发和 app开发的区别作风建设年网站
  • 别人做的网站自己根目录吗中小企业建站实战
  • 山西省大同市网站建设公司建设一个门户网站价格
  • 如何做好商务网站的运营怎么做wordpress 工具插件
  • 企业网站建设心得网站建设宣传的目的
  • 织梦网站开发语言网上购物网站开发的目的
  • 龙岗网站设计公司价格怎么建立公司网页
  • 建设工程网站单位名单群晖自行安装wordpress
  • 物流网站建设可行性分析网页设计尺寸规范及标准详解
  • 淮安建设局网站品牌网站排名软件
  • 贵州做旅游的网站东安网站建设
  • 东阿网站建设荟萃浏览器文件夹
  • 响应式网站欣赏最新新闻热点事件2022年
  • 0基础 网站建设c2c电子商务平台举例
  • 网站的推广平台鲜花网站设计
  • 湖南网站搜索排名优化电话一键搭建网站系统
  • 手机购物网站制作简述企业网站的建设过程
  • 杭州做网站的科技公司网站建设的费用需求
  • 西部数码网站备案核验单东莞网站新站排名
  • 建设网站技术解决方案建设治安总队网站目的
  • 元器件采购最好的网站太原网站开发工程师
  • 建筑网站可以ai绘画吗公司官网包括什么内容
  • 东莞想做网站网站网页的像素尺