当前位置: 首页 > news >正文

列表怎么做网站东道设计公司怎么样

列表怎么做网站,东道设计公司怎么样,0592 网站建设,找人建设一个网站多少钱简介 Vanna是基于检索增强(RAG)的sql生成框架 Vanna 使用一种称为 LLM(大型语言模型)的生成式人工智能。简而言之,这些模型是在大量数据(包括一堆在线可用的 SQL 查询)上进行训练的,并通过预测响应提示中最…

简介

Vanna是基于检索增强(RAG)的sql生成框架

        Vanna 使用一种称为 LLM(大型语言模型)的生成式人工智能。简而言之,这些模型是在大量数据(包括一堆在线可用的 SQL 查询)上进行训练的,并通过预测响应提示中最有可能的下一个单词或“标记”来工作。Vanna 优化了提示(通过向量数据库使用嵌入搜索)并微调 LLM 模型以生成更好的 SQL。Vanna 可以使用和试验许多不同的LLM,以获得最准确的结果。

        Vanna借助了相对简单也更易理解的RAG方法,通过检索增强来构建Prompt,以提高SQL生成的准确率。从本质上讲,Vanna 是一个 Python 包,它使用检索增强来帮助您使用 LLM 为数据库生成准确的 SQL 查询。

        事先用向量数据库将待查询数据库的建表语句、文档、常用SQL及其自然语言查询问题存储起来。在用户发起查询请求时,会先从向量数据库中检索出相关的建表语句、文档、SQL问答对放入到prompt里(DDL和文档作为上下文、SQL问答对作为few-shot样例),LLM根据prompt生成查询SQL并执行,框架会进一步将查询结果使用plotly可视化出来或用LLM生成后续问题。如果用户反馈LLM生成的结果是正确的,可以将这一问答对存储到向量数据库,可以使得以后的生成结果更准确。

优势

  • 易用性:Vanna 允许非技术用户通过自然语言与数据库交互,无需编写复杂的 SQL 查询。

  • 灵活性:它可以处理多种类型的数据库和查询,适用于不同的应用场景。

  • 准确性:Vanna 的能力与你提供的训练数据相关,更多的训练数据意味着在大型和复杂的数据集上有更好的准确性。

  • 安全性:你的数据库内容不会直接发送给 LLM,SQL 执行发生在你的本地环境中。

  • 自我学习:你可以选择在成功执行的查询上“自动训练”,或让界面提示用户对结果提供反馈,使未来的结果更加准确。

劣势

  • 准确性:生成的 SQL 查询可能不完全准确,可能需要人工干预来修正。

  • 性能:对于大型数据库,生成 SQL 查询可能会有些缓慢。

  • 依赖数据库结构:Vanna 需要事先知道数据库的结构信息,包括表名、字段名等。这意味着我们需要先将数据库结构信息导入到 Vanna 中,才能正确地生成 SQL 查询语句。

  • 复杂查询生成能力有限:对于一些非常复杂的查询语句,如果自然语言描述不够明确或存在歧义,可能导致 Vanna 无法正确生成 SQL 语句。

Vanna的关键原理

借助数据库的DDL语句、元数据(数据库内关于自身数据的描述信息)、相关文档说明、参考样例SQL等训练一个RAG的“模型”(embedding+向量库);

并在收到用户自然语言描述的问题时,从RAG模型中通过语义检索出相关的内容,进而组装进入Prompt,然后交给LLM生成SQL。

Vanna 的工作过程分为两个简单步骤 :

  1. 在给定的数据上训练 RAG“模型”-本质上是基于文档(建表语句、相关sql查询、表或者字段的comment)作为资料,进行Embedding后存入向量库。

  2. 然后提出问题,基于这些问题去向量库检索相关信息,这些问题传给大模型返回 SQL 查询,这些查询可以设置为在您的数据库上自动运行。

具体步骤包括:

训练:根据您的数据训练 RAG“模型”,或者说根据数据结构构建向量库。用户可以使用 DDL 语句、文档或样例 SQL 查询对 Vanna 进行训练,让它掌握数据库的结构、业务术语和查询模式。Vanna 会将训练数据转化为向量嵌入,存储在向量数据库中,并建立元数据索引,以便于后续检索。

问问题:问Vanna关于数据的各种问题,如"上个月销量最大的5个商品"

检索:Vanna对问题的处理与其他RAG系统一样,检索对应的DDL 语句、文档或样例 SQL。

生成 SQL: Vanna 利用LLM(例如 GPT-4),结合上下文信息,将自然语言问题转化为精准的 SQL 查询语句。

执行 & 展示:数据库收到 Vanna 生成的 SQL 查询后,就会执行查询。Vanna 会将查询结果整理成易于理解的格式,例如表格或图表,呈现给用户。

训练

Vanna的RAG模型训练,支持以下几种方式:

1. DDL语句

DDL有助于Vanna了解你的数据库表结构信息。

vn.train(ddl="""CREATE TABLE IF NOT EXISTS my-table (id INT PRIMARY KEY,name VARCHAR(100),age INT)
""")

2. 文档内容

可以是你的企业、应用、数据库相关的任何文档内容,只要有助于Vanna正确生成SQL即可,比如对你行业特有名词的解释、特殊指标的计算方式等。

vn.train(documentation="Our business defines XYZ as ABC")

3. SQL或者SQL问答对

即SQL的样例,这显然有助于大模型学习针对您数据库的知识,特别是有助于理解提出问题的上下文,可以大大提高sql生成正确性。

vn.train(question="What is the average age of our customers?",sql="SELECT AVG(age) FROM customers")

4. 训练计划(plan)

这是vanna提供的一种针对大型数据库自动训练的简易方法。借助RDBMS本身的数据库内元数据信息来训练RAG model,从而了解到库内的表结构、列名、关系、备注等有用信息。

df_information_schema=vn.run_sql("SELECT * FROM INFORMATION_SCHEMA.COLUMNS")
plan=vn.get_training_plan_generic(df_information_schema)
vn.train(plan=plan)

提问

vn.ask("What are the top 10 customers by sales?")

你会得到 SQL

SELECT c.c_name as customer_name, sum(l.l_extendedprice * (1 - l.l_discount)) as total_sales 
FROM snowflake_sample_data.tpch_sf1.lineitem l join snowflake_sample_data.tpch_sf1.orders o ON l.l_orderkey = o.o_orderkey join snowflake_sample_data.tpch_sf1.customer c ON o.o_custkey = c.c_custkey 
GROUP BY customer_name 
ORDER BY total_sales desc limit 10;

如果已连接到数据库,将获得类似以下内容的查询结果:

也可以通过Plotly chart进行绘图:

Vanna三个主要基础设施

  • Database,即需要进行查询的关系型数据库

  • VectorDB,即需要存放RAG“模型”的向量库

  • LLM,即需要使用的大语言模型,用来执行Text2SQL任务

配置LLM和向量数据库

默认情况下,Vanna支持使用其在线LLM服务(对接OpenAI)与向量库,可以无需对这两个进行任何设置,即可使用。因此使用Vanna最简单的原型只需要五行代码:

import vanna from vanna.remote 
import VannaDefault 
vn = VannaDefault(model='model_name', api_key='api_key') 
vn.connect_to_sqlite('https://vanna.ai/Chinook.sqlite') 
vn.ask("What are the top 10 albums by sales?")

这里的OpenAI_Chat和ChromaDB_VectorStore是Vanna已经内置支持的LLM和VectorDB。

如果你需要支持非内置支持的LLM和vectorDB,则需要首先扩展出自己的LLM类与VectorDB类,

实现必要的方法(具体可参考官方文档),然后再扩展出自己的Vanna对象。

参考文献

[1] How accurate can AI generate SQL? (vanna.ai)

[2] https://github.com/vanna-ai/vanna

[3] https://vanna.ai/docs

[3] Vanna-ai: 本地部署OpenAI兼容大模型及向量数据库

[4] Vanna-ai :基于RAG的TextToSql实现方案

[5] Vanna 用 RAG的方法做Text2SQL系统

http://www.yayakq.cn/news/397564/

相关文章:

  • 注册网站刀具与钢材范围国外有做塑料粒子的网站吗
  • 郑州建设厅官方网站做的漂亮的家居网站
  • 商标设计logo免费生成器网站定制网站多少钱
  • 网站开发流程属于制作与开发怎样建设微网站首页
  • 大学生简历制作网站python在线编程题库
  • 关键词优化排名工具桂林seo
  • 比较大的建站公司市场营销证书含金量
  • 天津建设网站的公司哪家好洛阳新光建站系统
  • 怎么用dw英文版做网站茂名住房和城乡建设局网站
  • 网站建设费用包括网站备案变更主体
  • 创意建站推荐网站推广站
  • 网站备案费一般是多少北京餐饮设计公司哪家好
  • 网站主机设置方法深圳的网站设计
  • 做外贸生意上哪个网站windows网站建设教程
  • 怎么在百度上做推广杭州百家号优化
  • 关于网站建设费用工作总结范文简短
  • 网站备案号去哪查询零基础怎么建设网站
  • 厦门市建设工程造价网站杭州市网站推广
  • 承德微网站开发防封电销系统
  • 潍坊市奎文建设局网站qq炫舞做字网站
  • 网站开发需要用什么软件浙江省建设质量工程协会网站
  • asp.net网站开发教程下载情侣博客 wordpress
  • 成都专业做网站推广电话电商数据分析
  • 东莞市国外网站建设多少钱网站定位策划
  • 网站制作过程合理的步骤是( )网站建设连接
  • 怎么在电脑上自己做网站吗广州网站建设(信科分公司)
  • 推荐十个网站看上去高端的网站
  • 正规网站建设价格费用吉安做网站的公司
  • 网站建设的网站最好的ppt模板网站
  • 网站建设按年收费吗家居网站建设费用