模板建网站,wordpress contactform,手机网站有什么区别是什么,网站建设预期效果2024 年伊始#xff0c;Kyligence 联合创始人兼 CEO 韩卿在其公司内部的飞书订阅号发表了多篇 Rethink Data Analytics 的内部信#xff0c;分享了对数据与分析行业的一些战略思考#xff0c;尤其是 AI 带来的各种变化和革命#xff0c;是如何深刻地影响这个行业乃至…2024 年伊始Kyligence 联合创始人兼 CEO 韩卿在其公司内部的飞书订阅号发表了多篇 Rethink Data Analytics 的内部信分享了对数据与分析行业的一些战略思考尤其是 AI 带来的各种变化和革命是如何深刻地影响这个行业乃至整个企业运营与管理。
经整理我们也将向业内分享这一系列的大部分内容这是该系列的第一篇文章为技术趋势方面内容有删减。与面临 AI 转型的各位朋友共勉也期待大家在评论区分享自己的见解和体会 各位同学大家新年好 2023 年我的飞书签名是“Rethink Data Analytics”我们一直在探索未来的数据与分析应该是什么样子尤其是在 AI 带来巨大变革的时候更加紧迫地让我们去深入思考未来的数据和分析会向什么方向发展我们又如何在这一波革命中抓住机会为我们的客户提供更好的产品和体验更好地发展我们的业务。 经过 Kyligence 过去一年的实践在 AI 加持之下我们的理念、产品以及实践逐渐在市场上获得了认可也获得了越来越多的共鸣这让我们更加坚定地在这个方向上向前走尤其是年底来自百胜中国、中控技术、皮爷咖啡等客户订单我们过去一年多的转型没有白费我们做对了产品我们验证了我们的 PMF (Product Market Fit)从现在的 Pipeline 中我们能够感受到强烈的市场脉搏。 在新年之际我想借此机会和大家分享更多我们的一些思考以及对未来的一些认知希望大家一起为这个行业的变革带来贡献。这是这个系列的第一篇介绍我们对相关趋势的观察和思考。 Apache Kylin 毕业于2015年Kyligence 公司成立于2016年在过去几年我们在技术上不断迭代和更新以适应新的技术趋势积累了不少实践和总结。 Open source cant make big money
这是我很不愿意提及的话题但事实如此。
从商业角度看开源不是商业模式只是市场手段。而在商业上如果没有有效的商业化手段开源的用户是不会转换成为付费用户从行业中很多朋友们的实践中可以深刻地感受到。
很多人对我们的认知不够深刻觉得我们是让用户先用开源 Kylin然后转换到商业版本这个误解很多年了。Apache Kylin 在我们离开 eBay 的时候已经完成了几项重要的社区工作 毕业成为 ASF 顶级项目建立了品牌和知名度 被几大互联网厂商大规模使用包括百度、网易、头条、美团等磨炼了技术成熟度 作为中国第一个 ASF 顶级开源项目构建了社区和影响力
因此在我们创立 Kyligence 公司的时候即全面开启商业化几乎所有的客户都是直接谈的企业版并且在一开始就走商业化合作这也是这么多头部客户持续合作多年的原因。今天我们积累了这么多企业级客户只有极个别是使用了 Apache Kylin 之后转换为商业版的尤其是银行等金融客户一开始就对企业级特性、安全、资源管理以及服务等提出了苛刻的需求而这些也是企业版的设计目标。客户要的从来不仅仅只是技术而是技术背后的产品设计、服务保障以及持续的创新能力。
商业是商业我们所有人必须要深刻理解客户为什么付钱为什么愿意付我们这么多钱底层技术突破很难但往往在产品上真正赚钱的不是最高深的技术我们只需要提升一些用户体验改变一些工艺流程只要能够帮助用户节省人力、成本提升效率客户都是愿意付费的——每个技术点都要设计价值主张给到客户而不是只是说技术很厉害必须得到客户的认可。这需要我们更多深入客户现场更多去理解客户的实际需求、痛点、痒点。
当然我们并不否认开源的价值包括我们自己也是从开源技术、社区等获益匪浅我们也将持续在各个开源项目中持续投入、参与和继续主导。 Hadoop is dead
Hadoop 作为大数据的代表曾经风光无限曾经有着巨大的市场机会。可惜在2021年随着 MapR 的出售和 Cloudera 的私有化逐渐没落。这里有太多的原因但从我的视角主要来自于社区的分裂和商业策略上的保守。2017年Doug Cutting 在北京出席我们的 Meetup 的时候还在畅想未来十年的 Hadoop 生态如何当时正好是 Hadoop 十周年。而不到5年行业已经几乎很少再谈论 Hadoop 的相关技术有也只是小修改没有惊艳的项目出现了。 2017年在 Apache Kylin Meetup 上与 Doug Cutting 合影
在创业的前五年我们很幸运跟着大数据、数据湖的扩张而扩张那时候各家银行都在将基于 MPP 数据仓库的应用迁移到基于 Hadoop 的大数据平台而我们做为大数据平台上最好的 OLAP吃到了红利。但随着 Hadoop 厂商的没落我们也明显能感觉到市场的快速变化同时随着云计算的兴起云数据仓库、云数据湖又非常快速的在市场上出现“数据仓库”的技术流派逐渐分裂。而国内更加糟糕各种定制的 Hadoop、魔改的私有云等等使得这个市场非常复杂但却又很难赚到超额利润。
2021年某银行客户领导联系我们去讲课直接坦承“Hadoop 已经结束了”让我们去和他们架构团队探讨 Hadoop 之后的大数据平台应该如何走向以及现有的架构、应用等如何迁移等。当时我们就非常敏感地意识到必须更快地迭代和转型。
过去的两年多来我们可以真切地感受到越来越多的客户这里以 Hadoop 为主的平台正在放缓建设一部分重新回到了 MPP以数据仓库为基础大数据/数据湖支撑部分业务一部分走向了云原生架构以数据湖为基础走向湖仓一体。未来这种复杂的混部架构应该会持续存在至少5年以上这其实也是我们的机会我们可以为客户提供屏蔽底层架构的统一数据层也就是全场景 OLAP、统一语义层这方面我们有很大的优势。 BI will be evolved
现代的 BI 工具几乎都是可视化工具而之所以需要这么强的可视化是因为人类无法直接理解数据给人 0 和 1 是无法直接解读和理解的。而图形可以帮助人类快速理解某个指标是涨了还是跌了某个因子比另外一个要影响更大哪个结果指标是由哪几个过程指标分解等等。优秀的可视化能力是帮助分析师高效完成分析、总结和探索的的利器。
但今天当 AI 可以直接读取和分析数据的时候是不需要前置一个可视化的直接给 AI 数据 0 和 1即可让 AI 快速给出分析结论是涨了跌了背后是为什么什么因子影响的影响有多大还有什么原因等等这里的效率提升是十倍到百倍以上的。相当于 AI 把以前分析师需要做的大部分工作都做了人类只需要进行选择、判断和稍微修正就行。这是 AI 时代对数据和分析行业带来巨大变化的第一点。
自动化行业有一个非常好的比喻不要让机器人打算盘。都已经有 AI 了人类可以问 AI 要结果和建议而不是依然让 AI 去做低效的工作。 图片来源ChatGPT 4
我们今天的产品已经做到了这些能力我们可以更进一步去改变这个行业。为用户提供一个动态的、聪明的、高效的决策助理/Copilot而不仅仅只是一个数据呈现工具。 Performance is not the key, Performance will be the new key
我们在 OLAP 的场景中经常碰到的挑战就是 Performance虽然性能是我们的强项但往往我们花费了无数的心血可能只是为了帮助客户的某条 SQL 提速了几秒钟或者只是让他们在点开仪表盘的时候少等待几秒。Performance/性能是在技术 PK 中最常见的也是最近很多友商来进攻的一个点。性能良好的系统/OLAP当然是非常好的但当大家都到了秒级的时候其实已经没什么可比的。而往往改变一个数据结构或者一个数据 Pipeline就能够以数量级的方式提升性能。
那为什么需要这么好的性能在 AI 时代性能依然重要吗我们认为之所以需要 OLAP 或者数据仓库端有极好的性能是因为大量的数据分析工作依赖于有限的几个分析师或业务用户而这个人群的业务压力非常大且往往数据出来后依然有着非常繁重的任务比如对比数据、查阅历史、分析原因、重跑各种可能性等等并要形成报告和决策、行动建议。所以一个非常好用的工具确实是必不可少的。
但在 AI 时代这里的大量工作其实可以委托给 AI 完成甚至可以让 AI 提前完成尤其是固有的、常用分析套路同时 AI 可以快速给出大致的总结这已经能够大大节省人力甚至 AI 可以让各种系统自动化连接起来。
今天我们用 Kyligence Zen 出一个周报或者做一次归因只要十秒左右即可而且自带了总结这比出来结果再去查资料写报告已经有了质的提升性能尤其是查询性能在这个场景下其实已经没那么严苛了。反而并发性成了下一个挑战因为会有越来越多的人来使用系统。而并发正好也是我们的强项。
而最近更多的客户已经将关注点从性能转移到了 Performance 的另外一个含义绩效。指标平台本质上是一个 KPI 平台而 KPI 则是 Key Performance Indicator 的缩写。当我们将关注点从性能转移到绩效的时候突然发现这才是客户真正要的产品仪表盘或者报表从来不是客户要得最终结果他们要得是基于数据的管理能力。几乎每一个有用的指标/Metric都展示了某个业务或者管理的结果而一个公司之所以需要指标就是为了更好地观测相关业务的进展、健康状态以及及时采取措施来修正组织行为从而确保公司的整体或者部分绩效能够按照设定的目标行进。
我们最近在一个银行客户这里做的 POC就是一个绩效管理相关的需求。虽然看上去有非常大的难度但这个方向确实是我们产品的正确方向继续突破我们将能够开拓一个非常大的市场。
我们要跳出技术思维在 Performance/绩效上打出差异化和壁垒提升技术投入的 ROI并快速占据市场。 AI is eating the world 图片来自网络 AI 正在吞噬软件这是 NVIDIA 黄仁勋在2017年的一篇采访中提到的到今天应该没有人再怀疑这个论断。现在的问题是AI 将如何改变不同领域的软件在我们自己的行业就是 AI 将如何改变数据与分析市场。
在数仓领域这个图已经用了超过30年了“数据源”—“ETL”—“数据仓库”—“OLAP/数据集市”—“BI/Reporting”顶多再加上“元数据”和“分析预测”。不管是 ELT 还是 ETL不管是数据湖还是数据仓库不管是本地部署还是云端部署这里所有的假设都是数据需要经过漫长的工程从原始数据萃集后整理成星型或雪花模型从而提供给上层 BI 等使用。作为使用者的最终用户往往是最后才被赋能从而导致大量的数据其实今天依然没有被充分利用起来。 图片来自网络 Generative AI生成式 AI的出现使得数据的工艺流程出现了巨大的变革数据的加工方式发生了革命性的变化。首先各种复杂的重复性的劳动尤其是数据的 Pipeline都将由 AI Agent 来处理。小到行列转换大到数据治理未来应该有很多的 AI Agent 来处理这些工作人类只需要用提示词设计合理的流程就好。这从 ChatGPT 自带的 Advanced Data Analysis 和众多使用 OpenAI’s Code Interpreter 的数据分析工具都可以看到甚至 GPTs 可以通过几个简单的提示词就可以完成很多数据梳理、分析的工作。 当时我在一个内部的文档中就写到 其次人和机器的交互进化到了最自然的方式数据的消费方式发生了革命性的变化。只要会说话就能用数据这是这次 AI 带来的巨大变革。这使得原来只有领导、分析师、专业用户等才能使用的“数据和分析能力”一下子平民化到了每个人即使文化水平有限的用户也能被充分赋能。这将大大改变现在的数据架构、处理模式和消费方式等。
大部分公司现在能够有效使用数据的员工不超过10-15%而这次 AI 革命能够让其余 85-90% 的人直接消费数据或者数据产品可以预见现有的数据架构是无法满足的。这里的变革才刚开始我们的实践走在行业最前沿最近收到很多的市场反馈都说我们的产品做的非常务实和好用甚至某头部股份制银行和我谈是不是给他们提供个产品咨询教他们怎么做产品——这说明我们的设计、体验和功能获得了最终用户的认可正在影响行业的发展。
当每个人都能、都需要消费数据的时候传统的数据仓库或者数据湖的架构是否还适用数据的存储方式将发生什么样的变革这是一个开放问题目前我还没有具体的答案但可以预见AI 的场景必然会要求系统处理更多的数据更灵活地访问数据和更高效地服务更多人。从今天的大部分 MPP 和大数据的架构上看在这几个方面应该都会很快面临巨大的挑战当比现在访问量大十倍、百倍甚至万倍的时候今天任何数据系统要在成本可控的情况下完成都非常困难这里期待我们未来和客户一起共同研究和探索一起突破这里的极限。
AI 能带来的将远比这些更多我们在实践中实现了几个方向已经产生了巨大的变化和影响AI 将带来数据和分析的深层次革命。机器将代替人类完成更多的工作尤其是重复的、可被自动化的。过去数据系统完成数据的加工和指标的统计后后续需要大量的人工去分析影响相关指标变化的影响要素探索根因并根据经验提供相关的决策建议。
而今天在我们自己的实践中这部分工作已经可以让 AI 来完成大部分了结合我们即将发布的一些新能力将使得未来使用我们系统的用户更加快速地获得分析结果。另外一个实践是我们的产品整合了飞书今天 Kyligence Zen 可以建议相关行动并通过飞书任务串联执行未来我们将整合 RPA 等能力从而让相关的信息流转更加自动化。简单的实践就能看到巨大的变化这里的潜力无限希望我们大家发挥想象力更多地让 AI 来改变数据和分析甚至是整个企业的经营和管理。 小结
我们一直坚持在技术上持续的进行投入和突破。从 Hadoop 时代开始我们不断推倒自己的过去不断迭代自己的产品底座。 去掉 HBase 换成 HDFS 存储是 2016 年创业后第一个商业特性 从 MapReduce 切换到 Spark 引擎是在 2017 年左右完成的 完全去掉 Hadoop 依赖彻底跑在公有云上是 2018 年底完成的 完成核心引擎重构发布 AI 增强引擎是 2019 年完成的 2020 年扩展产品线从 OLAP 到 Excel 和语义层和客户共同打磨 2021 年推出分层存储打造全场景 OLAP 2022 我们开始发展向量化 Spark、支持容器化云原生、并推出了指标平台 Zen 2023 年全面集成 AI 能力推出了 AI Copilot 以及司南大模型Compass
理解趋势快速迭代技术与产品为市场提供符合发展和客户迫切需求的产品是一个成功的商业公司应该持续做到的。希望我们大家一起努力不断领导整个行业的发展为我们的客户提供更好的产品和服务。 关于 Kyligence
跬智信息Kyligence由 Apache Kylin 创始团队于 2016 年创办是领先的大数据分析和指标平台供应商提供企业级 OLAP多维分析产品 Kyligence Enterprise 和智能一站式指标平台 Kyligence Zen为用户提供企业级的经营分析能力、决策支持系统及各种基于数据驱动的行业解决方案。
Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售、医疗等行业客户包括建设银行、平安银行、浦发银行、北京银行、宁波银行、太平洋保险、中国银联、上汽、长安汽车、星巴克、安踏、李宁、阿斯利康、UBS、MetLife 等全球知名企业并和微软、亚马逊云科技、华为、安永、德勤等达成全球合作伙伴关系。Kyligence 获得来自红点、宽带资本、顺为资本、斯道资本、Coatue、浦银国际、中金资本、歌斐资产、国方资本等机构多次投资。
