在数据库技术飞速发展的2023年，PingCAP的黄东旭先生深度剖析了这场变革，并对即将到来的2024年数据库发展趋势做出了前瞻性的预测。本文聚焦于GenAI时代对数据库产生的深远影响，并提出了两种应对策略：“向量数据库”和“向量搜索插件+SQL数据库”的融合路径。文章着重强调了个性化数据服务的核心地位以及数据库在实时交互与弹性能力方面所扮演的关键角色。【2023：数据技术的急速变革】
2023年，数据库内核技术与云原生架构深度融合，AI+Data浪潮翻涌不息，用户工作负载经历深刻转型。GenAI时代的降临，犹如一股无法抗拒的力量，驱动着整个数据技术领域朝着智能化、灵活化方向汹涌前进。这一年，炫酷的AI Demo竞相上演，但随着我们步入2024年，业界将铭记这个由“AI从Demo走向真实场景落地”的关键转折点。开源大模型成本骤降，企业和开发者对数据的关注度瞬间超越了对模型的关注，预计在2023年投入AI模型预算的80%比例在未来一两年内可能发生逆转，用户将更多地（甚至超过80%）投资于数据处理与分析，这使得数据处理能力的重要性愈发凸显。
【GenAI挑战与选择】
面对AI带来的诸多新诉求，数据技术领域正面临多重挑战与机遇。GenAI正在重塑数据技术的全新生态格局。那么，在这一背景下，“向量数据库”与“向量搜索插件+SQL数据库”该如何抉择？如何应对GenAI对数据库扩展性和实时交互提出的严苛要求？海量数据实时查询的成本压力是否巨大？AI催生的自然交互方式又将如何革新开发者体验？本文将逐一深入探讨这些问题。
【预测一：数据库模式的重构】
在GenAI应用日益普及的今天，尤其是Chatbot或Agent形态的产品，对数据访问的需求呈现出更为灵活和动态的特点。个人或组织生成的数据价值飙升，尽管数据量并不庞大，但其重要性不可忽视。GenAI直接以高效动态的方式访问数据，发起端则由边缘计算如Agent或GenAI进行。GPTs是一个生动例证，它支持通过自定义Prompt和RESTful API构建个性化的ChatGPT，后台Action被灵活调用且参数难以预知。随着用户身份信息标记机制的引入，UserID将成为数据库核心索引，从而让传统关系型数据库能够适应新的需求。
尽管出现了众多专门的向量数据库，但在黄东旭看来，更理想的方案是丰富现有的SQL数据库接口，使其标配向量搜索功能，而SQL仍为基石。向量搜索不必独立作为一个数据库来支持，而是作为数据库内置的一项功能。通过在SQL中插入和更新向量数据，结合向量索引的搜索能力，RAG得以实现动态更新与实时查找，从而消除向量数据库可能带来的数据孤岛问题。此外，Serverless产品形态也赋予用户对自身数据的所有权，这一理念在Web2时代几乎无法实现，却与Web3的理想愿景不谋而合。
【预测二：实时交互与弹性基础】
随着高价值数据驱动的应用成为GenAI应用主流，数据库的弹性与实时交互能力成为了至关重要的基石。在GenAI时代，知识和数据需要具备实时更新能力，这对数据库扩展性和实时交互性能提出了直接挑战。
虽然过去十年间业界已经关注并解决了大部分单一在线业务的扩展性问题，但对于具有冷热特征的业务，尤其是在未来更加动态和灵活的2024年及以后，传统的Shared Nothing系统可能不再适用。TiDB从设计之初就尝试打破这种局限，通过存储节点（TiKV）、计算节点（TiDB）和元信息（PD）的分离，以及后续版本中引入的自定义Placement Rule等功能，尽可能降低对等假设的影响，使资源分配更具灵活性。
而在云端，高效利用计算资源和提供弹性服务成为关键。数据库不仅需要满足强大的数据处理能力，还需要高效的实时数据广播和同步机制，确保决策基于最新、最准确的信息，实现实时交互。这要求数据库能够在毫秒级做出响应，并无缝同步事务处理（OLTP）和分析处理（OLAP），进而成为现代数据库区别于传统数据库的重要标志之一。
【预测三：成本透明与可观测性】
在云数据库时代，成本分析成为所有人的关注焦点，它在可观测性中独树一帜，成为评估云消费的新视角。云数据库的可观测性尤为重要，因为它几乎是开发者诊断问题的唯一途径。服务商提供的Dashboard应能清晰展示账单详情，账单的可解释性越好，用户体验便越佳。
然而，计费测量粒度过细可能会对产品性能和实现成本产生负面影响，因此需找到一个平衡点。无论如何，成本分析作为可观测性产品的一个独立视角，可以帮助用户发现潜在问题并优化成本。例如，当用户发现某数据库实例CPU使用率低但成本高昂时，可考虑调整实例规格以降低成本。
AWS今年发布的Cost and Usage Dashboard及其CTO Dr. Werner在Reinvent演讲中倡导的“俭约架构”七大法则，为我们提供了在云环境中打造高效、可持续系统的指导框架。
【预测四：开发者体验为核心】
随着GenAI时代应用工具变得越来越轻巧便捷，开发者体验已成为现代数据库设计的核心目标之一。优秀的数据库平台不仅仅是美观的Web界面和丰富的功能集合，更重要的是蕴含其中的设计巧思和产品经理的专业素养。
数据库管理工具作为一种虽非高频但却严肃使用的工具，在AI和云时代，应当遵循一系列与体验紧密相关的设计原则：API优先，保证稳定且前向兼容；采用统一认证体系，打通管控认证与数据库内部认证；构建各具特色的小工具，并通过统一CLI入口和语义系统进行调用。这些原则旨在创造卓越的开发者体验，正如乔布斯所说，“伟大的艺术拓展审美边界，而不是刻意迎合”。
综上所述，2024年的数据与数据库技术依然处于剧变之中，未来充满不确定性，但创新的步伐从未停止。黄东旭的这些前瞻性预测或许很快会被时间推翻或验证，但只要它们能在当下引发思考与启示，便已足够有价值。
