TiDB 2023:唐刘的简洁回溯 | PingCAP

2024-02-16 热点资讯 关注公众号
    2023年已落下帷幕,TiDB在过去的一年中砥砺前行,不断取得突破性进展。我们深感自豪地见证着TiDB如何持续助力客户实现成功,其中不乏诸多瞩目案例:首个云原生、分布式、全栈国产化的银行核心业务系统在杭州银行成功上线;TiDB所面临的国产数据库技术高峰究竟位于何处的深度探讨;以及在Flipkart的博客文章中详述的《Scaling TiDB To 1 Million QPS》等精彩。
TiDB in 2023, 一次简单的回顾丨PingCAP 唐刘    回顾这一年,TiDB团队在技术创新与问题解决上付出了巨大的努力。尤其值得一提的是TiDB 6.5 LTS版本,在2022年底发布后,至2023年已成为众多客户重度使用的首选版本。面对用户频繁反馈的大查询可能导致TiDB Server OOM的问题,我们在TiDB 6.5版本中着重解决了这一痛点,并取得了显著成效。不仅云端TiDB Cloud上的集群报警情况明显减少,来自客户的直接反馈也证实了OOM问题得到了有效缓解。此外,TiDB 6.5还优化了DDL速度,增强了优化器能力,使得年初我对该版本充满信心,认为其表现优异。然而,随着客户更大规模地应用TiDB,将其部署在更关键复杂的场景时,新的挑战接踵而至。
TiDB in 2023, 一次简单的回顾丨PingCAP 唐刘    紧接着是TiDB 7.1版本带来的深刻启示。我们曾以一个看似玩笑的问题——“是否有客户尝试一次性导入50TB大小的单表?”来测试数据库界的极限。这个问题在一次北美客户的实际操作中得到验证,他们于4月份启动了一次50TB单表数据的导入任务,但初期遭遇了一系列棘手问题,如数据倾斜导致磁盘满载、PD scatter region过慢引起的导入超时等。尽管起初建议由我们协助完成导入,但客户坚持自行验证并确保一次性成功导入。面对一周内必须解决问题的压力,我们的团队夜以继日地进行导入增强工作,最终帮助客户顺利完成了单表50TB数据的一次性导入。这次经历不仅积累了宝贵经验,也为后续日本客户成功导入单表100TB的数据奠定了基础。
TiDB in 2023, 一次简单的回顾丨PingCAP 唐刘    TiDB 7.1版本还在资源控制方面实现了重大突破,特别是在处理TP workload的同时,满足了客户对于复杂查询近乎零影响的需求。通过携手重要客户共同开发resource control功能,我们收获了积极正面的反馈,进一步坚定了聚焦样板客户业务场景,精心打磨TiDB产品,复制成功案例到更多客户的战略方向。
TiDB in 2023, 一次简单的回顾丨PingCAP 唐刘    进入TiDB 7.5 LTS版本的研发阶段,我们决定将重心放在产品质量的整体提升上。为了保证版本质量,我们遵循朴素逻辑,严格控制新特性数量,同时投入更多精力用于质量加固工作。从不同LTS版本的特性开发数量统计来看,这一趋势明显表现为递减,而这正是我们致力于提高TiDB整体稳定性和可靠性的有力证明。
TiDB in 2023, 一次简单的回顾丨PingCAP 唐刘    限制特性开发对研发工程师来说无疑是一项艰巨挑战,但我们认识到,比起推出大量半成熟的功能,精心打造少量开箱即用且性能卓越的特性更能赢得客户的青睐。例如,在TiDB 7.5版本中,我们深化和完善了resource control机制,引入runaway query机制,为用户提供了针对heavy query的有效控制手段,从而更好地防止突发复杂查询引发的TP业务抖动问题。
    此外,我们还大力提升了自身的测试效率,比如通过项目“Split integration tests(IT) and unit tests(UT) in TiDB repo”(https://github.com/pingcap/tidb/issues/45961),将整合测试从单元测试文件中分离出去,使单元测试真正回归本源。这项工作的成果显著,测试时间从最初的近50分钟缩短至目前的15分钟,并将持续优化,极大提高了我们的开发和测试效率。
    总结2023年的历程,TiDB无论在产品迭代还是稳定性策略上都取得了瞩目的成绩。尽管在前行路上难免犯错与走弯路,但我们坚信这些都将化作宝贵的财富。展望2024年,TiDB将继续坚持以稳定性为基础,着力提升可观测性和特定场景下的性能表现,具体规划可关注TiDB的官方路线图。同时,TiDB Cloud在2023年亦获得了显著进步,未来我们将专门分享“TiDB Cloud in 2023”的精彩故事。

上一篇:华为提议为 Linux 内核推出新“沙盒模式”,提高内存安全性
下一篇:AIGC与AI技术谱系:从生成内容到大语言模型的全面解读
更多更酷的内容分享
猜你感兴趣
多点Dmall x TiDB:挑战海外多云环境下的 TiDB 实战

优化版:多点Dmall与TiDB深度协作,海外多云环境下应对挑战的实战分享

多点Dmall x TiDB:挑战海外多云环境下的 TiDB 实战 优化版:多点Dmall与TiDB深度协作,海外多云环境下应对挑战的实战分享

新版本是否有可用的功能,并确保版本升级不会引入新的错误或性能问题。多点在版本升级时会评估利弊,并选择最适合他们的版本。总的来说,虽然多点的 TiDB 版本非常多,但他们仍然坚持使用最新的版本,以确保业务需求得到满足,并且降低潜在的问题风险。

热点资讯 05.20
唐立淇12星座周运,3.11-3.17,简洁易懂,一看就明白!

唐立淇12星座周运,3.11-3.17,简洁易懂,一看就明白!

过去一周,三星水瓶、四星双鱼和二金牛座的能量集中体现,引发了一系列事件,包括韩国IU演唱会门票秒杀、Fb和IG当机以及名漫画家鸟山明去世等。这些事件引发了集体感、狂欢感、科技感、艺术感、无力感、美感、金钱理财投资、食安、身体健康等方面的关注。下周我们仍然处于诸星双鱼氛围中,但金星的加入将更注重美、艺术和善良。人际关系重组和反转的力量也将带来新的体验和可能。

星座运势 03.12
专注细节,简洁至上——我的个性签名

专注细节,简洁至上——我的个性签名

"保持简单,追求真实。"

热点资讯 04.20
刘蒙深情回忆父亲的言传身教,坚守廉洁奉公和艰苦朴素的革命精神

刘蒙深情回忆父亲的言传身教,坚守廉洁奉公和艰苦朴素的革命精神

中央提出建议。

民俗文化 10.22
DNF手游:全新的徽章获取途径!异界粉装将直接打2个、属强提升58,你的等待即将得到补偿吗?

DNF手游:全新的徽章获取途径!异界粉装将直接打2个、属强提升58,你的等待即将得到补偿吗?

DNF手游在即将推出的全新65级版本中,有些玩家担忧可能会出现bug漏洞导致游戏问题。然而官方已对此进行了及时处理,并提供了一系列的补偿措施。至于60级史诗级辅助装备,玩家在体验服已经发现可同时绑定两个徽章,这意味着能增加额外的属性。然而,一些未体验到新模式的玩家表示,在游戏中遇到异常情况,一名玩家在打造装备时遇到了卡住精炼系统的状况,这也让其他玩家摸不着头脑。这意味着新打造并未正式上线,只是还未实装。总的来说,此次更新带来了一定的变化和挑战,但也是新的机遇,希望玩家们能够积极应对。

热点资讯 11.23
一次一夜之间,小米汽车的智驾系统遭到了众多用户的质疑和指责。究竟是什么原因导致这次的事故?

一次一夜之间,小米汽车的智驾系统遭到了众多用户的质疑和指责。究竟是什么原因导致这次的事故?

据@腾讯混元大模型,小米手机标准版自适应泊车功能引发多地车主投诉,其中70多位用户在11月14日至11月15日出现自动泊车故障导致车辆刮碰或碰撞。70名受影响的车主分布在多个城市,已成立“小米SU7标准版事故车主群”。小米官方至今尚未作出任何回应。据孙鹏介绍,疑似是因为系统错误,公司愿意全责赔偿并提供积分补偿。

热点资讯 11.23
北汽制造锐胜王牌 EM7新增「创业版/创富版」,官方售价仅8.28万起!

全新EM7车型发布:搭载创富版与创业版,8.28万元起预售!

北汽制造锐胜王牌 EM7新增「创业版/创富版」,官方售价仅8.28万起! 全新EM7车型发布:搭载创富版与创业版,8.28万元起预售!

以下是经过提取的一句话概述: 这款EM7车型新增创业版和创富版两款车型,定价范围在8.28万至10.98万元之间,分为2座和7座两个版本,其外观和内饰均有多种颜色供消费者选择。 注意:这只是一个简化的概述,可能没有涵盖所有的细节或信息。

热点资讯 11.23
新一代大众高尔夫家族闪亮登场:两厢燃油车的全新里程碑!

新一代大众高尔夫家族闪亮登场:两厢燃油车的全新里程碑!

大众新款高尔夫及新款高尔夫GTI将于11月30日上市,采用全新设计语言,外观内饰进行全面升级,提供8种车身颜色和多种动力选择,适合年轻消费者。新款高尔夫换装1.5T涡轮增压四缸发动机和2.0T发动机,提供更好的动力性能。

热点资讯 11.23
一线城市推退豪宅税,提振楼市消费热情

一线城市推退豪宅税,提振楼市消费热情

在此次北京、上海、广州三大一线城市全面取消普通住房标准后,四一线城市均调整了增值税和契税政策,以适应市场变化。广东城市规院住房政策研究中心首席研究员李宇嘉指出,这不仅有利于缓解市场下行压力,也有利于提高房地产业运行效率。目前来看,中国房地产市场的供应仍然充足,未来的政策方向仍然是稳增长、调结构。

热点资讯 11.23
黑色星期五港股急挫背后的原因:揭秘A股巨变

黑色星期五港股急挫背后的原因:揭秘A股巨变

点,就要做好长线布局和风险控制。至于分歧意见的来源,除了上面提到的各种可能性外,可能还包括海外市场调整等外部因素的影响。 总结来说,今日股市大跌,主要是由于国内出现了一些利空消息,而这些消息引发的资金过度反应,导致了市场的恐慌和抛售行为,最终导致了全盘股的下跌。对于接下来的走势,投资者需要注意市场的短期波动,并且要做好风险控制。

热点资讯 11.23
美的再次出手,重拳出击,一举拿下东芝电梯中国业务

美的再次出手,重拳出击,一举拿下东芝电梯中国业务

美的集团成功收购东芝电梯,成为中国最大的电梯合资企业“东芝电梯中国”。此外,美的还完成了对库卡集团股份的收购,并成为了其最大单一股东。美的进入电梯行业始于2020年12月,暖通与楼宇事业部收购菱王电梯,并正式进军电梯业务。未来,美的有望进一步推动电梯行业的智能化转型。同时,美的也将继续加强技术研发,提高品牌和技术水平,争取在中高端市场占据更大份额。

热点资讯 11.23
美联储的经济警告:美国债务与通胀威胁加重,警惕贸易战对金融稳定的影响

美联储的经济警告:美国债务与通胀威胁加重,警惕贸易战对金融稳定的影响

的风险,例如中东局势和政策不确定性。 根据美联储报告,经济学家们普遍认为美国政府债务的可持续性是一个重要的金融稳定风险。过去六个月的研究显示,大多数专家认为未来一年到一年半,债务可持续性是最可能的风险。这个观点的变化表明,对于债务问题的担忧已经开始减缓。

热点资讯 11.23
证券行业并购重组加速:中国经济日报为您解读

证券行业并购重组加速:中国经济日报为您解读

今年以来,我国证券行业的并购重组步伐加快,尤其是中小券商业务整合进程加速。一些头部券商业务整合将有助于其加强国际一流投行地位,而中小型券商业务则可以通过并购重组来提升资本金实力、实现业务资源优势互补和提高市场竞争力。然而,最后整合结果还需看后续整合情况。

热点资讯 11.23
中国芯片出口创纪录:总额超过9311亿人民币,令人惊叹不已

中国芯片出口创纪录:总额超过9311亿人民币,令人惊叹不已

本文主要讲述了近年来,随着全球经济形势的变化,中国在芯片出口领域的表现异常出色,出口增速远超预期。虽然受美欧等西方国家的芯片打压和封锁影响,但我国依然保持了较强的出口动力,已成为全球第三大出口产业。另外,船舶、汽车、芯片也是三大亮点,船舶出口量和增速均居全球首位,显示出我国强大的制造业实力。同时,随着新能源汽车的发展,我国汽车出口也实现了爆发式增长,成为全球第三大出口国。未来,我国应继续保持强大的出口动力,推动制造业向高端化发展。

热点资讯 11.23