TiDB 2023:唐刘的简洁回溯 | PingCAP

2024-02-16 热点资讯 关注公众号
    2023年已落下帷幕,TiDB在过去的一年中砥砺前行,不断取得突破性进展。我们深感自豪地见证着TiDB如何持续助力客户实现成功,其中不乏诸多瞩目案例:首个云原生、分布式、全栈国产化的银行核心业务系统在杭州银行成功上线;TiDB所面临的国产数据库技术高峰究竟位于何处的深度探讨;以及在Flipkart的博客文章中详述的《Scaling TiDB To 1 Million QPS》等精彩。
TiDB in 2023, 一次简单的回顾丨PingCAP 唐刘    回顾这一年,TiDB团队在技术创新与问题解决上付出了巨大的努力。尤其值得一提的是TiDB 6.5 LTS版本,在2022年底发布后,至2023年已成为众多客户重度使用的首选版本。面对用户频繁反馈的大查询可能导致TiDB Server OOM的问题,我们在TiDB 6.5版本中着重解决了这一痛点,并取得了显著成效。不仅云端TiDB Cloud上的集群报警情况明显减少,来自客户的直接反馈也证实了OOM问题得到了有效缓解。此外,TiDB 6.5还优化了DDL速度,增强了优化器能力,使得年初我对该版本充满信心,认为其表现优异。然而,随着客户更大规模地应用TiDB,将其部署在更关键复杂的场景时,新的挑战接踵而至。
TiDB in 2023, 一次简单的回顾丨PingCAP 唐刘    紧接着是TiDB 7.1版本带来的深刻启示。我们曾以一个看似玩笑的问题——“是否有客户尝试一次性导入50TB大小的单表?”来测试数据库界的极限。这个问题在一次北美客户的实际操作中得到验证,他们于4月份启动了一次50TB单表数据的导入任务,但初期遭遇了一系列棘手问题,如数据倾斜导致磁盘满载、PD scatter region过慢引起的导入超时等。尽管起初建议由我们协助完成导入,但客户坚持自行验证并确保一次性成功导入。面对一周内必须解决问题的压力,我们的团队夜以继日地进行导入增强工作,最终帮助客户顺利完成了单表50TB数据的一次性导入。这次经历不仅积累了宝贵经验,也为后续日本客户成功导入单表100TB的数据奠定了基础。
TiDB in 2023, 一次简单的回顾丨PingCAP 唐刘    TiDB 7.1版本还在资源控制方面实现了重大突破,特别是在处理TP workload的同时,满足了客户对于复杂查询近乎零影响的需求。通过携手重要客户共同开发resource control功能,我们收获了积极正面的反馈,进一步坚定了聚焦样板客户业务场景,精心打磨TiDB产品,复制成功案例到更多客户的战略方向。
TiDB in 2023, 一次简单的回顾丨PingCAP 唐刘    进入TiDB 7.5 LTS版本的研发阶段,我们决定将重心放在产品质量的整体提升上。为了保证版本质量,我们遵循朴素逻辑,严格控制新特性数量,同时投入更多精力用于质量加固工作。从不同LTS版本的特性开发数量统计来看,这一趋势明显表现为递减,而这正是我们致力于提高TiDB整体稳定性和可靠性的有力证明。
TiDB in 2023, 一次简单的回顾丨PingCAP 唐刘    限制特性开发对研发工程师来说无疑是一项艰巨挑战,但我们认识到,比起推出大量半成熟的功能,精心打造少量开箱即用且性能卓越的特性更能赢得客户的青睐。例如,在TiDB 7.5版本中,我们深化和完善了resource control机制,引入runaway query机制,为用户提供了针对heavy query的有效控制手段,从而更好地防止突发复杂查询引发的TP业务抖动问题。
    此外,我们还大力提升了自身的测试效率,比如通过项目“Split integration tests(IT) and unit tests(UT) in TiDB repo”(https://github.com/pingcap/tidb/issues/45961),将整合测试从单元测试文件中分离出去,使单元测试真正回归本源。这项工作的成果显著,测试时间从最初的近50分钟缩短至目前的15分钟,并将持续优化,极大提高了我们的开发和测试效率。
    总结2023年的历程,TiDB无论在产品迭代还是稳定性策略上都取得了瞩目的成绩。尽管在前行路上难免犯错与走弯路,但我们坚信这些都将化作宝贵的财富。展望2024年,TiDB将继续坚持以稳定性为基础,着力提升可观测性和特定场景下的性能表现,具体规划可关注TiDB的官方路线图。同时,TiDB Cloud在2023年亦获得了显著进步,未来我们将专门分享“TiDB Cloud in 2023”的精彩故事。

上一篇:华为提议为 Linux 内核推出新“沙盒模式”,提高内存安全性
下一篇:AIGC与AI技术谱系:从生成内容到大语言模型的全面解读
更多更酷的内容分享
猜你感兴趣
唐立淇12星座周运,3.11-3.17,简洁易懂,一看就明白!

唐立淇12星座周运,3.11-3.17,简洁易懂,一看就明白!

过去一周,三星水瓶、四星双鱼和二金牛座的能量集中体现,引发了一系列事件,包括韩国IU演唱会门票秒杀、Fb和IG当机以及名漫画家鸟山明去世等。这些事件引发了集体感、狂欢感、科技感、艺术感、无力感、美感、金钱理财投资、食安、身体健康等方面的关注。下周我们仍然处于诸星双鱼氛围中,但金星的加入将更注重美、艺术和善良。人际关系重组和反转的力量也将带来新的体验和可能。

星座运势 03.12
多点Dmall x TiDB:挑战海外多云环境下的 TiDB 实战

优化版:多点Dmall与TiDB深度协作,海外多云环境下应对挑战的实战分享

多点Dmall x TiDB:挑战海外多云环境下的 TiDB 实战 优化版:多点Dmall与TiDB深度协作,海外多云环境下应对挑战的实战分享

新版本是否有可用的功能,并确保版本升级不会引入新的错误或性能问题。多点在版本升级时会评估利弊,并选择最适合他们的版本。总的来说,虽然多点的 TiDB 版本非常多,但他们仍然坚持使用最新的版本,以确保业务需求得到满足,并且降低潜在的问题风险。

热点资讯 05.20
专注细节,简洁至上——我的个性签名

专注细节,简洁至上——我的个性签名

"保持简单,追求真实。"

热点资讯 04.20
女演员唐嫣无缘2023年白玉兰奖视后,刘亦菲、赵丽颖等粉丝感到开心

或者

刘亦菲、赵丽颖、迪丽热巴、杨紫粉丝因唐嫣无缘奖而开心

女演员唐嫣无缘2023年白玉兰奖视后,刘亦菲、赵丽颖等粉丝感到开心 或者 刘亦菲、赵丽颖、迪丽热巴、杨紫粉丝因唐嫣无缘奖而开心

唐嫣因未能在白玉兰奖最佳女主角中胜出,导致“85花 飞升失败”、“85花 手拉手”等话题登上热搜。此外,“仙剑三美”杨幂、刘诗诗、唐嫣各自被提名过一次白玉兰奖视后,也凸显了他们的不同特色和优势。虽然杨幂以影视圈的多样性和深厚影响力获得赞誉,但她并不是唯一一位能在众多竞争者中脱颖而出的艺人。

热点资讯 06.30
打破传统:创新公司通过定制音响系统,引领KTV行业的变革

打破传统:创新公司通过定制音响系统,引领KTV行业的变革

智爱未来旗下品牌"Aison爱畅"发布了首个智能K歌音箱系列产品,打破行业天花板,成为中国智能K歌音箱赛道的黑马级产品。该产品的音质、交互性和综合K歌体验上都表现出色,提供了海量正版曲库和优质的K歌体验。爱畅还与雷石、全民K歌、QQ音乐等优质内容服务商合作,确保了产品的版权丰富和高质量。在未来,AI大模型与智能音箱的融合将带来更多新的体验和可能,爱畅将持续为行业和消费者带来更多惊喜。

热点资讯 09.19
黎巴嫩爆炸加剧:涉及更多民用设备,或将引发信任危机?

黎巴嫩爆炸加剧:涉及更多民用设备,或将引发信任危机?

示牌(T-18)、韩国“SM”、美国“Duracell”和中国台湾“金阿波罗”品牌的无线通信设备。次轮爆炸袭击中,有多家知名品牌如诺基亚、三星、华为和小米的产品被发现被使用。最近的爆炸事件则涉及到了日本品牌的无线通信设备,以及一些非智能手机产品的无线电设备。联合国人权事务高级专员表示将彻查爆炸的原因,并对下令者和实施者追究责任。同时呼吁国际社会应该采取行动,阻止冲突的扩大。目前无法确定这些无线通信设备是否是通过非法渠道获得的,也不知道是否有官方许可和审查程序。目前仍有许多爆炸事件发生在黎巴嫩。黎巴嫩通讯部证实了第一轮爆炸袭击时使用的设备来自日本品牌艾可慕。对于这次爆炸事件,黎巴嫩政府已经发布安全警告,建议民众避免前往现场。然而,相关产品仍然在市场上流通。

热点资讯 09.19
荷兰抵制通过2758号决议

荷兰抵制通过2758号决议

题上并不是第一次采取这样的行动,最近的动作尤为嚣张,这显然不是和平的方式解决问题。荷兰的行为已经引发了很多国家的关注,尤其是对中国来说,这无疑是又一次挑衅。中国坚决反对任何对国际法的践踏和对国际秩序和规则的公然挑战,对于荷兰的做法,中国必须坚决回击。中国的立场鲜明且坚定,相信在不久的将来,国际社会会看到公正与和平的一面。

热点资讯 09.19
华为三折叠手机是否将于近期发布?小米荣耀的布局动作是否值得关注?

华为三折叠手机是否将于近期发布?小米荣耀的布局动作是否值得关注?

小米2022年12月21日提交三折叠手机外观设计专利

热点资讯 09.19
新款电动车强制性国标发布,新增多项标准让你出行更安心

新款电动车强制性国标发布,新增多项标准让你出行更安心

工业和信息化部等多部门对《电动自行车安全技术规范》进行公开征求意见,做了很多改进和提升,提高了防火阻燃性能、防范非法改装行为,优化了电动车额定功率和最高转速的测试方法,提升了产品实用性,包括降低火灾事故风险、减少非法篡改行为、动态安全监测、提升续航里程等。此次新修订的标准旨在提升电动自行车产品的安全水平,促进行业的规范化发展,保护人民群众生命财产安全。

热点资讯 09.19
IBM裁员人数超过1000人,其中大部分集中在50-55岁的职场精英群体

IBM裁员人数超过1000人,其中大部分集中在50-55岁的职场精英群体

本文报道称,根据一位IBM内部员工透露的信息,该公司的美国总部近期秘密进行了大规模裁员,受影响的数千人。裁员的原因与传统裁员不同,本次裁员未经正式通知。该员工表示他的经理告诉他必须签署保密协议才能讨论具体细节。据悉,IBM在全球约有288,000名员工,且在2023年末,已经裁员3,900人。该公司正在考虑调整人力配置以满足AI需求,并在印度和其他地区招聘新职位以确保员工数量稳定。该裁员可能导致约5,200个职位减少,涉及4亿美元的费用。目前还不清楚在这次裁员中哪些职位会被关闭或转至印度。此外,由于泄露事件的影响,一些招聘信息已被替换为招聘其他地点。至于新职位的具体位置和时间,公司方面尚未给出明确答复。该公司股价在过去三个月内上涨了33%。

热点资讯 09.19
2023年中国MCU市场规模持续扩大至282亿美元,领先全球

中国MCU市场规模稳步增长至282亿美元,占据全球主导地位

2023年中国MCU市场有望突破282亿美元,引领全球消费电子趋势

中国MCU市场增长强劲,已超全球平均水平,未来前景广阔

2023年中国MCU市场规模持续扩大至282亿美元,领先全球 中国MCU市场规模稳步增长至282亿美元,占据全球主导地位 2023年中国MCU市场有望突破282亿美元,引领全球消费电子趋势 中国MCU市场增长强劲,已超全球平均水平,未来前景广阔

新冠疫情期间加剧芯片供应紧张,推动MCU价格上涨;厂商逐渐转向成本更低、性能更强的Arm生态系;但取代率上升可能促使MCU价格继续下滑。预计未来几年MCU平均单价会跌至0.88美元。整体来看,MCU价格将持续波动。

热点资讯 09.19
越南欲通过新铁路项目加强与中国老挝的合作

越南欲通过新铁路项目加强与中国老挝的合作

越南政府成立特别工作组,负责实施连接越南与中国和老挝的铁路投资项目。

热点资讯 09.19
重庆紧急发布高温红色预警,最高温预计将达40摄氏度以上!

重庆紧急发布高温红色预警,最高温预计将达40摄氏度以上!

重庆市气象局发布高温红色预警信号,预计未来15小时内,重庆市13个区县海拔400米以下地区将出现高温天气,并伴有强烈日照和酷热感,需注意防暑降温。 详细信息:重庆气象局发布高温红色预警信号,预计未来15小时内,重庆市13个区县海拔400米以下地区将出现高温天气,并伴有强烈日照和酷热感,需注意防暑降温。

热点资讯 09.19
蔚来将收购比利时奥迪工厂:激进还是稳健之举?

蔚来将收购比利时奥迪工厂:激进还是稳健之举?

蔚来打算收购奥迪在比利时沃斯特的工厂,以降低关税并提升产品在欧洲的销售能力。尽管面临国内市场竞争和欧洲不确定性的风险,但收购被认为是一个合理的决策。目前,该工厂已在挪威、德国、荷兰、瑞典和丹麦等地启动运营,并已成功交付首批用户。

热点资讯 09.19