让数据价值触手可及,TiDB在企查查的实践与v7.1版本升级体验。

2024-02-25 热点资讯 关注公众号
    企查查数据中台建设:TiDB 实践之路与应用价值深度剖析
数据价值在线化丨TiDB 在企查查数据中台的应用及 v7.1 版本升级体验    【开篇】
数据价值在线化丨TiDB 在企查查数据中台的应用及 v7.1 版本升级体验    本文由赵河、王云鹤两位撰写,他们来自企查查大数据架构部 DBA 团队,将详尽介绍企查查在构建数据中台过程中如何运用 TiDB 实现从 MySQL 到分布式数据库的华丽转身,并分享 TiDB 在实际应用中的卓越表现和升级体验。2023年9月,企查查已将其 TiDB 数据库升级至 v7.1.1 版本,进一步优化了企业信用信息服务效能。
    作为全球首款商查大模型“知彼阿尔法”的发布者,企查查以大数据和人工智能技术为核心,提供全面、精准且实时的企业信用信息,助力各行业高效决策并防控风险。
    【TiDB 升级转型之旅】
    面对海量数据处理需求,企查查曾依赖于 MySQL 数据库,但随着业务规模的扩大,MySQL 的单机性能瓶颈逐渐显现,尤其在高并发写入和复杂查询场景下,其性能受限问题尤为突出。此外,MySQL 的热备操作缓慢及恢复效率低下,也对数据流转带来了挑战。
    2019年底,企查查开始关注并研究 TiDB,在经过深入对比测试后,决定采用 TiDB 构建基于 Flink+TiDB 的实时数仓框架,充分解决了原有痛点。选择 TiDB 的关键原因包括:
    - 无缝切换,零学习成本:TiDB 出色兼容 MySQL 协议和语法,对于 MySQL 基础深厚的 DBA 来说,几乎无需额外学习即可轻松上手。
    - 原生分布式架构显著优势:TiDB 采用分布式设计,突破单机限制,具备灵活的水平扩展能力,支持分布式事务,且存储层面基于 Raft 共识算法,确保数据高可用性。
    - 周边工具生态完备:TiDB 配套的监控体系、数据迁移同步工具(如 TiCDC)以及备份恢复工具等一应俱全,完美融入企查查现有的监控告警体系,保障服务稳定运行。
    - 活跃开源社区强力支撑:TiDB 社区高度活跃,提问能得到快速回应,丰富的博客和技术文章为日常运维提供了强大支持。通过参与线下活动,企查查团队能及时获取实践经验和解决方案。
    - 大数据生态友好集成:TiDB 与大数据生态紧密协同,特别是 TiCDC 工具能够无缝对接 Kafka,简化数据清洗流程,实现数据湖 Iceberg 的准实时写入。
    【TiDB 在企查查数据中台的应用与价值】
    TiDB 在企查查数据中台系统的广泛应用,涵盖了从数据采集到清洗的全流程,通过仅用两套 TiDB 集群替代原有的20多套 MySQL 数据库,极大地提升了系统效能。利用 TiCDC 工具,实现了近千张表的数据同步和变更捕获,确保了数据一致性。
    值得一提的是,企查查创新性地采用自研 Flink Hybird Source,将 TiDB 数据准实时推送至数据湖 Iceberg,并与其他系统如 ES 和 Hive 实现高效联动。目前,企查查正积极研究 TiFlash 功能,计划今年内部分离线查询任务从 Hive 迁移至 TiDB,以提升数据实时性并减少冗余流转。
    【TiDB 应用带来的显著价值】
    1. 数据价值在线化跃升:TiDB 分布式读写能力远超 MySQL,结合 Flink 实时计算能力,有效保证了数据实时性和高效分发查询,使得数据价值得以实时释放。
    2. 数据流转效率显著提高:TiDB 与上下游生态良好兼容,无论是数据写入还是分发,均实现了无缝对接,提高了整体数据流转效率,盘活了企查查的数据资产。
    【使用心得与版本升级感悟】
    在具体使用 TiDB 的过程中,企查查团队特别推崇几个实用特性,如 Resource Control 能够满足多租户资源管控需求,gc 任意时间点内恢复功能可高效应对误删除问题,以及热点自动调度功能显著提升了集群稳定性。
    关于版本升级,企查查在 TiDB 的升级之路上积累了宝贵经验。从 v4.0.6 升级至 v7.1.1 的过程中,虽然遇到了一些挑战,如重启问题、DDL 阻塞以及 TiCDC 稳定性等问题,但在社区的支持下,所有问题都得到了妥善解决。尤其是跨大版本升级至 v7.1.1 后,系统性能获得大幅提升,QPS 峰值高达 50-60K,响应时间显著降低,同时新版本的资源管控功能极大满足了业务需求。
    通过持续迭代与优化,TiDB 不仅为企查查解决了传统数据库难以克服的问题,更以其强大的开源模式与活跃社区力量,证明了在企业级数据中台建设中不可或缺的价值。

上一篇:63岁老人死于家中无人发现:养老之殇,我们这代人将何去何从?
下一篇:魅力建邺|矗立在建邺大地上的丰碑
更多更酷的内容分享
猜你感兴趣
TiDB与ES结合:超大规模数据存储优化实践

TiDB与ES结合:超大规模数据存储优化实践

转转业财数据存储优化实践中的解决方案为使用 TiDB 加速系统数据量问题并引入 Elasticsearch 解决快查询难题。通过底层数据存储切换和 ES 接入,系统成功突破了存储瓶颈,显著提升了查询效率和响应速度。未来五年可实现无需考虑数据库数据量问题,轻松应对业务增长与全量业务覆盖以及良好扩展性。推荐使用 TiDB 作为底层数据存储方案。

热点资讯 05.13
TiDB实战分享:第三方支付企业如何成功应对关键数据库升级挑战

TiDB实战分享:第三方支付企业如何成功应对关键数据库升级挑战

该第三方支付企业在面对竞争和监管压力时,选择了 TiDB 分布式数据库,并成功应用于核心业务、计费、清结算和交易查询等关键系统。TiDB 的水平扩展能力、高可用性和简化数据栈等优势使其在处理高并发交易和保障数据安全方面取得显著进展。此外,基于互联网时代的便利化,第三方支付行业也迎来发展机遇,实现数字化转型。面对支付平台的竞争激烈和产品升级的压力,该企业注重产品质量和服务模式创新,并积极探索分布式数据库,以适应多变环境下的业务发展需求。

热点资讯 04.06
崭新升级!揭秘《原子核基本性质实验数据核素图》,让核素世界更为清晰明了!

崭新升级!揭秘《原子核基本性质实验数据核素图》,让核素世界更为清晰明了!

截至目前,美、中两国科学家在第八周期元素的研究上取得了重大进展。中国发现的40种新核素中有38种来自科学院近代物理研究所。其中,中国科学院发现的119号和120号元素引起了广泛关注,该研究也将重点放在寻找第八周期元素上。科学家们利用强流重离子加速器和高灵敏度探测器等先进的设施,希望能够实现对新元素的高效合成和研究。

生活常识 04.15
TiDB 7.5.0 LTS:快速处理大量数据的高手!

TiDB 7.5.0 LTS:快速处理大量数据的高手!

TiDB 过去在处理复杂数据批量处理上存在限制,但现在能力已得到演进。从 TiDB 5.0 开始,TiFlash 支持 MPP 并行计算能力,到了 TiDB 6.1 版本,引入了 BATCH DML 功能,将大事务自动拆成多个批次处理,大幅提升处理效率。7.1 LTS 版本正式 GA 了 TiFlash 查询结果物化功能,大幅提升了 insert/replace into ... select ... 操作的处理性能。最近发布的 7.5 LTS,正式 GA 了一个 IMPORT INTO 的功能,使用一条 SQL 语句就可以完成大批量数据的导入,简化了超大规模数据写入时的复杂度。

热点资讯 02.26
柴油皮卡发动机500N·m究竟有多强:对比前瞻性能分析

柴油皮卡发动机500N·m究竟有多强:对比前瞻性能分析

这款柴油皮卡的动力天花板——500N·m的峰值扭矩预计将改变格局。500N·m的峰值扭矩将是继此前仅被上汽大通占据的局面之后,另一家本土皮卡制造商也将进入这个领域。未来还将有两款新车达到500N·m,并受到广泛关注的五十铃4JJ3 3.0T发动机也将破纪录。更多信息可参考最新新闻报道。

热点资讯 11.23
蔚来汽车巨额亏损:这伤害了谁?

蔚来汽车巨额亏损:这伤害了谁?

蔚来汽车本应是行业的领军者,却因为连续亏损无法走出低谷。最近发布三季报后,理想主义者决定接受现实,蔚来汽车未来是否能如愿以偿还面临不少困难。随着市场竞争加剧,蔚来如何摆脱现状,维持品牌价值,并吸引消费者购买?对此还需持续关注。

热点资讯 11.23
提高效率,节省成本:迎接2025年的挑战 - 从内部改革到外部削减开支

提升生产力,降低成本 - 立即为2025年做好准备!

提高效率,节省成本:迎接2025年的挑战 - 从内部改革到外部削减开支 提升生产力,降低成本 - 立即为2025年做好准备!

北京、上海、广州等地宣布取消普宅与非普宅标准,居民购房成本降低;金融机构推出一系列措施,包括放松限购、降低贷款利率、鼓励企业债券发行等,促进经济稳定发展;同时,各地政府部门调整出口退税政策,减轻外商投资企业的负担。这些措施在国内有利于刺激消费、减少债务,有助于实现稳增长的目标。然而,在国外,一些国家也采取了类似的政策措施,如法国、德国、韩国等国实行零税率,增值税不再作为间接税,从而降低了消费者的负担。因此,未来还需密切关注国内外政策动向,为经济发展做好充分准备。

热点资讯 11.23
富豪共识:谨慎对待‘低价’商品,避免损害财富安全

富豪共识:谨慎对待‘低价’商品,避免损害财富安全

企业家们炮轰低价策略伤害产业;热门话题中搅动争端;著名股市博主探讨平价消费原因与本质。二十年前,大创从失败者摇身一变成为全球零售巨头;泡沫破裂后,它逆市扩张,并成功扎根在日本。虽然备受争议,但它展示了消费升级趋势,推动了日本产业链升级。

热点资讯 11.23
欧元已降至2022年来最低水平,已成为摩根大通等机构的首选做空货币

欧元已降至2022年来最低水平,已成为摩根大通等机构的首选做空货币

压力”,因此“可能很快就会出现一种崩溃的情况”。此外,一些市场人士认为,如果欧洲央行选择进一步降低利率,可能会引发市场的恐慌情绪,并导致汇价进一步下跌。对于欧盟来说,这可能是为了刺激经济增长、抵御国际资本流动的影响,但同时也面临着一系列挑战。他们需要找到合适的途径来平衡这些目标和风险,同时也需要注意避免过度的紧缩政策导致的副作用。因此,在这种情况下,投资决策应谨慎行事。

热点资讯 11.23
纯净水真的能喝一辈子吗?权威解析,为你揭示真相

纯净水真的能喝一辈子吗?权威解析,为你揭示真相

水)主要来源于自然水源,如泉水、河流、湖泊等,或者城市周边的地下水源;天然水(普通水)则多来自工厂供水或者生活用水等。 农夫山泉创始人钟睒睒在公开场合表示不建议长期整个家庭饮用纯净水,称纯净水经过多道深度净化工艺,水中几乎所有杂质都被去除,只保留纯粹的水分子。他认为长时间饮用纯净水可能会对人体健康产生影响。 天然水与纯净水之间的争议进一步升温,瓶装水只有2个强制性国标:《食品安全国家标准 包装饮用水》(GB 19298-2014)、《食品安全国家标准 饮用天然矿泉水》(GB 8537-2018)。专家表示,长期饮用纯净水只要饮食均衡,人体一般不会出现矿物质缺乏的情况,依靠食物来补充矿物质才是更可靠、更主要的方式。 其中最大的区别就在于,农夫山泉宣传“天然水仅对原水做必要的处理,水中含有钾、钠、钙等各种矿物元素”,而纯净水则是经过多道深度净化工艺,将水中几乎所有杂质都去除,只保留纯粹的水分子。然而,真实情况可能是,有些瓶装水生产商为了追求利润,会添加其他成分或者改变水质,这就导致了纯净水和天然水的区别。

热点资讯 11.23
卫生巾行业竞争激烈,新进入者需警惕的食品安全问题

卫生巾国标的争议并未停止,新的竞争态势即将开启

卫生巾行业竞争激烈,新进入者需警惕的食品安全问题 卫生巾国标的争议并未停止,新的竞争态势即将开启

的重视和对产品质量的严格把控;其次,明确指出到2025年3月实现"全线产品国标零负差",并计划在今年12月份推出改良产品;最后,ABC公司创始人邓景衡表示愿意承担起社会责任,通过改革提升产品品质。这些信息表明,ABC公司在这次卫生巾质量问题的讨论中积极应对并采取了相应的措施。

热点资讯 11.23
96岁高龄华人李嘉诚再显风采:因突发事件两次露面,引发关注

96岁高龄华人李嘉诚再显风采:因突发事件两次露面,引发关注

李嘉诚基金会在港大医学院宣布捐赠超声波组织碎化技术(Histotripsy)医疗仪器两度出现在公众视野中。 Histotripsy技术2023年被美国 FDA 批准用于治疗肝脏肿瘤,是一种无创的技术,旨在精准破坏癌细胞。经过数月的研发和试验,该技术首次运送到香港,并帮助30名肝癌患者接受治疗。

热点资讯 11.23
AI驱动的计算时代:为何 Arm CPU仍为基石?
 Arm 资源:推动 AI 计算时代的基石

AI驱动的计算时代:为何 Arm CPU仍为基石? Arm 资源:推动 AI 计算时代的基石

CPU 仍是 AI 加速计算时代的基石。Arm 终端事业部产品管理副总裁James McNiven在大会上指出,无论未来走向何处,ARM CPU 都将是 AI 运行的基础。CPU 在云计算市场的份额巨大,难以被 GPU 替代,这是当前事实。尽管GPU 不能完全取代 CPU,在图像处理、AI加速计算等领域仍有优势,但总体而言,CPU 的通用计算能力仍然是AI领域的核心基石。

热点资讯 11.23
中方决定:对日本等9国试行免签政策,进一步拓展中国开放合作新机遇

中方决定:对日本等9国试行免签政策,进一步拓展中国开放合作新机遇

中国扩大免签国家范围,将于2024年11月30日至2025年12月31日期间对保加利亚、罗马尼亚等国家的持普通护照人员试行免签政策。同时,中国政府还将同步优化入境政策,允许交换访问和商务旅行。该消息引发广泛关注,特别是那些前往这些国家免签的外国人。

热点资讯 11.23