让数据价值触手可及,TiDB在企查查的实践与v7.1版本升级体验。

2024-02-25 热点资讯 关注公众号
    企查查数据中台建设:TiDB 实践之路与应用价值深度剖析
数据价值在线化丨TiDB 在企查查数据中台的应用及 v7.1 版本升级体验    【开篇】
数据价值在线化丨TiDB 在企查查数据中台的应用及 v7.1 版本升级体验    本文由赵河、王云鹤两位撰写,他们来自企查查大数据架构部 DBA 团队,将详尽介绍企查查在构建数据中台过程中如何运用 TiDB 实现从 MySQL 到分布式数据库的华丽转身,并分享 TiDB 在实际应用中的卓越表现和升级体验。2023年9月,企查查已将其 TiDB 数据库升级至 v7.1.1 版本,进一步优化了企业信用信息服务效能。
    作为全球首款商查大模型“知彼阿尔法”的发布者,企查查以大数据和人工智能技术为核心,提供全面、精准且实时的企业信用信息,助力各行业高效决策并防控风险。
    【TiDB 升级转型之旅】
    面对海量数据处理需求,企查查曾依赖于 MySQL 数据库,但随着业务规模的扩大,MySQL 的单机性能瓶颈逐渐显现,尤其在高并发写入和复杂查询场景下,其性能受限问题尤为突出。此外,MySQL 的热备操作缓慢及恢复效率低下,也对数据流转带来了挑战。
    2019年底,企查查开始关注并研究 TiDB,在经过深入对比测试后,决定采用 TiDB 构建基于 Flink+TiDB 的实时数仓框架,充分解决了原有痛点。选择 TiDB 的关键原因包括:
    - 无缝切换,零学习成本:TiDB 出色兼容 MySQL 协议和语法,对于 MySQL 基础深厚的 DBA 来说,几乎无需额外学习即可轻松上手。
    - 原生分布式架构显著优势:TiDB 采用分布式设计,突破单机限制,具备灵活的水平扩展能力,支持分布式事务,且存储层面基于 Raft 共识算法,确保数据高可用性。
    - 周边工具生态完备:TiDB 配套的监控体系、数据迁移同步工具(如 TiCDC)以及备份恢复工具等一应俱全,完美融入企查查现有的监控告警体系,保障服务稳定运行。
    - 活跃开源社区强力支撑:TiDB 社区高度活跃,提问能得到快速回应,丰富的博客和技术文章为日常运维提供了强大支持。通过参与线下活动,企查查团队能及时获取实践经验和解决方案。
    - 大数据生态友好集成:TiDB 与大数据生态紧密协同,特别是 TiCDC 工具能够无缝对接 Kafka,简化数据清洗流程,实现数据湖 Iceberg 的准实时写入。
    【TiDB 在企查查数据中台的应用与价值】
    TiDB 在企查查数据中台系统的广泛应用,涵盖了从数据采集到清洗的全流程,通过仅用两套 TiDB 集群替代原有的20多套 MySQL 数据库,极大地提升了系统效能。利用 TiCDC 工具,实现了近千张表的数据同步和变更捕获,确保了数据一致性。
    值得一提的是,企查查创新性地采用自研 Flink Hybird Source,将 TiDB 数据准实时推送至数据湖 Iceberg,并与其他系统如 ES 和 Hive 实现高效联动。目前,企查查正积极研究 TiFlash 功能,计划今年内部分离线查询任务从 Hive 迁移至 TiDB,以提升数据实时性并减少冗余流转。
    【TiDB 应用带来的显著价值】
    1. 数据价值在线化跃升:TiDB 分布式读写能力远超 MySQL,结合 Flink 实时计算能力,有效保证了数据实时性和高效分发查询,使得数据价值得以实时释放。
    2. 数据流转效率显著提高:TiDB 与上下游生态良好兼容,无论是数据写入还是分发,均实现了无缝对接,提高了整体数据流转效率,盘活了企查查的数据资产。
    【使用心得与版本升级感悟】
    在具体使用 TiDB 的过程中,企查查团队特别推崇几个实用特性,如 Resource Control 能够满足多租户资源管控需求,gc 任意时间点内恢复功能可高效应对误删除问题,以及热点自动调度功能显著提升了集群稳定性。
    关于版本升级,企查查在 TiDB 的升级之路上积累了宝贵经验。从 v4.0.6 升级至 v7.1.1 的过程中,虽然遇到了一些挑战,如重启问题、DDL 阻塞以及 TiCDC 稳定性等问题,但在社区的支持下,所有问题都得到了妥善解决。尤其是跨大版本升级至 v7.1.1 后,系统性能获得大幅提升,QPS 峰值高达 50-60K,响应时间显著降低,同时新版本的资源管控功能极大满足了业务需求。
    通过持续迭代与优化,TiDB 不仅为企查查解决了传统数据库难以克服的问题,更以其强大的开源模式与活跃社区力量,证明了在企业级数据中台建设中不可或缺的价值。

上一篇:63岁老人死于家中无人发现:养老之殇,我们这代人将何去何从?
下一篇:魅力建邺|矗立在建邺大地上的丰碑
更多更酷的内容分享
猜你感兴趣
TiDB与ES结合:超大规模数据存储优化实践

TiDB与ES结合:超大规模数据存储优化实践

转转业财数据存储优化实践中的解决方案为使用 TiDB 加速系统数据量问题并引入 Elasticsearch 解决快查询难题。通过底层数据存储切换和 ES 接入,系统成功突破了存储瓶颈,显著提升了查询效率和响应速度。未来五年可实现无需考虑数据库数据量问题,轻松应对业务增长与全量业务覆盖以及良好扩展性。推荐使用 TiDB 作为底层数据存储方案。

热点资讯 05.13
TiDB实战分享:第三方支付企业如何成功应对关键数据库升级挑战

TiDB实战分享:第三方支付企业如何成功应对关键数据库升级挑战

该第三方支付企业在面对竞争和监管压力时,选择了 TiDB 分布式数据库,并成功应用于核心业务、计费、清结算和交易查询等关键系统。TiDB 的水平扩展能力、高可用性和简化数据栈等优势使其在处理高并发交易和保障数据安全方面取得显著进展。此外,基于互联网时代的便利化,第三方支付行业也迎来发展机遇,实现数字化转型。面对支付平台的竞争激烈和产品升级的压力,该企业注重产品质量和服务模式创新,并积极探索分布式数据库,以适应多变环境下的业务发展需求。

热点资讯 04.06
崭新升级!揭秘《原子核基本性质实验数据核素图》,让核素世界更为清晰明了!

崭新升级!揭秘《原子核基本性质实验数据核素图》,让核素世界更为清晰明了!

截至目前,美、中两国科学家在第八周期元素的研究上取得了重大进展。中国发现的40种新核素中有38种来自科学院近代物理研究所。其中,中国科学院发现的119号和120号元素引起了广泛关注,该研究也将重点放在寻找第八周期元素上。科学家们利用强流重离子加速器和高灵敏度探测器等先进的设施,希望能够实现对新元素的高效合成和研究。

生活常识 04.15
全方位升级:数智力与数智化管理的深度融合实践探索

全方位升级:数智力与数智化管理的深度融合实践探索

为企业转型升级提供方向。 综述新一代企业级智能平台与技术将满足政企智能设施上云的各类场景需求。技术与商业共生,推动企业数智化转型并驱动增长。

热点资讯 06.09
任泽平回归回应市场波动,但斌更新:开盘即收盘是否意味无序?

任泽平回归回应市场波动,但斌更新:开盘即收盘是否意味无序?

遭到了大量转发,网友纷纷表示震惊。任泽平日前在长文中表示,将回归金融领域,并针对“当下不投新能源,就像20年前没买房”等出圈言论进行了回应。他解释说,之所以看好新能源赛道,是因为他在2019年市场低谷时期曾参考专著《新基建》并发表了观点。对于“开盘即收盘”的言论,他认为这只是对资本市场边际改善、刺激政策超预期的观察,而不是投资建议。任泽平还表示,在此之前的猜测是他自己的一些自媒体造谣,并表示会通过法律手段追究责任。同时,他也表达了对过去两次网上论战的看法,认为是短期的情绪化行为,不应以对立的方式来引导投资者做出决策。对于即将到来的A股行情,任泽平表示,他非常重视,并表示要确保市场的平稳运行。但他斌则表示,市场经济总是充满活力和变化,我们需要保持冷静和理性。最后,双方在投资业绩上的分歧引发了更大的讨论。

热点资讯 10.30
广州城投预告前三季巨亏2.92亿,债券规模仍有190亿

广州城投预告前三季巨亏2.92亿,债券规模仍有190亿

广州城投今年三季报亏损2.92亿,营收同比增长18.5%。该企业2024中期归属母公司净利润大幅增加,但2023年同期下降92.69%。近期发布的“24穗城04”5年期债券票面利率2.69%,预计未来三年保持稳定。然而,公司现金流持续净流出,经营活动现金净流出7.09亿元,投资活动现金净流出23.16亿元,筹资活动现金净流出40.99亿元,这给公司的未来发展带来了挑战。同时,由于全球经济下行压力加大、资本市场波动加剧等因素,广州城投金融业务盈利承压。

热点资讯 10.30
黄金重挫至2640点:再次引发市场对全球通胀担忧的担忧

黄金重挫至2640点:再次引发市场对全球通胀担忧的担忧

根据最新的报告,高盛认为黄金将在明年初升至2900美元,预计明年年底可达3000美元。这一预测主要源于各国央行如中国、印度等增加黄金购买,同时也考虑了投机者的投资偏好。这表明随着全球经济形势的变化,黄金作为一种避险资产的需求将持续增长。然而,对于长期来看,由于通货膨胀的压力以及不确定的经济环境,可能会有更高程度的结构性通胀出现,从而使得实际购买成本上升。

热点资讯 10.30
两大板块逆转趋势,网页编辑为您提供专业解读与建议

两大板块逆转趋势,网页编辑为您提供专业解读与建议

未来几年,中国的AI手机市场份额将快速增长,2024年时达到约50%,并且在2027年将达到约55%。另一方面,飞行汽车概念也受到了投资者的关注,其指数盘中一度上涨超过3%,午后又出现波动,一度翻红。总的来说,今日早盘的股市表现较为平淡,但部分行业的发展前景较为乐观。

热点资讯 10.30
三星与Galaxy品牌优化战略:从高端市场形象提升到细分计划启动

三星与Galaxy品牌优化战略:从高端市场形象提升到细分计划启动

三星电子正在尝试通过细分Galaxy品牌来提升其在高端市场中的品牌形象,此举源于现代汽车推出高端品牌捷尼赛思(GENESIS)。这表明三星对其全球智能手机市场的领导地位有更高的要求,并希望通过更加精细的品牌定位来获得更大的市场份额。

热点资讯 10.30
瑞昱有望推出 10GbE 以太网控制器 RTL8127,推动万兆支持普及

瑞昱有望推出 10GbE 以太网控制器 RTL8127,推动万兆支持普及

瑞昱将在下个月推出一款10Gbps以太网控制器,预计会提升10GB Ethernet普及率。

热点资讯 10.30
小米15首发评测:雷军一战封神,年度小屏旗舰,满足你的科技追求!

小米15首发评测:雷军一战封神,年度小屏旗舰,满足你的科技追求!

小米14、小米15各自主打的特点、表现与优缺点 小米14以其独特的影像风格引人注目,成为2024年的热销产品。小米15则凭借出色的手感、精致的设计以及优秀的屏幕显示效果吸引了不少用户。不过,苹果的iPhone15也在等离子屏幕方面做得更为出色。 小米15在保留前作简洁流畅的同时,通过改进直角边框设计,提高了触摸感受和握持舒适性。4边等窄的设计使其具有良好的视觉冲击力。然而,尽管如此,其屏幕在分辨率为1.5K的情况下与iPhone 16 Pro相比稍显逊色。总的来说,小米15是一款平衡好拍照与日常使用功能的优秀手机。

热点资讯 10.30
华为新品发布会即将举行,余承东: 新品牌计划明日启动

华为新品发布会即将举行,余承东: 新品牌计划明日启动

华为常务董事余承东在微博上发布声明,宣布将于明日启动“见非凡”品牌计划,预计将引领未来各领域非凡大师的看见、听见和遇见。

热点资讯 10.30
神九航天员成功进驻中国空间站,中国再添航天里程碑!

神九航天员成功进驻中国空间站,中国再添航天里程碑!

神舟十九号航天员成功进入中国空间站,这是中国航天史上的第五次"太空会师",来自70后和80后的航天员将共同参与此次任务。

热点资讯 10.30
4499 的小米 15 和 81 万的 SU7 Ultra,雷军又打出「极致」牌

4499 的小米 15 和 81 万的 SU7 Ultra,雷军又打出「极致」牌

小米发布旗舰小米15和SU7 Ultra,显示极致追求。小米15系列搭载澎湃OS 2,提供更强性能和跨系统跨屏体验;小米SU7 Ultra在赛道成绩上表现优秀,有望成为首个国产超级电动轿跑。雷军的信心源于新产品的高品质,以及对极致追求的决心。小米15定位为年度数字旗舰,其销量超过千万台,受到业界广泛关注。

热点资讯 10.30