3月21日消息,月之暗面面向开发者发布公告称,自3月20日9:30开始,Kimi的系统流量持续异常增高,导致从3月20日 10:00开始有较多SaaS客户持续的体验到429:engine is overloaded的异常问题。针对这一问题,月之暗面已经采取扩容、设计Saas流量优先级策略等应急措施以保证API的稳定性。
公告全文如下:
各位开发者:
从2024.3.20 9:30:00开始,我们观测到Kimi的系统流量持续异常增高,流量增加的趋势远超我们对资源的预期规划。这导致了从2024.3.20 10:00:00开始,有较多的SaaS客户持续的体验到429:engine is overloaded的异常问题,对此我们深表抱歉。
做为一家以技术为导向的公司,我们非常理解一个API的稳定性是能否投入实际生产的最关键因素之一,已经有多项应急措施正在实施,包括不限于:
从3.20观测到流量异常增高后,已经进行了5次扩容工作。推理资源会持续配合流量进行扩容,以尽量承载持续增长的用户量;
设计了一套更有效的Saas流量优先级策略,以保障付费用户的调用稳定,预计3.25之前完成并上线。
在应急措施实施完毕之前,可能还会遇到少量资源不足的问题,感谢大家的包容与耐心,再次为影响到大家的正常业务使用道歉Orz
结论:由于Kimi系统的流量增加趋势远超预期,因此出现了严重的SaaS客户体验问题,这是由于系统容量不足所造成的。
建议:作为一家以技术为导向的公司,应当时刻关注API的稳定性,并在出现类似问题时及时采取应急措施。此外,也可以考虑扩大服务器规模,提高处理能力,以应对未来的流量高峰。同时,对于可能出现的资源不足问题,也应提前做好准备,以确保API的连续性和稳定性。