面对大模型难以突破硬件局限的问题，虎嗅科技组主办的“2024 AI内参会”上，曾国洋与杨攀就端侧AI与AGI的技术实践与应用场景展开讨论，将目光投向了小型化端侧模型 MiniCPM 的发展。该模型在多个评测榜单中表现优秀，支持消费级显卡微调以及主流手机处理器端侧推理，为大模型的应用提供了一个新的方向。

随着人工智能技术的发展，我们已经看到了许多AI技术的创新应用。然而，尽管这些技术已经在一些领域取得了显著的进步，但在另一个关键领域——端侧AI和AGI（自主机器智能）方面，仍然存在许多挑战。面对这一问题，虎嗅科技组主办的“2024 AI内参会”上，曾国洋与杨攀展开了深入的探讨。
曾国洋强调：“面对端侧AI和AGI的挑战，我们需要找到一种方法来克服硬件局限。”他指出，目前的大型深度学习模型需要大量的计算资源才能训练和推理。此外，这些模型通常需要长时间的运行时间，这对用户的体验提出了较高的要求。因此，开发小型化、高效且易于使用的端侧AI模型就显得尤为重要。
针对这个问题，曾国洋提出了一种名为MiniCPM（最小化成本最大化性能）的策略。MiniCPM的目标是在保证算法准确性和效果的同时，尽可能地降低计算资源的需求。具体来说，MiniCPM使用了一种叫做自适应超参数优化的方法，可以根据模型的训练情况自动调整超参数，从而实现最优的模型性能。
此外，MiniCPM还支持消费级显卡微调和主流手机处理器端侧推理。这意味着用户可以很容易地对模型进行微调，使其更适应他们的设备。同时，对于大多数主流手机处理器， MiniCPM都能够正常工作。
杨攀则表示：“ MiniCPM是解决端侧AI和AGI问题的一个很好的起点。它不仅可以帮助我们在硬件有限的情况下实现高效率的模型训练和推理，还可以让用户享受到高质量的端侧AI和AGI服务。”
总的来说，通过MiniCPM，我们可以有效地解决端侧AI和AGI的问题，并在未来更好地应对这一领域的挑战。这不仅是一个技术创新的里程碑，也是我们理解和利用人工智能的重要一步。