昨晚，Claude3的发布仅仅是对其Sonnet模型能力的一次简单测试。今天，在订阅了Claude3 Pro后，我们解锁了超越GPT-4的Opus模型，并进行了一场六款顶级AI模型的大比拼：Claude3、Gemini、GPT-4、智谱GLM4、讯飞星火和文心一言4.0。本次评测精心挑选了八个与生产力紧密相关的实例，对各模型进行了全方位的考察。
热身篇：图片理解
问题一中，Claude3展现出了卓越的表现，准确识别并回答图片问题，得到满分10分。而Gemini Ultra 1.0在该环节出现“记忆错误”，尽管正确识别了问题，但给出的答案却偏离事实，仅得4分。GPT-4也出现了识别错误的情况。
中级篇至高级篇：文档理解与知识提取
在OCR能力和复杂文档处理上，Claude3继续领先，特别是在纯文字表格输出和财务报表分析等高难度任务中表现出色，保持领先地位。而Gemini Ultra虽然在某些方面略逊一筹，但在生成代码和搜索集成方面展现了其独特的优势，甚至能为图表提供相关数据链接，令人印象深刻。
国产模型如智谱GLM4、讯飞星火和文心一言4.0虽在部分问题上表现尚可，但在全面评测中整体仍落后于海外先进模型，尤其是在读图理解和数据分析等复杂的生产环境场景下差距明显。然而，文心一言4.0相较于其他国产模型在某些特定情境下表现略优。
结论：
本次评测结果表明，Claude3以63分的总成绩力压群雄，超越GPT-4；而Gemini Ultra虽在个别领域有所突破，综合得分49分，与GPT-4（48分）不相上下。值得一提的是，Gemini似乎走上了类似AlphaZero自我学习的道路，虽然在知识理解方面存在不足，但其创新性及潜在成长空间值得关注。对于国产模型而言，尽管存在一定差距，但通过提升数据质量和优化模型架构，有望在未来逐步缩小与国际顶尖水平间的差距。此外，Claude3受限于缺乏搜索功能，在实际应用中可能会受到一定制约。而对于GPT-4性能的波动，猜测可能与其硬件条件有关，这也为后续研究提供了新的课题方向。
