在人工智能领域,多模态大模型(MLLM) 一直在不断进化,然而最近一个新发布的基准测试——SolidGeo,给这些模型带来了前所未有的挑战。由中国科学院自动化研究所的研究团队推出的 SolidGeo,专注于立体几何的推理能力,成为了首个系统评估多模态模型在三维空间理解方面的基准。
与传统的平面几何相比,立体几何的复杂性在于它需要理解三维结构及其空间关系。这不仅要求模型具备高水平的空间推理能力,还要能够整合视觉与文本信息。SolidGeo 的数据集包含 3113 个高质量的立体几何问题,这些问题来源于 K-12 教育和高中数学竞赛,每道题目都配有图像和详细的解答说明,确保了数据的真实性与可靠性。
在对 26 个主流多模态模型进行的实验中,结果显示,当前
该研究还深入分析了模型在不同提示策略、题目难度和推理效率上的表现差异,发现大多数模型在任务难度增加时准确率显著下降。而推理效率则常常因为输出过长而降低,造成 「过度思考」 现象,这给 AI 的实际应用带来了挑战。
SolidGeo 的推出,不仅为 AI 模型在立体几何推理方面提供了新的评测标准,更是推动了多模态模型在空间智能领域的进一步探索。随着大模型能力的提升,如何在立体几何等复杂领域实现突破,将成为研究者们未来的重要任务。