多模态大模型在解读钟表和日历时频频失手。本文通过ClockQA与CalendarQA数据集，揭示其视觉识别与时间推理的短板，探索AI的“时间盲区”。
时间是生活中最司空见惯却又不可或缺的存在。对于人类来说，扫一眼钟表就能知道几点，翻开日历便能算出下周是星期几，这种能力几乎是与生俱来的。然而，当我们把同样的任务交给如今炙手可热的多模态大语言模型(MLLMs)，结果却出乎意料——这些号称“聪明绝顶”的AI，竟在时间的迷雾中频频迷路。它们能识别猫狗，能描述风景，却常常连指针指向几点都搞不清楚，更别提算出一年中的第153天是哪一天了。为了弄明白AI在这方面的真实水平，我们设计了一场别开生面的实验，试图揭开它们在时间理解上的神秘面纱。
这场实验的核心，是两个精心打造的数据集：ClockQA和CalendarQA。ClockQA就像一个钟表博物馆，里面收藏了62个模拟钟表图像，种类五花八门——有经典的标准钟，黑底白字的对比款，没有秒针的简约版，甚至还有罗马数字和箭头指针的艺术款。我们会问AI一个简单的问题：“这个钟表显示的时间是几点？”看似轻松，实则暗藏玄机：AI不仅要看清时针、分针、秒针的位置，还得把这些视觉信息转化为具体的时间表述。而CalendarQA则更像一本时间年鉴，涵盖了整整十年的日历图像，从元旦到除夕一应俱全。问题既有“圣诞节是星期几”这样耳熟能详的，也有“第100天是什么日子”这种需要动脑筋的。两个数据集虽然规模不大，却像两把锋利的探针，直刺AI在视觉识别、数字计算和时间推理上的薄弱之处。
为什么要研究这个？原因很简单：理解时间不仅是人类的基本技能，也是AI走向实用化的关键一步。试想，如果AI能像人一样读懂钟表和日历，它就能帮我们安排日程、提醒会议，甚至在无人驾驶中根据时间调整策略。然而，现实却是残酷的。尽管多模态大模型近年来在图像识别、场景描述等领域突飞猛进，但对于时间推理的研究却寥寥无几。过去，人们更关心AI能不能认出照片里的物体，能不能写出漂亮的图片说明，却很少有人问：它能不能看懂钟表指针的微妙角度？能不能从日历里算出某个日期的星期几？这种忽视，让时间理解成了AI能力版图上的一块空白。
为了填补这块空白，我们的实验不仅设计了多样化的测试内容，还动用了七款顶尖的多模态模型，包括闭源的GPT-4o、Gemini 2.0、Claude 3.5 Sonnet，以及开源的Llama 3.2、Qwen2-VL等。这些模型个个来头不小，有的擅长语言生成，有的在视觉任务中表现抢眼，但面对钟表和日历，它们会交出怎样的答卷？我们满怀期待地开始了测试。
每个模型在时钟(左)和日历(右)任务上的性能。数值越高越好(↑);数值越低越好(↓)。
先来看ClockQA的挑战。想象一个普通的圆形钟表，时针指向3，分针指向12，秒针指向6——对于人来说，这显然是3点2分6秒。可对AI来说，这却是一场视觉与逻辑的双重考验。它得先从图像中分辨出三根指针的位置，再根据角度计算出具体时间，还要考虑12小时的循环规律。我们的数据集里，钟表的样式千变万化：标准款简洁明了，黑面钟对比鲜明，罗马数字钟充满古典气息，箭头指针钟则颇具设计感。每种样式都可能让AI犯晕——比如，罗马数字的“IV”和“VI”长得有点像，指针稍微模糊一点，AI就可能看错。更别提有些钟表故意去掉了秒针，我们本以为这会让任务变简单，结果却发现，不少模型依然手足无措，连时针和分针都分不清。
测试结果让人既惊讶又无奈。Gemini-2.0在读钟任务中表现稍好，它的时针和分针误差相对较低，比如一个指向4点的钟表，它最多错个几分钟。可即便如此，它的整体准确率也只有22.58%，也就是说，五次里只有一次能完全答对。其他模型的表现更是不忍直视，有的甚至习惯性地“猜”出一个默认时间，比如总是说“12点”，完全无视指针的实际位置。特别是面对罗马数字钟或箭头指针钟，错误率直线上升。更有趣的是，去掉秒针并没有让任务变简单，反而暴露了AI在指针检测和角度计算上的深层问题——它们似乎根本搞不清指针间的相对关系。
再来看CalendarQA的挑战。相比钟表，日历任务更像一场脑力游戏。我们给AI一张完整的年历图，然后抛出问题：“元旦是星期几？”“3月15日是什么日子？”或者“第153天是哪一天？”这些问题看似简单，实则需要AI同时具备视觉解析和数学计算的能力。它得先看懂日历的布局，找到对应的日期格子，再结合问题进行推理。比如，回答“圣诞节是星期几”，AI需要定位12月25日，然后算出那天的星期；如果是“第100天”，则要从1月1日开始逐一计数，还要考虑闰年这样的细节。
结果显示，日历任务的表现比钟表任务稍好，但依然问题多多。GPT-o1在这部分大放异彩，准确率高达80%，尤其是面对热门节日如元旦和圣诞节，几乎百发百中。相比之下，其他模型就逊色不少，Claude 3.5在常见日期上还有些准头，可一旦涉及冷门日期或需要计算的“第n天”，准确率就直线下降。比如，问它“3月15日是星期几”，有的模型答得驴唇不对马嘴；问“第153天是什么日子”，不少模型直接卡壳，连基本的日期递推都做不到。开源模型如MiniCPM和Qwen2-VL的表现尤为糟糕，面对复杂问题时几乎是随机猜测，毫无章法可言。
为什么会出现这样的差距？仔细分析后，我们发现了一些端倪。在钟表任务中，AI的短板主要集中在视觉识别上——指针的位置稍有偏移，它们就可能判断失误；而在日历任务中，计算能力成了关键瓶颈。特别是需要日期偏移的问题，比如“第153天”，AI不仅要看懂日历，还要一步步推算，这对它们的逻辑推理能力提出了更高要求。闭源模型如GPT-o1之所以表现突出，可能因为它们在训练中接触过更多类似的模式，比如热门节日的日期分布；而开源模型由于数据和算力的限制，往往在这类任务中力不从心。
尽管我们的数据集规模不大，只有62个钟表样本和10年的日历数据，但它却像一盏探照灯，照亮了AI在时间理解上的诸多盲区。比如，罗马数字钟暴露了AI在字符识别上的弱点；没有秒针的钟表揭示了它们对指针角度的依赖性；而日历中冷门日期的低准确率，则反映了AI在泛化能力上的不足。这些发现虽然初步，却为未来的研究指明了方向——要想让AI真正“懂时间”，不仅需要提升它们的视觉感知能力，还得强化数字计算和结构化推理的水平。
回过头来看，这场实验不仅是一次技术上的探索，更是对AI极限的一次叩问。时间，这个人类习以为常的概念，对AI来说却是一片未解的迷雾。我们的测试结果表明，即便是最先进的模型，也远未达到人类在时间理解上的自然与流畅。Gemini-2.0能在钟表上稍有建树，GPT-o1能在日历中崭露头角，但整体来看，错误依然层出不穷。指针的微妙倾斜、日历格子的细小数字，这些看似简单的细节，却成了AI难以逾越的鸿沟。
未来，要让AI摆脱这片时光迷雾，或许需要从多个角度入手。比如，改进它们对钟表几何关系的理解，让它们能更精准地捕捉指针的角度；或者优化对日历结构的解析能力，让它们能像翻书一样轻松找到答案。更重要的是，得教会它们像人类一样思考时间——不仅是看懂表面数字，还要理解时间的流动与逻辑。这条路还很长，但每一步探索都在为AI的成长铺路。
总的来说，这次研究就像一场小小的冒险，带我们走进AI的“时间盲区”。ClockQA和CalendarQA虽然只是两把小小的钥匙，却打开了通往未知的大门。AI的未来或许光明，但至少在今天，它们还无法像我们一样，随手一瞥就知道“现在是几点”。而这，正是我们继续前行的理由。
本文译自 arxiv.org，由 BALI 编辑发布。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
