刚刚,智谱开源了他们的最强多模态模型,GLM-4.5v
发布时间:2025-08-11 22:05 浏览量:1
上周一的晚上,智谱开源了当今最好的模型之一,GLM-4.5。然后,这个周一,又是突如其来的,开源了他们现在最好的多模态模型:GLM-4.5v。
也是4.5系列的,用GLM-4.1V-Thinking的技术路线把GLM-4.5-Air重新训练了一遍,实现了视觉多模态的能力。
模型参数106B总参数,12B激活,这个规模在开源多模态模型里已经算是大块头了。
模型能力也有点东西,在所有的开源多模态模型中,42个评测基准,41个SOTA了。
我说实话,这个看着,还是有点吓人的,我已经很久没看到这么全的评测基准列表了。。。
说明GLM-4.5v,这波是真的自信。
模型已经在多平台开源了,可以任选一个下载。Github:https://github.com/zai-org/GLM-VHugging Face:https://huggingface.co/collections/zai-org/glm-45v-68999032ddf8ecf7dcdbc102不过106B的量级,消费级还是难部署,如果想用的话,可以去智谱他们的z.ai上用。嗯,网址就是z.ai。
我也第一时间去做了一下测试。
这里先测的,是用的是专门做评测的朋友拓界AI给的多模态测试题。
比如第一道是游标卡尺的读数,这玩意读起来还是挺费劲的,整数小数要分开读,得非常仔细才行。
反正我是看的一脸懵逼。
而GLM-4.5V,花了一小会,就写出正确答案了。
思考过程并不是非常的冗长复杂,很简洁,所以很快就出来了,这个非常的好评。
然后是第二题,小猫摸球问题,我是已经看花眼了,看这玩意看的我眼睛疼,真的。
问题就是:到底哪个猫摸到了毛线球。
GLM-4.5V也找到正确的答案,还给了正经的操作方法。
我眼花着验证了两次,确实是AI没毛病。
在视觉推理能力上,GLM-4.5v确实有点东西,而且速度快的离谱。
我又试了一个经典的,识别地理位置的case。
就是横店明清宫苑的图片,想看看它能不能正确的分辨出来。
这个测试其实挺有难度的,因为横店的明清宫苑是按照故宫1:1复制的,连细节都做得很到位。
如果模型只是简单地识别建筑风格,很容易就会判断错误。
GPT-5-Thinking在深度思考以后,就来了一个非常抽象的答案。
华清宫什么鬼?
而GLM-4.5V答得很正确,指出了这里是横店的明清宫苑。
这个回答挺让我惊艳的,而是因为它能在如此相似的场景中做出准确判断。这说明模型不是简单的模式匹配,而是真的具备了一定的视觉推理能力。
但我有点没看懂它是怎么分析出来的,于是我又问了一下它,为什么是横店不是故宫。
这回它给出了详细的解答,分了三个点,讲的相当有理有据。
牛逼。
那再试试内景,我找了一个宫殿内景的图片,问他这是哪里。
这轮没有正确回答出来,我还追问了一下,它还是肯定的说是故宫。
说实话,连我自己看这个内景图都有点拿不准,毕竟横店的复制度确实很高,内景的装饰、色彩、布局都做得很像。
看看GPT-5-Thinking,错了。
这个题,连我心中最强的视觉推理模型o3都错了。
横店搓的太像了,真的匠人精神,实在没招。。。
模型在这种情况下出错,也是情有可原。
还有一个我觉得很酷的功能。
目前只有Gemini有的,原生的视频理解。
这里我说一下,很多产品说自己有视频理解能力,或者总结视频,其实不是的。
他们更多的是吧视频里的音频提取出来,找到人说话的部分,然后STT音频转文字变成文字稿,最后再找个大模型总结,不是原生的靠模型能力的视频理解。
我发给它一个我下载下来的二十世纪影业官方的25周年《泰坦尼克号》的混剪,让GLM-4.5V看看里面包含了哪些经典画面。
要知道,视频理解一直是多模态模型的难点。
模型需要理解时间序列、画面转换、场景连贯性等等,这对模型能力和算力的要求是几何级增长的。
GLM-4.5V非常有意思,也确实是让我我比较惊喜的,它思考了一会,给了我一个很全面的回答。
我特地回到视频,看了下对应的时间点。
所有的时间点都一一对应,完全没毛病。
展开它的思考过程,我发现它是真的能理解画面之间的逻辑关系和故事脉络。
GLM-4.5V不是简单地逐帧识别,而是把这些场景串联成一个完整的叙事序列。
从船头的浪漫时刻,到灾难降临后的生离死别,再到最后的救援场面。
不仅识别出了视频中的关键画面,还能准确标注时间点。这种时空理解能力,在开源模型里确实难得一见。
当然,视频理解也有限制。我试了一下,它只能处理200M以内的视频,再大就不行了。不过对于大多数应用场景来说,这个限制还算合理。
同时,注意是MP4格式,不要传成MOV啥的了。
我还试了下视觉定位功能,它能根据指令在图片里做标记。
我扔了一张流浪地球3的开机大合照,让他帮忙框选出郭导。
圈的很正确。
找出烧烤签子也是不在话下,标记的很精准。
甚至还有一个超级骚的。
圈出他最擅长的运动。。。
果然是篮球。。。
GLM-4.5V实在是太懂了。
除了视觉定位,还有一个很有意思的功能。
网页复刻。
我直接扔给它一个网页截图,让它给我复刻出来。
结果真的震撼到我了,你看这个效果。
框架、结构几乎一样,除了一些设计的样式有一些区别。
不过,讲个大实话,我觉得比智谱自己的官网都好看= =
这种看图写代码的能力,以前基本上就是Gemini、Claude这些顶级闭源模型的专利。
现在开源模型也能做到这种水平,真的是一个巨大的进步。
而且,模型完全开源,你可以直接下载权重,部署在自己的服务器上。
GLM-4.5V的API定价也相当良心。
输入只要2 元/M tokens,输出6 元/M tokens,这个价格在多模态模型里算是相当便宜了。
最后,总结一下。
曾经的国产之光,智谱好像回来了。
连续两个开源GLM-4.5和GLM-4.5V,效果都非常的强。
忽然想起上周OpenAI开源的oss,还有GPT-5这一系列的骚操作。
他们好像是那种守着一座巨大城堡的国王。
偶尔会大发慈悲,从城堡里扔出一些金币,希望平民们就得感恩戴德地冲上去疯抢。
而国内的这些大模型厂商,更像一个热衷于基建的狂人,他根本不屑于守着城堡,他每天都在我们家门口修路、建桥、盖发电站,然后把钥匙直接塞到我们手上,说:
随便用,兄弟,不够再跟我说。
所以,当我这两次,都说智谱牛逼的时候。
我相比表达加赞美的,不仅仅是它在41个基准测试中取得的SOTA。
我赞美的,是这种持续不断的、近乎于偏执的开放精神。
海外Close AI,国内天天Open AI。
AI的未来,不应该只掌握在少数几个巨头的服务器里,从GPT-4o的下线引发的风波,就能看出影响。
它更应该,也必须,绽放在我们每一个人的硬盘上。
>/ 作者:卡兹克
>/ 投稿或爆料,请联系邮箱:wzglyay@virxact.com