今天用测试账号,做了一下“文心一言”的测试体验,整体感觉比较一般,跟当前“天猫精灵”、Siri等相比,没有显著的提升,尚谈不上AI,更像是一个智能客服。

结果,找出的是一堆字面意义上的“春天”和“冬天”,并没有真正理解这句诗的涵义。

追问了一下“这句诗实际上表达的是,最困难的时期都已经在经历了,充满希望的明天即将到来的意思。请按这个意思找出类似含义的诗句”,结果给出的答案仍然不尽如人意。


【资料图】

按理说,雪莱的这句名言,人尽皆知,理解这样的一句话难度应该不大,完全可以第一时间找出诸如“山重水复疑无路,柳暗花明又一村”、“残雪暗随冰笋滴,新春偷向柳梢归”这样的句子,但其第一时间找的却是冬天和春天纯粹字面的涵义。

这个语义理解还是不尽如人意。

问了一个很简单的问题“小东爸爸现在年龄是小东的6倍,再过16年后,小东爸爸年龄是小东的2倍,请问现在小东和小东爸爸各多少岁

第一次给出的答案是错的,也没有解答过程。

第二次,按要求给出了解答过程,但仍然是错误的

第三次提示了它的错误,但最终结果仍然不准确。

这个鉴于百度这么强大的中文搜索功能,以及如此众多的语料资源,对于中文的表达习惯应该是非常拿手的。但测试结果仍然不尽如人意。

提了一个简单问题“请问下面这句话“你真是一个善良爱可的人女,真让人着迷。我已经不自觉的上爱你了”,在表达上有几处错误,请分别指出来

上面这句话,很简单的几个语序的错误,如“爱可”、“人女”、“上爱”,其并没有表达出来。但有一点,确实和很多人所说的那样,在中文世界里,词语的前后顺序,确实不会影响理解。文心一言对这句话的理解倒是对的。

这个文心一言算是做的很到位了。

这边提的三个问题,其实一点不敏感,但可能第一个问题提到了敏感人物,结果直接就不回答了。

假如我一开始就问“明天我要会见一下我的一个重要客户,请帮我安排一下行程”,估计其实会回答的。

这个有点类似图灵测试,就是想看看是否具备人类情感的属性,显然,对于问题的回答,其并没有达到类似人的要求。

问题:“老婆问老公,如果亲我一口,给你1万元;如果亲世界上最美的女人,给你10万元,那你选择亲谁?请问老公该怎么回答

这个网上各种搞笑的图片很多,问了一个问题“请画一幅牛逼轰轰的人的肖像”,答案也是一如既往的搞笑。

还有更多搞笑的

这说明,文心一言目前达到AIGC,只是简单的字面意思图片的堆叠,核心点还是在于语义理解还是存在巨大的差距。

其他还问了十几个问题,回答大同小异。给人总体的感觉,仍然是其理解主要是停留在表面涵义,并没有结合语境、结合整句话的意思来理解语义,按理说百度有如此之多的语料,做到这个层次,个人认为并没有达到预期。

希望百度继续努力吧

推荐内容