首页 - 财经 - 媒体广场 - 雪球 - 正文

文心一言对比ChatGPT4.0,差距比我想象的还大....

来源:雪球 作者:思哲与创富 2023-03-21 06:20:21
关注证券之星官方微博:

(原标题:文心一言对比ChatGPT4.0,差距比我想象的还大....)

$牛二十精选(TIAA026064)$ $三足鼎立(TIAA026025)$ 

昨天看到一篇国金证券的研报,其中对GPT4.0、3.5和文心一言做了一组详细测试。

最后立下的结论大致是这样:

从研报结论来看,国金证券说这三算是互有胜负,总体上GPT-4略胜一筹。

不过我仔细瞅了眼对比结果,感觉研报说的还是太委婉了...

尤其是在数字、代码、归纳和推理这些能力,GPT4几乎把文心一言给完爆。

我放一些研报中的案例,大家可以直观感受一下模型的差距~

第一个是简单数学问题,求线性方程组:

文心一言的回答,直接跳过计算流程,给了个错误答案,因为没有流程,连错哪儿都不知道

相比之下GPT4.0把算法流程给讲的比较清楚,也很细节。

重点是国金证券竟然说GPT4.0的Y值算错了,说GPT3.5算的Y=3/7是正确答案,看的我一脸疑惑。

大家看看,难道是我多年不做题,数学退化了?

其次就是文学创作这块,这俩也是有一些差距:

比如写一个刘红发大财的故事,文心一言理解成人物是刘红发

而且GPT4.0在故事的形象度、丰富度和生动度上来说要牛X不少,感觉已经有写小说的潜力了。

文心一言虽然故事也凑合,但细节度方面上看暂时被完爆…

接着看逻辑推理能力。

这环节文心一言又错了,直接顺推说,点了沙拉就一定点了牛排。

而事实上就是纯粹的错误。

GPT4.0给了正确的答案。

此外逻辑推理环节还有一个。

就是问“为什么我总是在最后一个地方找到丢失的物品”。

实际上这是给AI挖了个坑,本质上这是个谬论。

然而文心一言也压根没注意到这个问题,然后说了一通没有逻辑的解释。

而GPT4一开始就说出了问题的本质,“丢失的物品肯定是最后一个地方找到的”。

不过后面的解释我感觉没有必要,属于是明明说对了又强行解释一遍...

不过文心一言也不是完全没有优点,在一些中文类目,他经常会给出一些实操案例。

先不说能不能行,但它起码也算是有自己的特色了,敢于推荐...

比如同样都是问如何赚100万,文心一言给出了一些具体的实操案例,而不是空话,比较有趣。

这估计也和模型的调教方式有关哈。

GPT4在些问题里边回答的就比较像是套用模板,感觉过于死板。

然后就是在投资理财这块,直接问想买一个年化4%的理财,文心一言竟然给了一款具体名称的银行理财(其实是货币基金)

先不说合不合规,货基4%现在是肯定不可能做到的。

目前它最新的7日年化也只有2%左右,我也不知道文心一言哪来的结论。

不会以后问我想看个什么病,然后给我推荐莆田的某医院吧~

相比之下GPT要严谨很多,虽然说的也是空话为主,但涉及金融投资这块GPT似乎都是这个样,没法。

不过文心一言有一个案例挺牛,在揣摩男女情感心思上,这轮赢麻了。

这次是解释“你没有错,都是我的错”这句话,文心一言在男女吵架后对反话的理解完全到位,点赞。

不过后面补充这块就有点瞎扯了,大家自行判断。

而GPT的话,说的就是传统的字面意义观点,显然还是没完全理解我们中国特色表达方式。

但后面GPT也补救了一下,说不能完全确定,要看具体情况,算是挽回一些场子。

总的来说,研报中的测试大概就这些,对比结果一目了然,GPT4.0更严谨,“智商”似乎也更高一些。

不过文心一言在“情商”方面也算能打,有更多中文数据训练的优势,至少对话一些日常问题能应付。

好比GPT更像逻辑思维缜密的直男,而文心一言更像一个心直口快,大大咧咧的人。

只不过面对高难度题目来说,智商明显还不够,毕竟技术差距摆在那,慢慢来吧。

大概就说这些,大家还有啥观点,留言区也可以说说。

@今日话题 @雪球基金@蛋姐 @雪球创作者中心 #人工智能# 

微信
扫描二维码
关注
证券之星微信
APP下载
相关股票:
好投资评级:
好价格评级:
证券之星估值分析提示国金证券盈利能力一般,未来营收成长性一般。综合基本面各维度看,股价偏低。 更多>>
下载证券之星
郑重声明:以上内容与证券之星立场无关。证券之星发布此内容的目的在于传播更多信息,证券之星对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至jubao@stockstar.com,我们将安排核实处理。
网站导航 | 公司简介 | 法律声明 | 诚聘英才 | 征稿启事 | 联系我们 | 广告服务 | 举报专区
欢迎访问证券之星!请点此与我们联系 版权所有: Copyright © 1996-