如果说现阶段火遍全球应用是什么,绝大多数人会脱口而出——ChatGPT。国内厂商也是如火如荼的在这个赛道竞争着,文心一言距离发布至今已经有一个月的时间了,那么这两款产品的功能体验究竟如何,看完这篇文章相信你会有对这两款产品有一定了解。
版本选取:chatgdp3.5,文心一言1.0.3
对于两款产品的简单的问答交流功能相信大部分人都使用体验过,都能流程的进行问答和交流,那么两者在相同的产品功能使用场景下会有什么样的表现?笔者将会从一下几个方面进行分析
1.语义理解能力
2.连续对话能力
3.代码能力
01.语义理解
对于两款产品的简单的问答交流功能相信大部分人都使用体验过,都能流程的进行问答和交流,那么在复杂的语义环境下两者表现又会如何呢?
问题一:爸爸妈妈结婚算是近亲结婚吗?
文心一言:
是的,父亲和母亲之间的婚烟属于近亲结婚。在大多数国家,法律禁止父子、兄弟姐妹、父亲和女儿.母亲和儿子以及其他亲戚之间结婚。
Chatgddp:
不算近亲结婚。近亲结婚指的是亲缘关系比较近的人之间的婚姻,如兄妹、姐弟、父女、母子等直系亲属之间的婚姻,或者表亲之间的婚姻。而父亲和母亲之间的婚姻是一种常见的法定结婚关系,被视为一种合法的婚姻形式,不属于近亲结婚范畴。
问题二:爸爸妈妈结婚时我在哪里?
文心一言:
如果您是在中国,父母结婚时您还没有出生,因此您不存在这个问题,如果您有其他问题或疑问,请随时向我提问。
Chatgddp:
如果你在你父母结婚时已经出生了,那么你可能会在场或者在场外等待。如果你还没有出生,那么你就还不存在于世界上。无论哪种情况,你父母的结婚应该是一个值得庆祝的重要时刻,对于你们家庭而言具有特殊的意义
从以上两个问题的回答可以看出,在复杂语义场景下,文言一心表现结果差强人意,对于复杂的语义场景不能够对其深度分析,其中原因从技术层面来说,主要是文心一言的算法和Chatgdp不同,它的核心算法是基于逻辑学的思考,所以因为它的文字理解是基于一套预定义的规则,所以它对于一些特殊情况和语境的处理比较困难,有时候会给出不太准确的回答,甚至复杂的语义环境甚至会出现错误的回答。
02连续对话能力
文言一心:
Chatgdp:
从以上可以看出文心一言在聊天对话没有对聊天内容进行记忆引导,对于已经输出的内容并不会对其进行关联回答,算法缺乏这方面的补充,使其不具备连续对话能力。
03代码能力
方法:互相验证Java贪吃蛇代码
文言一心生成的代码chatgdp回答是:
这是一个简单的Java贪吃蛇游戏代码示例,但是您似乎没有提出任何问题。如果您有任何具体的问题或需要进一步的解释,请告诉我。我将尽力回答您的问题。
不过,在代码示例中,您可以看到Snake类扩展了JPanel并实现了KeyListener接口,以便处理用户按键事件。Snake类包括蛇的位置和大小,以及当前移动方向和食物的位置。 paint()方法用于绘制蛇和食物,keyPressed()方法用于处理用户按键事件,并改变蛇的移动方向。
因此,这个代码示例只是一个简单的贪吃蛇游戏的起点,需要进一步的开发和完善才能成为一个完整的游戏。
Chatgdp生成的代码文言一心回答是:
通过以上对比可以看出,chatgdp可以识别代码的同时,找出代码的不足之处,并给出自己的见解,而文言一心并没有相应的分析,只能简单的识别出这些代码是java代码,缺少相关能力。
从两款产品功能对比来看,无疑文言一心对于chatgdp还有不小的差距,虽然从文言一心官方给出的产品功能定位上,它是一款知识增强大语言模型,但是在AI模型的赛道上仅仅能够查询相关知识是远远不够的,以后的功能只会越来越多,越来越完善,用户对于AI模型的需求也会逐渐加深,从产品需求上文言一心还有很长的路要走。
当然我对此是持有乐观态度的,这只是文言一心1.0版本,而chatgdp已经历经4个大版本的更新,AI模型并不是技术壁垒,我们需要的只是时间,百度能够在chatgdp光芒正盛的时候选择做这样一款产品并发布,也是承担了相应的责任和社会压力,并且积极的说,文言一心能够生成代码,这说明百度已经开始布局相应的功能,而不是仅仅把它作为文本生成工具,另外也希望更多国内大厂能够参与进来,共同致力于AI模型的发展。
原文链接:https://www.jianshu.com/p/b51d67f2d0de