观点

重塑未来!讯飞星火领跑国产大模型?

3b34ce0e68c644be9a89d76586f97410~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=MUMt0p12o7mw0JjGx9dQekM%2BiUg%3D

互联网曾经近乎重写了所有行业,通讯、购物、支付、打车、点餐等等,人们生活的方方面面几乎被重塑。

如今大模型再次给予人们充分的想象空间。

第一财经提到,从乐观的角度来看,ChatGPT可以取代一些重复性较强、规律性较为单一的工作,但同时它也可以释放出更多的生产力,让人们关注更有想象力、情感、思辨性的部分,并催生出AI提示工程师、AI调教师、AI创意师等一批新兴职业。

简单来说,大模型相当于一个全新的系统,这个全新的系统可以大幅降低很多行业的门槛,未来也会有很多产品构建需要用到大模型,而人们的创造性劳动,将通过这个全新的系统得到大幅释放。

根据中国科学技术信息研究所的不完全统计,目前国内已经发布了70多个大模型,不少产品都展现出了惊人的爆发力。

拿科大讯飞来说,基于讯飞星火认知大模型研发的功能落地学习机、办公本等产品之后,科大讯飞今年再次突破高增速,618销售额同比增长125%,并在多个品类中摘获销售额冠军。

这一点,同样体现在资本市场。6月20日,AI概念股表现抢眼,科大讯飞涨近7%,复权股价同样创历史新高。科大讯飞成交102亿元,在两市居首。

刚好笔者可以使用讯飞星火大模型了,最近也看到了不少有趣的测试,我们就一起看看现在的AI大模型发展到什么程度了。

1、错别字识别哪家强

高考作文想必大家都看腻了,前阵子看到《智商税研究中心》的这篇校对测评的设问还挺特别。

篇幅有限,拎出几个比较能拉开差距的问题,来跟大家一起分享看看。

首先是字词方面。

“洛阳亲友如相问,就说我在岳阳楼。”将“相问”错拼成“翔问”,考验一下各家大模型的基本功。

讯飞星火:

b99fabd3e998420f83300b70bcd36257~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=7%2BP2%2FtQkQa%2Bo%2BNnRM3Xvh3REdyk%3D

文心一言:

cb8c007e030d4559b01d3ba68c6511f8~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=7WSD1gHZmFgU8%2F6kyfS2diYGMak%3D

通义千问:

215e5d0e56ca40cda5cfde368bc90d86~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=fYbbnk5dKIwE7RlqMgpVdmy126g%3D

360智脑:

926cc20687014e9586f77e2be069da60~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=kkARRr05iRfi89pZC7zLYb%2BxkQY%3D

GPT4:

5ea09082f55c41d183cbdb62a78152b7~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=l095EHHEkwPF50updhEHTkNuzhY%3D

讯飞星火、文心一言、通义千问、GPT4都顺利完成基础的校对,只有360智脑,追问之下仍表示无误。

再来看语病方面。

校对语病的例子中整体表现不佳,不过让AI直接识别判断是否有歧义,还是能看出一点国产AI大模型之间的差距。

例如,“这句话有歧义吗:在床上‘葛优瘫’了一天,他突然想起来了。”

讯飞星火:

23a71ad50fa64f67a810fbcb70f36e0b~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=2s8k5wI5OzSoK9OwOwQ0dB2bVuE%3D

文心一言:

2d8f255102f843f7b76f1f5cc16022ac~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=t1GtejUTk9naU6ZainbghUSLJNE%3D

通义千问:

754cfb7c3b4a431195f36678ca7a66c8~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=klfS13zduCUpx57uKlmki%2BYIcnw%3D

360智脑:

594d9e70c1e04bcc9533c061c3285e94~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=Otg4sedgahFosqiCPE49CHsdVec%3D

GPT4:

4353e51b0cd34e5b9d1e29a05458b825~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=vlCNzaXkmk2QW%2FenXWIUKDg1lc8%3D

这里虽然几乎全军覆没,不过讯飞星火还是指出了“可能存在一些解读上的歧义”,一直表现不错的GPT4没能看出歧义还是有点意外。

最后看下指正校对错误后,AI大模型能否承认错误接受指正。

讯飞星火:

eeca2640b9b741ed81084927b0d28840~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=i%2FuAVsqgKHSUdwNnfpltC4T3EVQ%3D

文心一言:

f09485caccbe415ba529da422882566f~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=X9ogUAhJ%2FckAWCwbyeHK%2FAACcDo%3D

通义千问:

0c41b561156145adb4eeb9fb7a4a3a9f~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=R39x0Nn8j9UApAYAvYW2l0a6yno%3D

360智脑:

58e3f894c53c48b790887ddb89e0e50c~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=6FE4MoT0q%2Fv4KFCzdPLPQg8v6lE%3D

GPT4:

3dde8db7f350480cab37d21d1a4b87a4~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=vPWdj7GLgsB%2FixqNRwZaAm9ZJDs%3D

这部分讯飞星火意外地跟GPT4表现得旗鼓相当,反应迅速,简洁明了,承认错误后直接给出了校对后的句子;文心一言还要再进一步给出指令才会给出答案;而通义千问和360智脑则是“积极认错,坚决不改”。

校对文本错误在某种层面上,反映了大模型的基础能力,地基打好了,才能有更多上探的空间。

总体来说,在基础的校对能力上,讯飞星火算是国产大模型中最接近GPT4水平的;其他表现也中规中矩;至于360智脑,用360掌门人周鸿祎在360首发时的话来说,360智脑还只是个“孩子”,距离完善使用还有相当的一段路要走。

2、“数学高手”

寒窗苦读十余年,无论教育制度怎么改,除了语文,还有一个怎么也躲不掉的,就是数学。

数学的重要性不言而喻,它培养了我们的逻辑思维能力。但相对于大模型擅长的文本内容,数学能力在一定程度上算是大模型的弱项

不过上个月才出的讯飞星火意外地表现有些惊喜。

讯飞星火首发后,知名科技行业观察者《差评》,就曾对讯飞星火作出过全面测评,在数学测验部分,也展示了讯飞星火基础的数学能力,全部答对毫无压力。

409a844d132b4226a11bc9577394331b~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=IO6JqIjE3cIPyZ2mLxW3IshjRhY%3D

经典的鸡兔同笼问题,即使变换参数和问法也能全部答对。

64d41f89f20e4887a358255908e8cd04~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=sqnf0yLpoHiOsihM5OpZoTiqsDo%3D

用《差评》文中的话来说,讯飞星火做数学题,有一种过于强大,可以和GPT4掰掰手腕的感觉。

这种感觉,将国产大模型的回答都放一起后则更加强烈。

《科创板日报》就曾在一篇文章中,对文心一言、科大讯飞、360智脑几家比较有代表性的大模型进行测评展示。

例如,“某次数学竞赛共20道题,评分标准是:每做对一题得5分,每做错或不做一题扣1分。小华参加了这次竞赛,得了64分。问:小华做对几道题?”

正确答案应该是14题,我们看一下各家大模型的作答。

文心一言:

07535b5dcdfd4498bdf646d2cd69cb8b~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=GEOdhUWaVdfdRpPV2YOXX5U%2BUhQ%3D

360智脑:

801fd9acb2944b4fadc7ef91e5dc3298~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=9gj4LY1NrXTYVx9QrkH2b%2BJaGjI%3D

讯飞星火:

98e84c03d82a46eb998b1d25631fc916~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=xUotwmg1%2FjIQTQ4c8lPIR8pCJVs%3D

可以看到只有讯飞星火答对了,文中展示的另一道小升初数学题,同样也只有讯飞星火答对。

《科创板日版》在文章开头也指出,科大讯飞星火认知在数理能力表现尤为突出。

那到底能突出到什么程度呢?

我们继续对讯飞星火加大难度看看。

3048d340e54a438bb084a2edec11d1c0~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=o2Ia9QljXvuyRPqK8sMJJdRCbls%3D

大模型在数学领域的表现有着见微知著的效果,因为这需要结合大语言模型和计算引擎两者的能力。在复杂逻辑条件下,学习多步骤推理,这对计算资源和数据,有着海量需求,对算力也有着极高的要求。

讯飞星火在数学方面能力的展示,更是一家企业数据资源和算力水平的展示。对于国产大模型来说,数学能力是意义非常的。

不过,大模型不是一朝一夕就能训练完成的,如何落地?能不能落地?也是企业需要考虑的。

3、落地前景

大模型的出现注定是要破旧立新的,技术的发展回归到现实生活中,还是要看它的实际应用能力。

《娱乐资本论》做过一期市面上主流的5款大模型,一共90个回答的横评,想必耗费了不少时间精力,整体评价也是比较中肯的,颇具参考意义。

可以先看一下这张最终测试评分表。

f1c71097640a4cb988f035aa849baaec~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=r07jWQF6PYAjtA9Xw4FyncxJd8g%3D

大模型这种属于比较底层的框架,我们势必要做出自己的由中文语料训练而成的大模型。所以我们不可避免地会与ChatGPT相比较。

从上图来看,目前在落地应用方面,讯飞星火在主流国产大模型中,离ChatGPT是最近的。

具体到案例中,我们截取小红书带货的商业文案来看一下。

60206980de32448fb8f081207223226f~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=k0F6ZRG7Nol2wzkr5q7kRbbkuRo%3D

文案较长,内容有所折叠,不过总的来说,文中展示的两个作答还是比较贴切的。

星火自设了一款手机型号进行更准确的数据呈现,内容和逻辑这种长处不作过多分析,主要拉开差距的地方还是要求中的emoji表情。

相较于文心一言和天工未能察觉出需要在文案和题中带有emoji表情,星火的emoji甚至还有关联性,直接拿去发小红书基本也足够了。

《TMT时报》的记者也对文心一言、通义千问、讯飞星火的商业文案能力做过测试。

文心一言:

2ffd244b078c43e991778fd514a08a46~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=kwBr0HMboprJ9xDtEq7Av%2BQCCsk%3D

通义千问:

471935eca2ee47a5b057ab507dba0ba7~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=m6Bs3BFZZq%2FU5heol2RYGX6X6%2BY%3D

讯飞星火:

6f5558c0f0e94d94a020df2b08843107~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=VKIr78ONnuBjy7a%2FE3mEJfqWiMg%3D

文心一言虽然洋洋洒洒写了不少,不过作为海报文案还需再精简一番;通义千问整体表现不错,不过相对更侧重中秋,而失了商业主体的主导作用;讯飞星火完成度依旧出色,也更突出所设定的AI医疗公司的保护健康的作用,是可以直接拿来使用的程度。

其实讯飞星火在落地应用方面,还做出了不小的尝试。

讯飞星火升级到V1.5版本后,新增了星火助手功能,人手一个贾维斯不再是幻想。

目前经审核上传的星火助手多达500多个,遍及各个行业和细分领域,还支持自己创建,并不断调试出符合自己需求的专属小助理。

bc46b8036dc641498f48af1aeb2d7716~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=ahVFh6KdGbjTswJBZmAWtNsePys%3D

除了我们比较能想象到的日常办公,笔者对其中的脑暴部分更加感兴趣,比如这个“小说灵感记录员”。

24c77524ac344938a7cb774571faa9d0~noop.image?_iz=58558&from=article.pc_detail&x-expires=1687951508&x-signature=4B2eB8Z2WRU%2F%2Bviey4WtJySeoC4%3D

从动物社会结构,到智慧与力量的平衡,再到文化传承等等,这对创作类相关行业的增益可想而知。

星火助手发布时间还并不长,整体来看,仍有不少需要调试改进的地方。

不过,随着时间的推移,星火助手在落地能力以及前景等方面已经展示出了相当的潜力。

4、尾声

中国科学技术信息研究所发布的一份报告显示,从全球已经发布的大模型分布来看,在大模型数量上,中国和美国超过全球总数的80%,中国从2020年进入大模型快速发展期,目前与美国保持同步增长态势。

除了大模型,应用端也呈现出爆发式增长的态势。

中国经营报在3月的一篇文中提到,天眼查数据显示,截至当时,人工智能相关企业258.8万余家,其中,2022年新增注册企业73.2万余家,新增注册企业增速41.5%;近三年(2020~2022年)人工智能相关企业新增注册企业增速均超过40%。

大模型以及大模型相关的企业,正在如雨后春笋般涌现。

时代的机遇下,作为国产大模型的重要代表之一,讯飞星火也已经隐隐有了燎原之势。


本文经授权后发布,本文观点不代表立场
618收官!淘宝稳居第一,电商格局没变化
« 上一篇 12-28
周大福下沉,不能只靠小红书
下一篇 » 12-28

相关内容

毛戈平撑不起高端美妆国货的“场子”
当AI成为“最听话的员工”,白领该何去何从?
​县城有点小,容不下“希尔顿”
低空经济的野望:“复写”新能源辉煌史?

热门文章

标签TAG