AI之所以这么智能,就是因为它背后有大模型这个聪明的大脑袋。
而大模型之所以这么聪明,上知天文,下知地理,会中文,懂外语,文武双全,无所不能,主要取决于以下两个方面因素:
一是大模型的训练参数。
二是Embedding。
训练参数,是指大模型训练时的最多参数,一般目前从百亿,到千亿,甚至上万亿参数,据说最新即将发布的gpt5的训练参数更是高达上十万亿。
这个训练参数,我们可以理解为像人的知识储备,一般理解,知识储备越多,大模型懂的就越多,越专业。
这个训练参数,有点类似像相机的像素,像素越大,自然成像能力就越强。是不是因此我们就可以认为,一个大模型的训练参数越大,就表示它越强呢?
当然不是!
这就引出大模型的另外一个方面,Embedding
Embedding 目前没有一个合适的中文词语给它,我个人的理解,Embedding 你可以认为是一个人的理解和逻辑能力,这个Embedding 的理解和逻辑能力越强,就表示大模型越聪明。
综上所述,我们可以看出,评判一个大模型够不够智能?一般取决于这两个因素,一是它的训练参数,这个参数越大越好;另一个就是Embedding理解和逻辑能力。
当然,除此之外,还有些其它方面,如Token 。我们经常听到说某个大模型支持8k、16k、128k、192k甚至更大,这里说的就是token.
Token是什么?你可以简单理解成类似计算机的字节,一个汉字,一个字母,一个符号,都是token,token用于计算大模型跟人进行上下文对话的长度,支持token越大,说明这个大模型跟人对话的储备量越好。
不过,我个人认为,随着大模型的不断发展,支持上下文长度会越拉越大,直到无限大,因此,这个token未来的主要作用用于计费,比如跟大模型对话,每千个 token收取比如0.0几分,有点类似我们使用移动网络的流量那种计费。
关注我微信视频号:【大伟说AI】
今天就讲到这里,我是大伟,关注我微信视频号:【大伟说AI】,带你学习和了解更多AI相关知识和内容。