大模型可以无所不能吗?怎样让模型少犯错?企业应该部署多大的模型,一个超级大模型还是一堆专业模型?
【资料图】
对于这些问题,第四范式联合创始人、首席架构师胡时伟认为:类GPT模型是高级复读机,有多少“人工”就有多少“智能”,绝非无所不能。模型100%会犯错,一味地追求算力和数据并不能解决这个问题,因此模型之上必须要有运营兜底机制,知错就改。算力决定参数规模,一堆专业模型比一个超级大模型更有落地可行性。
上述观点源于6月10日新金融联盟举办的“金融机构数智化转型与大模型技术应用”内部研讨会。会上,新金融联盟学术理事、工商银行(行情601398,诊股)首席技术官吕仲涛,民生银行(行情600016,诊股)数据管理部总经理沈志勇、平安银行(行情000001,诊股)数字资产管理与研发中心总经理刘锦淼也做了主题发言。新金融联盟理事长、中国银行(行情601988,诊股)原行长李礼辉及中国信通院金融科技研究中心副主任赵小飞进行了点评交流。
56家银行及非银机构、55家科技公司的170多位嘉宾通过线上线下(行情300959,诊股)参会。会议由新金融联盟秘书长吴雨珊主持,中国金融四十人论坛提供学术支持。会议实录详见→《如何释放大模型对金融行业的价值?》以下为胡时伟的发言全文,已经本人审核。
企业大模型落地的几个关键问题
文 | 胡时伟
大模型并非“无所不能”
现在各行各业都十分关注大模型这一话题。第四范式在自己的大模型产品“式说”2月份发布以来,与17个行业的114家企业进行了密集与深入的沟通,发现业界普遍对大模型存在一些误解,需要纠偏。
第一,要相信科学。大家普遍认为大模型已经具备“涌现”能力,可以无师自通。但大模型的能力主要还是源于给它提供了什么样的数据,并不是直接“涌现”出来的。本质上讲,类GPT模型的背后还是机器学习,需要高质量的数据训练而来,并通过Fine-tuning(微调)进行调优才能实现一些特定的能力。
第二,有多少人工,就有多少智能。生成式AI到底能解决什么问题?通俗地讲,从基础大模型到行业大模型甚至到场景定制,我们目前认为它可以用以完成一份文档。在一个特定场景下正确地完成一个文档,一定来自于人反馈的数据。就像GPT要用到非常多维基百科的数据,是因为该数据质量更高。我们行业要做的是,一定要对大模型形成反馈闭环和迭代,即告诉大模型什么是好的,训练它达到更好的效果。这件事情本质还是依赖人工。
第三,大模型生成一定会出错。哪怕是GPT-4,在行业专业、严肃场景的应用也远未达到工业可用的效果。这是技术本身的缺陷所致,靠算力和数据也无法从根本上解决这个问题。目前大部分企业的共识是模型之上必须加一层运营机制来兜底。
企业应该部署多大的模型?
企业在大模型落地过程中会面临一个现实问题——预算有限,预算决定了算力,算力决定了参数规模。
因此,我们需要抉择:应该部署一个超级大模型,期待它能够把能力上升到一定程度,还是应该从解决问题出发,部署一堆专业模型,让它们各司其职。这里面涉及两个不同的思路。
第一个思路是通过增加参数和堆砌算力,把所有参数都给NLP模型。但从实际落地的角度来看,根据No Free Lunch(没有免费的午餐)定理,没有哪一个模型能以最优的方式解决所有问题。如果我们把所有的东西都放在一个模型里,最后会花出极大的代价,超级英雄成本很高,也很难管理。
因此,我个人认为会走向另外一个方向,即Learnware(学件)的思路,我们要做一堆参数过亿的专业模型,来组成整体企业系统,这种方式更利于模型迭代、维护,同时更利于控制成本。就如同一家公司里不能都是董秘,还得有销售、产研、市场等各个专业线。
大模型可实现传统软件两大升级
“介质”同样是企业落地大模型的关键要素。
想象一下,如果没有APP,推荐算法 能用吗? 没有搜索,广告算法能用吗?APP和搜索就是推荐算法和广告算法的介质。同样, 大模型在企业落地时,企业软件就是大模型的介质。如果介质没有革新,只有算法革新,就像是一个人只有脑没有手。
因此,我们非常需要关注介质层面的革新。企业中大部分工作的完成都需要使用软件,但是大量软件交互的方式都非常低效、复杂,现在我们可基于大模型解决两个升级:
第一,由生成式大模型负责软件界面的升级。人机交互要变成多模态,通过大模型更强的语义理解能力,可以更直接调用企业内部各种形式的信息、数据和模型。
第二,由判别式大模型负责软件内核的升级。以前的软件主要围绕数据库做增删 改查,现在可由判别式大模型对软件进行智能化升级。
让大模型成为知错就改的小助手
由于GPT在技术上存在局限性,因而无法做到百分之百准确,尤其在应用于严肃的金融场景时,大模型之上必须要加一层运营体系兜底,让模型的输出和操作从不可用变成可用,并且能做到知错就改。
知错就改有三个机制叠加保障:一是专家给答案。虽然听起来不是那么智能,但在专家能给答案的地方一定要给答案,因为这个是最准确的。二是专家给示例,模型进行一定的上下文学习也可以表现更好。三是模型自主学习,基于专家生成的知识反馈给模型,让模型少犯错。
生成式大模型加上“执行可控、知错能改”的运营体系,我们可以期待有一位善于理解、准确执行的工作助手。这位助手需要让用户可以清晰了解哪些内容是“100%准确”,哪些是“不确定的”,并且知错能改。
总体来说,底层大模型不能解决所有问题,介质层及运营机制的革新对于数字化推动作用同样重要。企业需重新打造决策类AI、生成式AI、应用层、介质层。我们目前探索落地的重点是让生成式大模型结合介质,围绕企业数字化转型的目标,在企业里生成一堆Agent,分别用以查资料、查数据、准确操作软件等,这可能是当下一个更加贴合实际、可落地的方向。