来福:精益管理,持续创业,财务自由❤

云启陈昱:ChatGPT的质变,不是一场技术变革 | 澎湃新闻 X 云启ChatGPT特辑

2023-03-02 07:00

伴随着ChatGPT的横空出世和破圈热议,大模型创业日益升温,AGI(通用人工智能)仿佛已经离人类越来越近。

早在2021年底,云
启作为唯一的早期投资机构参与了国内一家多模态AI大模型创业公司MiniMax的天使轮投资,目前首款产品「Glow」已拥有近500万用户,可能是国内第一家同时拥有3个模态(语音、图像、文本)大模型能力的创业公司。此外,云启多家早期被投企业也进行了相关探索

「云启科技π」
推出ChatGPT特
辑,本期由澎湃科技专访云启合伙人陈昱,介绍ChatGPT背后产生的质变,以及AI产业面向通用人工智能之路的未来。


来源 | 澎湃新闻

记者 | 承天蒙


➤➤➤昱长期关注前沿科技、智能驾驶等领域的投资,在加入云启前曾任Google(谷歌)工程师、国内上市公司CTO(首席技术官)。


他认为ChatGPT背后的质变,其实并不是技术上的变革,而是工程上的创新,模型参数量规模扩大导致的质变,人工反馈是ChatGPT脱颖而出的根源。伴随ChatGPT商业落地场景的显现,前往通用人工智能的方向也逐渐清晰,虽然抵达终点的路程还很遥远。





人工反馈是ChatGPT脱颖而出的根源


“有多少人工智能就有多少人工”,陈昱说,“这句话已经不是行业内的秘密。”训练大规模语言模型,需要大量人工做数据清洗和标注,还需要得到人工反馈,使得语言模型更贴近人的语言习惯和拥有正确的价值观。


自然语言处理技术(NLP)早在上世纪50年代便已进入科学家的研究视野,2010年后,计算机算力的大幅增长和深度学习的技术加持让NLP奠定了如今的技术发展方向,“模型参数量上去以后,突然间质变就到来了。”陈昱介绍,除了参数量的提升,“人工反馈强化学习(RLHF)”的技术对语言模型质量的提升也起到了关键的作用,它使得语言模型能够学习人类的表达方式。


人工反馈是ChatGPT脱颖而出的根源。用强化学习训练来逐渐改进AI 模型,就像教小孩学习,做对获得奖励,做错接受批评,经过无数次正负反馈迭代后最终让模型收敛,接近人类期望的结果,而这背后需要极为大量的人工劳动。因此,ChatGPT选择了劳动力价格低廉的非洲和东南亚,雇佣当地员工进行数据标注。其中肯尼亚数据标注员高强度的工作时薪仅2美元,也引发了国际社会的关注。


目前成本是传统搜索的5-10倍

“AI大模型是躺在钱堆上的赛道。从买算力,到顶尖AI工程师的雇佣,再到数据的收集、标注和评估(反馈),都需要大量的资金投入。”陈昱介绍,“起步创业的话5000万美元是够了,但如果长期来说,融资量得到3-5亿美元这个规模,才能叫真正上了牌桌。”他补充道,“这和当年的自动驾驶很像,对融资的要求特别高。”


ChatGPT背后的大模型不但拥有高昂的训练成本,其推理成本亦不容小觑。陈昱介绍说,“现在ChatGPT每服务一次客户要花费传统搜索5-10倍的成本,这笔账能不能算过来还是个问题。”


但陈昱同时也表示,成本的降低同样也已经能够展望,首先能够确认的就是,摩尔定律在大模型的算力中同样也有作用。“英伟达的GPU从V100、A100到下一代的H100,每次算力的整体效能都提高了一个数量级,所以未来成本还会继续往下走。”


陈昱介绍,“现在业内已经在实验各种降低成本的方式,包括从芯片算力、改进算法等,还会研究未来是不是真的需要这么大的一个参数量,可能100亿参数、500亿参数的模型效果就很好了。”据他了解,微软和ChatGPT整合后,用的模型也不是最大的千亿级参数模型,而是一个中等大小的模型,只有几百亿的参数量,这些都会大幅降低模型的推理成本。


传统大厂VS创业公司


在陈昱看来,对大模型公司而言,数据量非常重要,但创业公司同样拥有在市场上挑战大厂的机会。OpenAI取得的成绩挑战了Google在搜索引擎领域的商业模式,更是为人们津津乐道。


“互联网上的数据对所有玩家都没有区别,区别在于数据背后的人工反馈。”陈昱介绍,“创业公司肯定没有大厂那么多的数据量,但它可以有一些创新的方式来收集数据和反馈,比如ChatGPT的聊天服务,其实用户每一次和他的对话都会被记录下来,它就在这样的对话反馈中学习。”


另外,陈昱也认为,大语言模型的研发中,创业公司的灵活性让他能比大公司做的更好。“如果是大公司里的一个部门,就会有大公司病带来的一系列弊端。如果一个大公司想去推出一个类似的服务,肯定公司内部会有人跳出来说你这个模型做的不完美,出去会损害公司品牌,或者说你会挑战我们已有的商业模式……无数理由让它做不下去,但在创业公司我就是无畏无惧的。”


早在2021年底,云启作为唯一的早期投资机构参与了国内一家多模态AI大模型创业公司MiniMax的天使轮投资。陈昱透露,目前MiniMax首款to C(面向消费者客户)的产品Glow已近500万用户,“在商业层面,MiniMax可能是国内第一个基于用户反馈跑通大模型的公司。” 此外,云启多家被投企业——如Jina AI、PingCAP、智齿科技、百炼智能等也有相关产品探索。




商业化之路逐渐清晰


在陈昱眼中,ChatGPT已经拥有了很多商业落地场景,尤其是在和人的语言能力有关的领域。


“to C领域(面向个人)如情感陪伴,to B领域(面向企业)如智能客服、语法校对、文章摘要、财经分析等,这些都是大语言模型擅长的东西。”陈昱介绍,“当然目前它更多还是为人类提效。现在的人工智能、包括机器人都不能完全替代人类,未来很长一段时间都会是人机协同。”


通用人工智能(AGI)是人工智能发展的终极目标,即能够达到一般人类的智慧,能够执行人类智力水平的任务。而ChatGPT是通用人工智能的研究发展中产生的阶段性成果。

“现在的研发进展比想象的快,也让大家一下子找到了前往通用人工智能的一个方向,虽然这个方向具体能走多远不清楚,但它是有阶段性成果,而且是能商业化的。”陈昱表示。“通用人工智能现在仍然是一个遥远的概念,我们也不知道是5年、10年还是100年后才能做到,所以团队除了有技术之外,真的要有理想、有情怀。”陈昱表示,“作为VC(风险投资人)本身也需要理性的理想主义,除了资金助力之外,要真正去支持那些比较宏大的理想,不然不管是ChatGPT还是其他创新,就永远不可能发生。”














来源: mp.weixin.qq.com/s/?source_url=https%3A%2F%2Fmp.weixin.qq.com%2Fs%2FweT9Cao9509-O61RqlTBfQ&id=1855f113a70aa7473d91557b32e83579

阅读:1470915 | 评论:0 | 标签:自媒体

想收藏或者和大家分享这篇好文章→复制链接地址

“云启陈昱:ChatGPT的质变,不是一场技术变革 | 澎湃新闻 X 云启ChatGPT特辑”共有0条留言

发表评论

姓名:

邮箱:

网址:

验证码:

公告

收集各种优质投资、金融、时政的文章,帮助一级/二级投资人做出正确判断,收获α+β收益

标签云