当下,尽管ChatGPT和生成式AI被炒得火热,但这类工具在达到谷歌等老牌搜索引擎的规模、稳健性和可靠性之前,还需要在实践、技术和法律层面克服重大的难题。
ChatGPT已经引起一波热潮。自从去年十一月底OpenAI的大型语言模型(LLM)发布以来,人们对于生成式AI——ChatGPT只是其中之一——如何改变我们对知识、研究和内容创造的一切认知进行了各种各样的猜测。生成式AI或许会重塑劳动力和员工发展所需的技能,甚至颠覆整个行业。 有一个领域在生成式AI竞赛中拔得头筹:搜索。生成式AI很可能极大地改变用户对搜索的期望。 长期以来网络搜索的赢家谷歌,似乎突然遇到了微软的挑战。微软前不久向ChatGPT的开发者OpenAI投资100亿美元,宣布将这一工具纳入一系列微软产品的计划,包括其搜索引擎必应。与此同时,谷歌正在发布自己的AI工具Bard,而中国的科技巨头百度也在准备推出ChatGPT的竞争对手。还有数百万美元被投入生成式AI初创企业。 不过,尽管ChatGPT和生成式AI被炒得火热,但这类工具在达到谷歌等老牌搜索引擎的规模、稳健性和可靠性之前,还需要在实践、技术和法律层面克服重大的难题。背景
搜索引擎在20世纪90年代初进入主流,但其核心方法一直没有改变:以与用户最相关的方式对索引网站排序。搜索1.0时代要求用户输入关键词或关键词组合来查询引擎。搜索2.0时代于2000年代末随着语义搜索的引入一同到来,允许用户像与人类互动一样输入自然短语。 谷歌一出现就主导了搜索领域,归功于三个关键因素:简单而不凌乱的用户界面;具有革命性的PageRank算法,提供有相关性的搜索结果;还有谷歌无缝扩展的能力。对于一个定义明确的使用场景——寻找包含你所需要的信息的网站,谷歌一直是堪称完美的工具。 但现在似乎有一个新的使用场景正在兴起。正如谷歌在宣布Bard时说的那样,现在用户寻求的不只是列出与查询内容相关的网站——他们想要“更深入的洞察和理解”。 这正是搜索3.0所做的——提供答案,而不仅仅是网站。如果说谷歌是在帮助我们从图书馆找出可以回答我们问题的一本书,那么ChatGPT则是一位已经读过了所有的书、可以回答我们问题的同事。理论上是这样的。 不过ChatGPT的第一个问题也在这里:以目前的形式,ChatGPT并不是搜索引擎,主要是因为它无法像网络抓取式搜索引擎那样获取实时信息。这可能就是为什么OpenAI公司CEO萨姆·阿尔特曼(Sam Altman)在2022年12月说,“目前依靠ChatGPT做任何重要的事都是错误。” 这种状况会在不久的将来改变吗?这就引出了第二个大问题:随着互联网上信息的演化,现在要持续重新训练大型语言模型是极其困难的。最显而易见的挑战在于持续训练大型语言模型所需的庞大处理能力,以及与之相关的金钱成本。谷歌通过出售广告来支付搜索成本,以便免费提供服务。大型语言模型的能源成本更高,难以实现,假如目标是以谷歌的速度(据估计为每秒数万次,每天就是数十亿次)处理查询就更难了。一种可能的解决方案或许是降低训练模型的频率,并且避免用其搜索快速演化的主题。 但即使公司设法克服了这种技术和财务难题,它能提供的实际信息依然很成问题:ChatGPT这样的工具究竟要学习什么、向谁学习?考虑来源
【资料图】
向垂直发展
大型语言模型可能会加强传统搜索引擎的某些方面,但目前似乎没有能力动摇谷歌搜索的地位。不过,它们可以发挥更为颠覆性和革命性的作用,改变其他类型的搜索。 搜索3.0时代更有可能出现的是,经过有目的且透明的内容管理、刻意训练过的用于垂直搜索的大型语言模型兴起,这类搜索引擎专门针对特定主题。垂直搜索是大型语言模型的一个强有力的用例,原因有几个。首先,专注特定的领域和使用场景,即狭窄但深入的知识。这样一来,使用高度规划过的数据集训练大型语言模型就更容易,数据集里可能包含全面的描述模型来源和技术细节的文档。这样也更容易对数据集进行适当的版权、知识产权以及隐私法律、规章和条例约束。更小、更有针对性的语言模型,其计算成本也更低,方便更频繁的重新训练。最后,这些大型语言模型会接受第三方专家的定期测试和审计,类似于受监管的金融机构中使用的分析模型要满足严格的测试要求。 在一些领域,植根于历史事实和数据的专业知识是工作的重要组成部分。垂直的大型语言模型可以在此类领域提供新一代的生产力工具,以全新的方式增强人类的能力。想象一下,一版以同行评议和已出版的医学期刊及教科书为材料训练过的ChatGPT,嵌入微软Office办公软件里,作为医疗专业人士的研究助手。或者用银行分析师用于研究的顶级金融数据库、期刊里数十年的金融数据和文章训练过的版本。另一个例子是训练大型语言模型写代码或调试代码,并回答开发者提出的问题。 企业和创业者在评估有没有强大的大型语言模型垂直搜索用例时,可以思考以下五个问题:一、该任务或流程以往是否需要广泛的研究或深入的相关专业知识?
二、任务的成果是不是能让用户采取行动或做出决定的综合信息、洞见或知识?
三、有没有足够的技术或事实数据能把AI训练成垂直搜索领域的专家?
四、大型语言模型能否以合适的频率接受新信息训练、提供最新的信息?
五、人工智能学习、复制和延续训练数据中的观点、假设和信息是否符合法律和道德标准? 自信地回答以上问题,需要多学科的视角,将商业、技术、法律、金融和道德视角结合起来。但如果对五个问题的回答都是肯定的,那么垂直大型语言模型或许大有可为。让尘埃落定
ChatGPT背后的技术令人印象深刻,但并不是独有的,很快就会变得容易复制且廉价商品化。随着时间推移,公众对ChatGPT产生的迷恋将逐渐褪去,这项技术的实际情况和局限会显现出来。因此,投资者和用户应当留意专注于解决上述技术、法律和道德挑战的公司,这是实现产品差异化、最终借以在AI之战中获胜的前沿阵地。关键词:AI埃格·古尔代尼兹(Ege Gurdeniz)、卡尔蒂克·霍萨纳格(Kartik Hosanagar)| 文
埃格·古尔代尼兹是一名战略顾问兼创新领导者,推动大规模数字化转型,帮助机构负责任地使用AI和其他新技术为客户创造价值。卡尔蒂克·霍萨纳格是宾夕法尼亚大学沃顿商学院教授,研究技术和数字业务,也是学院AI中心负责人之一。他现在的研究关注的是AI与人类合作,以及AI与创造力,著有《人类的机器智能指南》(A Human’s Guide to Machine Intelligence)。
朔间 | 译 周强 | 编校
推荐阅读
《哈佛商业评论》中文版 联系方式
投稿、广告、内容和商务合作
newmedia@hbrchina.org