大模型拥有人类思维，咫尺还是天涯？

ChatGPT一夜成名之后，Meta人工智能首席科学家杨立昆（Yann LeCun）却提出了质疑，ChatGPT对人类世界的理解不过是一场概率游戏，而他的目标是创建一个能够理解人类常识的世界模型。

撇开杨立昆理想中的世界模型不谈，目前人工智能基础大模型，大部分工作都集中在继续增加训练数据量和扩大模型规模，但现实问题是，不仅创业公司感受到了数据荒，连大型企业也感受到了数据资源的枯竭。一位风投人士提出的疑惑是，如果人人都用一样的数据，你怎么证明你的AI大模型的质量比其他人好呢？

在发展中解决问题

随着AI对于高性能芯片的需求越来越大，电力供应问题也成为值得担忧的议题。因而，算法设计与算力设施需要联合优化。

4月23日，商汤科技SenseTime在技术交流日活动中发布了行业首个“云、端、边”全栈大模型产品矩阵，以满足不同规模场景的应用需求，并且全新升级“日日新SenseNova 5.0”大模型体系，加速生成式AI向产业落地的全面跃迁，实现大模型按需所取。

大语言模型改变了数字产业的人机交互方式，提升了软件的用户友好性和功能性。它们在降低企业应用构建成本、推动新生态平台发展方面扮演着关键角色，并在对话式 AI 领域显著提升了产品的智能和感知能力。

然而，数据和算力始终是制约大模型发展的瓶颈，竞争至此，为了尽早解决商业化问题，各家都在寻找更优的解决方案，以便在发展中解决问题。

商汤科技董事长兼CEO徐立谈到，人工智能发展的基本法则之一是尺度定律（Scaling Law），该定律通常影响人们的认知，即随着模型的参数量、数据量的变大，训练时长的加长，算法工程性能会越来越好，这也意味着对算力的消耗是一种必然的要求。除此之外，还有两条隐藏的假设。假设1是可预测性，即可以跨越5—7个数量级尺度，保持对性能的准确预测；假设2是保序性，即在小尺度上验证了性能的优劣后，在更大尺度上依然保持不变，从而在有限的资源中找到最优的模型架构和数据配方。徐立说：“商汤基于实验结果，小模型在优化数据的情况下，性能也可以逼近甚至超越跨数量级的大模型。”

日日新5.0致力于解决数据集质量的瓶颈。商汤采用“10T+tokens”中英文预训练数据，形成高质量的基础数据，但是知识仅能解决大模型对客观知识和世界的初级认知，合成的思维链数据才能激活大模型的强理解推理能力，徐立说：“这才是真正意义上保障模型能力提升的关键。”

硬件也是大模型发展中企业面临的重大挑战，有微软工程师曾说，美国同一个州部署超过10万片H100GPU，电网就会崩溃。随着AI对于高性能芯片的需求越来越大，电力供应问题也成为值得担忧的议题。因而，算法设计与算力设施需要联合优化。

徐立观察发现，近来行业模型的迭代，在基础知识能力上的提升并不显著，但是在高阶推理，特别是数学上的提升较快，比如GPT-4的数学推理能力比GPT-3.5提升了121.07%，而Llama3-70B比Llama2-70B提升了464.51%。“这意味着大部分用来提升数据质量的能力都构建在了合成数据的推理。高阶推理能力往往是打造行业能力推进的一个重要指标。”

2024年是大模型在端侧应用的爆发之年，如果几十亿的端侧设备都在不停地调研大模型，没有一个服务端能够承受得了。而端侧小模型的优势是速度。当大模型还在计算时，小模型已经生成了结果。商汤还推出端云协同解决方案，可以通过智能化判断协同发挥端云各自优势，需要联网搜索或处理复杂场景时分流至云端处理，部分场景端侧处理占比超过80%，从而显著降低推理成本。商汤日日新·端侧大语言模型的推理速度在中端平台实现18.3字/秒的平均生成速度，旗舰平台更是达到了78.3字/秒。

4月18日Meta推出的开源大模型Llama 3，在AI模型的训练和发展方面，Llama 3证实了大规模数据和计算资源对于AI模型的重要性，AI正在从一个“问答”工具，转变为一个更广义的“推理”系统，需要理解问题的上下文，融合多方面知识并运用逻辑推理得出结论。多模态是Meta重点关注的领域，其中有一个模态是情感理解。扎克伯格认为，如果能在这一方面取得突破，人与机器的互动将变得自然且深入。但与目前对于所有的大语言模型而言，未来训练大型AI模型可能面临资本和能源限制等挑战。

杨立昆的反思

由于大语言模型是由海量文本训练出来的，训练数据约为2×1013字节。这些数据如果按人类每天阅读8小时计算，需要17万年的时间才能读完。

从目前大模型的发展来看，至少已经看到了应用的曙光，在某些功能上已经可以成为人们日常工作的助手。

“机器学习很棒。但是规模化能达到人类水平的人工智能吗？答案是不能。因为我们缺少了一些能让机器有效学习的重要东西，就像人类和动物一样。我们还不知道那是什么东西。”近日，杨立昆在与《连线》的采访中再次重申了其一直以来的观点。

以ChatGPT为例，GPT-3.5利用人类反馈强化学习，实现了语言生成能力的显著提升，增强了模型对新指令的适应性，超越了仅依赖于参数量增加的限制。但从中国科学院院士张钹在《从大语言模型到通用人工智能》的演讲中对大模型所用技术的评价来看，由于大模型目前的工作是在外部提示下，用概率预测的方法完成的，而同样的工作人类是在意识的控制下完成的。因此，大模型会遇到三个天花板：第一，质量不可控。由于大模型的质量无法人为控制，因而输出质量不稳定；第二，生成结果不可信，由于输出结果依赖输入的提示词，因而相同内容遇到不同的提示词时会产生不同解；第三，鲁棒性（Robustness）不佳。

杨立昆认为，动物的大脑运行是对世界的模拟，他称之为世界模型。动物在婴儿时期就学会了猜测周围情况。婴儿在生命的最初几个月里，通过观察世界来获取基本知识。当一个孩子看到一个球落下几次后，就足以知道重力是如何工作的。

在人类的大脑中，常识告诉我们哪些事件是可能的，什么是不可能的，哪些事件比其他事件更有可能发生。它让我们预见行动的后果，制定计划，并且忽略不相关的细节。

杨立昆曾表示，目前的自回归大语言模型并非通向“超人智能”的途径。首先，“智能行为”有许多特征。例如，理解物理世界的能力、记忆和检索事物的能力（持久记忆）、推理能力和计划能力，这些是智能系统或人与动物的四个基本特征，但目前的大语言模型并不具备上述特征。

由于大语言模型是由海量文本训练出来的，训练数据约为2×1013字节。这些数据如果按人类每天阅读8小时计算，需要17万年的时间才能读完。但根据发育心理学家的研究，一个4岁的孩子视觉皮层接收的信息量约为1015字节，比17万年的文本要多50倍。人类通过感知系统接收到的信息比通过文本要多得多。人类学到的大部分知识都是通过观察和与现实世界的互动，而不是通过语言得来的。人在生命最初的几年里学到的东西包括动物学到的知识，都与语言无关。

动物和人类表现出的学习能力和对世界的理解，远远超出了当前的人工智能和机器学习（ML）系统的能力。为此，杨立昆提出人工智能研究今天必须解决三大挑战：

·AI 必须学会对于世界的表征；

·AI 必须能以和基于梯度学习兼容的方式，进行思考和规划；

·AI 必须学习行动规划的分层表征。

寻找人工智能的第一性原理

未来5年左右，生物学数据和物理学数据会比信息数据大几个数量级，算力还会增长。

《人工智能：现代方法》作者、加州大学伯克利分校计算机科学系教授斯图尔特·罗素在2024年博鳌亚洲论坛中表示，当前人工智能的方向错了。

他认为尽管GPT-4大语言模型的性能很优秀，但在技术上依然有很大的缺口。简单的扩展，让模型越来越大，训练更多的数据并不能弥补人工智能与人类智能的差距。这个差距实际上来源于系统无法从训练数据中生成一些东西。因为按现有模型构建的方法，电路是没有办法用语言来表达复杂概念。大模型需要更多的训练数据才能够学习一些概念，但当前的大语言模型像个“黑匣子”，看不透其中的过程，不清楚能够达成的目标。

中国科学院自动化研究所研究员、联合国人工智能高层顾问机构专家曾毅也认为，人工智能系统在一些人类从不犯错误的关键领域中，一直在犯错。“我必须明确地说，目前的人工智能是一个看似智能的信息处理系统。它并不具备真正的理解能力。”

发展人工智能的正确方式是什么呢？罗素预计，在下一代GPT-5大语言模型中，人们会发现训练素材是之前的10倍之巨，但这也意味着数据的终结，因为已经没有更多的数据了。如果这样的训练没有带来真正的通用智能，开发者将别无选择，必须寻找不同的方向，比如从10个或是百个案例中学习即可。其次，人们需要理解系统的运行原则，分析其中的每个步骤，检查其是否正确，这是技术文明的基础，即了解每个要素的原理，但今天的AI恰恰违反了这个流程。

中国工程院院士、清华大学智能产业研究院院长张亚勤则表示，在未来5年左右，生物学数据和物理学数据会比信息数据大几个数量级，算力还会增长。如果没有新的框架，在不改进算法的情况下，算力是不可持续的，需要消耗更多的电力，并且带来巨大的排放。

微软亚洲研究院全球研究合伙人韦福如指出，Transformer网络架构、“语言”模型（Next-Token Prediction，或自回归模型）学习范式、规模法则（Scaling Law），以及海量的数据和计算资源，是构成当前人工智能基础大模型范式迁移的核心技术要素。在这套“黄金组合”的基础上，目前人工智能基础大模型的大部分工作都集中在继续增加训练数据量和扩大模型规模。“但我们认为，这套范式并不足以支撑人工智能未来的发展。当我们被束缚在既有的架构中，只追求增量式的创新时，也就意味着我们已经看到了现有技术路径的局限性，人工智能基础创新第一增长曲线的顶峰已然近在咫尺。”

微软亚洲研究院将目光聚焦到了人工智能的第一性原理，从根本出发，构建能实现人工智能效率提升，且具备更强涌现能力的基础模型，探索引领人工智能走向第二增长曲线的途径。

韦福如提出，目前除了不断推进基础模型架构和多模态大语言模型的创新，还需要更多在基础研究上的颠覆式突破。目前大模型应用中的很多问题，比如成本问题、长序列建模/长期记忆（Long-term Memory）、幻觉问题以及安全问题等需要从根本性的角度得到解决。

首先是大语言模型学习的理论框架和根本原理，现有的工作基本是以实验和经验为主，未来的基础创新需要从更加根本和理论的角度推进。

另外，大模型的发展在很多任务上达到或者超过人类（如数据生产者或标注员）的能力，这就需要探索一种在模型比人类强的前提下的新一代人工智能研究范式，包括且不限于基本的学习框架、数据和监督信号来源以及评测等等。比如合成数据（Synthetic Data）会变得越来越重要，一方面是数据会变得不够用，另一方面是模型自动生成的数据质量越来越高。

另一个机会是小数据大模型的学习，通过模型的自动探索与学习，结合强化学习，从而让人工智能更接近人类从少量数据中就能高效学习的学习方式。这也是进一步通过规模化算力（Scaling Compute）提升智能的可行方向之一。

最后，越来越多的研究工作表明，未来人工智能的模型、系统基础设施和硬件的发展会有更多联合创新、共同演进的机会。

大模型拥有人类思维，咫尺还是天涯？

返回上一篇

下一篇