2025年3月1日, 美国人工智能协会(AAAI)2025 主席小组发布《关于 AI 研究的未来》报告。报告涵盖 17 个主题,涉及人工智能推理、可信度、伦理安全等方面,分析了各主题的历史、现状、趋势、研究挑战以及 AAAI 社区的观点,旨在明确人工智能研究的发展方向,应对当前面临的挑战。
1、AI 推理
(1)核心观点:推理是人类智能的显著特征,在 AI 系统中,可验证的推理至关重要。尽管大型预训练系统在推理能力上取得了一定进展,但确保其推理的正确性和深度仍需进一步研究,这对于自主运行的 AI 智能体尤为关键。
(2)历史发展
人类推理的演进:推理是人类智能的核心组成部分,从人类早期的溯因推理预测危险、归纳推理认识世界规律,到古希腊时期演绎推理技术的发展,为现代科学、数学和工程的进步奠定了基础。推理方法的发展,如贝叶斯定理在概率推理中的应用,对人类认知评估和科学研究产生了深远影响。
AI 推理的起源与发展:AI 研究从早期就高度关注推理,Logic Theorist 开启了 AI 推理研究的先河。自 20 世纪 60 年代起,AI 不仅接纳了概率推理和模型,用于医疗诊断等领域,还逐渐将重点转向具有形式保证的推理。这一转变推动了 SAT、SMT、约束求解器以及概率图形模型等 AI 算法和系统的发展,在硬件和软件正确性验证、通信协议安全性设计、蛋白质设计以及神经网络对抗攻击的鲁棒性验证等实际应用中发挥了关键作用。
(3)现状与趋势
互联网与数据驱动的推理:互联网技术的发展和计算能力的提升,使得从数据中自下而上学习的新方法成为可能。大型预训练模型(如 LLMs)在似然推理方面展现出了惊人的能力,通过在大规模语料库上的训练,它们能够自动学习到似然推理模式。然而,这种推理缺乏正确性保证,其结果仅为 “似然”。
形式推理的持续重要性:可靠的形式推理技术在前沿 AI 技术的关键应用中仍然不可或缺,如计算机硬件和软件的验证、现实世界的规划和资源分配问题等。同时,形式推理在神经网络等机器学习技术的形式验证中也发挥着日益重要的作用,研究人员正在积极探索如何提高各种推理算法的计算效率,将学习与形式推理相结合。
(4)研究挑战
似然推理的改进:如何在由预训练模型驱动的似然推理模式中引入先验或后验保证,是当前研究的一个活跃且具有前景的领域。所谓的 “大型推理模型” 以及神经符号方法的研究,正是为了应对这一挑战。
形式推理的突破:尽管形式推理在当前不如生成式 AI 技术用于似然推理那样流行,但仍然面临着诸多艰巨的挑战。将机器学习技术与形式推理技术相结合,有望在 AI 安全和透明度等领域取得具有经济和社会价值的突破。
哲学与实践问题:AI 推理面临着从哲学到实践的一系列问题,包括对 “推理” 概念的精确界定、LLM 推理的可信度、符号推理的未来发展、LLMs 或其他生成模型对符号推理的再现或替代程度、符号推理在克服 LLMs 当前局限性中的作用、AI 推理的可解释性、计算机对人类推理的理解和模拟、人机协作推理的作用、LLMs 与符号推理在神经符号推理中的集成,以及实现 AGI 级推理是否需要超越 LLMs 和传统符号推理的突破等。
(5)社区观点
重要性的认同:AAAI 社区高度认可推理在 AI 系统中的重要性。在社区调查中,超过 55% 的受访者选择回答与推理相关的问题,其中 79% 认为推理与他们的研究相关,44.7% 认为 “非常相关”。
推理属性的认知:对于推理过程的属性,77.5% 的调查参与者认为 “知识可以被整合”,72.5% 认为 “可以提供解释”,56.9% 认为 “涉及多个步骤得出结论”。然而,只有 37.4% 认为 “推理结果的正确性有保证”,23.7% 认为 “使用形式系统和求解器”,这反映出当前对非正式、似然推理的关注,可能与生成式 AI 方法的兴起有关。
研究重点的倾向:社区成员普遍认为,聚焦于人类水平推理(41.6% 认为有价值,47% 认为至关重要)和特定领域推理能力(49.6% 认为有价值,42.8% 认为至关重要)的研究非常重要。此外,76.9% 的调查参与者认为学习和推理方法的整合非常重要,71.7% 认为可解释性和可验证性也非常重要。对于达到人类水平推理所需的符号 AI 技术比例,61.8% 的调查参与者估计至少为 50%,但目前尚不清楚 AI 研究人员和从业者是否充分意识到在科学、数学发现、工程应用以及 AI 安全等领域中,形式 AI 推理技术的成功应用需要超人类水平的推理能力。
2、AI 事实性与可信度
(1)核心观点:提升 AI 系统的事实性和可信度是当前 AI 研究的重中之重。事实性要求 AI 系统避免输出错误信息,而可信度涵盖了人类可理解性、鲁棒性和融入人类价值观等多方面。尽管已取得一定进展,但多数科学家对短期内解决这些问题持悲观态度。
(2)历史发展
事实性问题的起源:在生成式 AI 时代之前,AI 系统的事实性问题主要源于训练数据质量不佳,遵循 “垃圾进,垃圾出” 的原则。随着生成式 AI 的兴起,尤其是大型语言模型(LLMs)的出现,事实性问题变得更为复杂。LLMs 采用重构记忆的方式,早期的 LLMs 能够生成连贯但虚构的故事,后来通过在领域数据上进行微调来提高特定领域的事实性。
可信度概念的演进:可信度是一个比事实性更广泛的概念,传统上提高 AI 系统可理解性的方法是用简单易懂的模型(如朴素贝叶斯或广义线性回归)替代复杂的黑箱模型。机器学习领域对鲁棒性的研究,关注模型输出如何随训练数据的微小变化而改变,如对比学习可提高深度神经网络的鲁棒性。
(3)现状与趋势
改进事实性的技术手段:微调仍然是提高生成式 AI 系统事实性的主要方法,现代微调还包括强化学习与人类反馈相结合。检索增强生成(RAG)技术通过检索相关文档来生成答案,提高了事实性,但依赖于检索数据的质量。此外,使用工具进行事实核查、提供规则约束答案空间以及思维链(CoT)等技术也在不断发展。
提高可信度的方法探索:在可信度方面,使神经网络模型更易理解的方法包括将其分解为高级特征识别器并使用可理解模型组合特征、探究概念和规则在训练模型中的表示、运用 CoT 技术解释推理步骤以及将复杂信息转化为简单易懂的表示形式(如决策树)等。同时,通过采用鲁棒损失函数(如对比学习)和对抗训练等方法,可以提高生成式 AI 的鲁棒性。
(4)研究挑战
事实性问题的持续存在:尽管采取了多种方法,事实性问题仍未得到彻底解决。例如,谷歌的 SimpleQA 基准数据集显示,截至 2024 年 12 月,OpenAI 和 Anthropic 的模型正确回答的问题不到一半。数据质量对事实性的影响仍然较大,需要进一步探索提高数据质量的方法。
可信度相关挑战:可信度的定义尚不明确,目前的研究仍在探索如何更好地衡量和提高 AI 系统的可信度。在提高可信度的过程中,需要综合考虑可理解性、鲁棒性和尊重人类价值观等多个方面,确保 AI 系统在不同领域和应用场景中都能可靠运行。
(5)社区观点
研究相关性的认同:AAAI 社区中超过 75% 的受访者强烈认为事实性和可信度与他们自己的研究相关或非常相关,这表明该领域在 AI 研究中的重要地位得到了广泛认可。
改进方法的需求:社区对各种改进事实性和可信度的方法表示支持,其中对新神经网络架构的研究需求最高(73% 认为重要或非常重要),其次是外部事实核查工具(70%)。在可信度方面,新神经网络架构同样被视为最重要的(77% 重要或非常重要),其次是使模型能够描述推理过程(70%)和使用可理解模型代替神经网络(61%)。
其他关注要点:社区认为目前对可信度的定义不够清晰,多数人(59%)认同这一观点。同时,大多数人(约 60%)不同意事实性或可信度问题能很快得到解决。此外,社区还提出了一些未被涵盖的方面,包括理解和呈现问题的不同方面、认识到可信度依赖于领域上下文和用户目标、提高训练数据来源的透明度以及将工作重点放在风险缓解而非完全解决事实性和可信度问题上。
3、AI 智能体
(1)核心观点:多智能体系统从基于规则的自主问题解决实体,逐渐发展到融合生成式 AI 和 LLMs 的合作式 AI 框架,强调协作、协商和伦理对齐。Agentic AI 的兴起带来了灵活决策的新机遇,但也伴随着效率和复杂性方面的挑战。在多智能体环境中,整合合作式 AI 与生成式模型需要平衡适应性、透明度和计算可行性。
(2)历史发展
起源与早期发展:多智能体系统起源于 20 世纪 80 年代末 90 年代初,主要受到 AI 机器人领域(关注集成智能体架构)和分布式 AI 领域(研究多个 AI 系统合作解决问题)的影响。到了 20 世纪 90 年代中期,多智能体系统作为一个新领域正式形成,其核心愿景是让(半)自主 AI 智能体代表用户追求目标,并与其他智能体交互。这一时期,该领域强调智能体的社会技能,如合作、协调、论证和协商,并以博弈论作为主要理论基础。
应用与发展瓶颈:多智能体系统在发展过程中取得了一些成功应用,如安全博弈领域用于分配安全资源、自动化高频交易系统以及在社会技术系统建模中的应用。然而,其实际应用的发展速度并未达到早期预期,个体对话智能体(如 Alexa、Siri 等)虽然取得了一定成果,但多智能体系统研究中智能体之间的交互应用仍有待完善。此外,多智能体强化学习(MARL)虽然成为该领域的重要分支,但目前缺乏明确的统一愿景、方向和应用。
(3)现状与趋势
LLMs 驱动的新发展:2020 年以来,LLMs 的出现引发了人们对智能体的新兴趣。LLMs 可用于自动化常规任务,Agentic AI 将生成式 AI 和 LLMs 集成到自主智能体框架中,以增强动态环境中的交互、创造力和实时决策能力。目前,许多初创公司希望将这类智能体商业化,但多智能体系统在实现复杂协调和长期推理的稳健、自主运行方面仍未完全达到预期。
架构创新与发展方向:当前,将 LLMs 进行智能体化的趋势可能导致架构过于复杂和计算成本过高,而采用多智能体范式开发和使用 LLMs 可能是一种更可持续的方式。此外,从经典认知架构中恢复理念,为自主智能体添加常识技能,以及发展多智能体架构,将 AI 组件构建成模块化系统,以提高透明度、适应性和伦理对齐,成为了新的发展趋势。
(4)研究挑战
智能体融合挑战:研究将 GenAI 驱动的智能体嵌入多智能体系统(MAS)的挑战和益处,重点关注如何在不破坏现有动态的情况下增强协作。
决策与伦理问题:探索 LLM 驱动的智能体在动态多智能体环境中如何改善谈判和决策能力,同时确保伦理对齐和安全。
架构设计难题:开发能够在多智能体环境中集成 LLM 驱动的智能体,同时保持可扩展性、透明度和计算效率的架构。
(5)社区观点
研究相关性与技术应用:调查显示,大多数受访者认为该主题与他们的研究相关,并且对将 LLMs 集成到多智能体系统的兴趣日益浓厚。许多参与者已经在使用 AI 智能体,其中 LLMs 是最常用的技术(29.34%),这凸显了 LLMs 在 AI 驱动应用中的重要作用。
应用潜力与挑战认知:多智能体系统利用 LLMs 在协作问题解决(68.86%)、分布式决策(54.49%)和社会模拟(41.32%)等领域具有潜在应用价值。然而,社区也认识到存在的挑战,包括 LLMs 的通用知识与特定系统需求不匹配(59.88%)、缺乏可解释性(59.28%)和安全风险(50.90%)等,这表明需要采取措施提高可解释性、制定对齐策略和加强安全保障。
多智能体 LLM 范式的争议:对于智能体化 LLMs 的必要性存在争议,51.5% 的人认为多智能体 LLM 范式对可持续 AI 至关重要,而 42.33% 的人则认为这会引入不必要的复杂性。在计算成本效益平衡方面,受访者的观点也存在分歧,反映出在实际应用中需要进一步评估和优化。
综合建议与期望:文本回复强调了多种观点,包括倡导混合方法而非单纯依赖 LLMs,强调需要多样化的 AI 架构,注重模块化和多技术系统。同时,治理、协调和适应性被视为多智能体系统的关键优势,但也存在对复杂性增加、缺乏理论保证和高计算成本的担忧。此外,还需要新的框架来整合符号推理、结构化治理和可扩展架构,以解决实际应用中的问题。
4、AI 评估
(1)核心观点:AI 评估是对 AI 系统性能、可靠性和安全性的全面评估过程。由于 AI 系统具有独特性,其评估面临诸多挑战,远远超出了标准软件验证和确认方法的范畴。当前的评估方法侧重于基准测试,但对其他关键因素关注不足。因此,需要全新的评估方法和思路,以保障 AI 系统在广泛应用中的可信度。
(2)历史发展
评估的复杂性与重要性:AI 系统的评估具有内在复杂性,尤其是那些广泛适用且能在部署后学习的系统。系统级评估通常选取代表性用例,难以做到全面评估。红队测试通过对抗性交互来发现系统与预期行为的偏差,是一种辅助评估方法。随着 AI 技术的快速发展,AI 评估需要综合考虑系统性能的多个维度,而不仅仅是关注能力维度(如产生正确答案或行为),还应包括可用性、透明度、遵守道德准则等方面。
现有评估的局限性:尽管实证方法在 AI 研究中一直发挥着作用,研究人员也开发了大量用于评估单个 AI 算法的指标和方法,但在评估 AI 系统在现实世界中的部署和使用方面,尤其是针对非 AI 专家的使用情况,关注相对较少。此外,AI 系统的通用性、复杂性和动态性使得传统的评估方法难以满足需求,需要探索新的评估思路和方法。
(3)现状与趋势
基准测试主导:目前,评估生成式 AI 系统的实践主要集中在基于大量基准的模型级测试。这些基准旨在衡量 AI 系统的各种能力,如通用能力(如 GLUE、ARC-AGI、MMLU)、特定类型的推理和知识(如 MATH 用于数学、GPQA 用于逻辑、HumanEval 用于编码)。基准测试为评估 AI 系统的能力和不足提供了有价值的见解,并且可以作为评估系统随时间进展的一种原则性方法。
基准测试的不足:基准测试存在一定的局限性。首先,基准具有固有的情境化特征,不一定能很好地推广到新的领域。其次,基准测试在确保 AI 系统在现实世界中的成功部署方面存在不足,因为它对系统在实际使用场景中的预期用法和人类使用方面的关注较少。此外,基准驱动的评估还存在过拟合和测试数据被训练数据污染的问题,这可能导致评估结果的不准确。
(4)研究挑战
构建评估科学体系:需要建立一门 AI 系统评估科学,以提高评估过程的严谨性。这门科学将基于现有的指标和方法,结合新的评估方法,增强对 AI 系统在关键任务场景中部署的信心。同时,审计和可重复性框架对于确保评估结果的可靠性和稳健性至关重要,并且应加强该领域的教育,推广正确的实证方法。
多维度评估挑战:具体而言,需要更好地理解如何长期监测和评估部署的 AI 系统,特别是那些行为会发生变化的系统;开发用于评估 Agentic AI 系统安全性的框架;创建提高机器学习模型透明度的方法;开发直接解决人类与 AI 能力交互的评估方法;理解评估不同维度之间的权衡,如增加透明度是否会导致成本上升,以及遵守规则是否会影响隐私等。
(5)社区观点
对评估现状的担忧:社区调查结果显示,人们对当前 AI 系统评估的实践状况表示严重关切。75% 的受访者同意或强烈同意 “评估 AI 系统缺乏严谨性正在阻碍 AI 研究进展” 这一说法,这表明社区普遍认为需要改进评估方法,以推动 AI 研究的进一步发展。
对部署与评估关系的看法:对于 “组织在没有更有说服力的评估方法之前将不愿意部署 AI 系统” 这一说法,只有 58% 的受访者同意或强烈同意,约 17% 的人不同意或强烈不同意,25% 的人既不同意也不反对。这一结果表明,尽管缺乏严谨的评估可能会影响 AI 应用的部署,但也存在其他因素影响组织的决策。
评估投入与挑战认知:在评估投入方面,90% 的受访者表示在 AI 工作中花费超过 10% 的时间进行评估,30% 的人花费超过 30% 的时间,这表明受访者对评估工作的重视程度较高。在评估面临的挑战方面,缺乏合适的评估方法(40%)、系统的黑箱性质(26%)以及评估所需的成本和时间(18%)是最主要的挑战,这也为社区在改进评估方法时提供了重点方向。
5、AI 伦理与安全
(1)核心观点:AI 的快速发展使伦理和安全风险变得更为紧迫且相互交织,当前缺乏足够的技术和监管机制来有效应对这些问题。新兴威胁如 AI 驱动的网络犯罪和自主武器,以及新 AI 技术带来的伦理影响,都亟待关注。解决 AI 伦理与安全问题需要跨学科合作、持续监督以及明确 AI 开发中的责任划分。
(2)历史发展
伦理与安全意识的觉醒:随着 AI 应用的日益广泛,其对世界的影响愈发显著,AI 研究人员和从业者的决策对社会产生了深远影响。AI 在某些应用场景中可能带来负面影响,如自动驾驶汽车的安全问题、风险评估算法中的不公平歧视以及推荐系统引发的不良信息传播等,这促使社区开始关注 AI 的伦理和安全问题。
社区分化与融合:在 AI 发展历程中,对 AI 伦理和安全的关注逐渐形成了两个社区。一个社区关注 AI 的未来风险,如 AI 可能导致的人类失业、社会崩溃以及失去控制等问题;另一个社区则更侧重于解决 AI 当前带来的危害,如不公平歧视、网络犯罪等。尽管两个社区的关注点有所不同,但在抵制致命自主武器系统等方面找到了共同立场,强调应避免人为分裂,共同应对 AI 带来的各种挑战。
(3)现状与趋势
技术进步带来的新挑战:近年来,大型语言模型等 AI 技术的进步使一些原本属于未来设想的问题提前成为现实。例如,AI 系统的行为引导方式变得更加复杂,当前的对齐方法虽然在尝试解决这一问题,但效果并不理想。与此同时,AI 在网络犯罪、战争等领域的应用引发了更多的安全和伦理问题,如深度伪造技术的滥用、自主武器的出现等,这些问题随着 AI 能力的提升和应用范围的扩大而变得更加严重。
行业组织的积极行动:为了应对这些挑战,国际社会成立了一些组织,如国际安全与伦理人工智能协会(IASEAI)。该组织致力于确保 AI 系统安全、符合伦理地运行,强调围绕 AI 系统行为开展严谨的科学和工程研究的必要性,为推动 AI 伦理与安全的发展提供了新的平台和力量。
(4)研究挑战
资源与合作难题:学术界在 AI 伦理与安全研究中具有重要作用,但由于领先的 AI 模型开发成本高昂,学术界在这方面的资源相对有限。因此,需要思考学术研究人员是否需要更大的计算预算,以及如何通过学术界与产业界的合作来解决资源问题,同时避免利益冲突。
伦理与安全审查的关键问题:确定在 AI 系统开发的哪个阶段进行伦理和安全审查最为合适,是在系统部署前进行评估,还是从设计阶段就融入伦理和安全考量,亦或是在系统部署后进行持续监测。此外,如何形式化验证 AI 系统是否符合伦理和安全要求,以及如何定义 “故障安全 AI”,如何识别 AI 系统可能失控的早期预警信号等,都是亟待解决的问题。
责任分配与设计原则:在 AI 系统通常由多个组件组成的情况下,如何明确各组件开发者的责任,以及能否通过模块化设计来清晰界定每个组件的要求,是确保 AI 系统安全可靠的重要问题。
价值对齐与伦理考量:确保 AI 系统的行为符合人类价值观是一个复杂的问题,需要考虑如何兼顾不同人群的利益,包括未来可能存在的人类的利益。同时,要防止 AI 系统操纵人类利益,以及明确 AI 系统在面对可能威胁人类生存和意义的情况时应如何应对。
伦理审查与教育:AI 研究传统上很少接受伦理审查,需要思考这种情况是否合理。例如,对在整个网络上进行训练的 AI 系统、针对儿童的 AI 系统等是否应该进行伦理审查,以及如何培训 AI 审查人员,使其能够恰当地评估伦理问题和 “影响声明”。此外,如何教育 AI 研究人员和从业者了解伦理和安全问题,也是提升 AI 伦理与安全水平的关键环节。
跨学科研究的挑战:AI 伦理与安全问题涉及多个学科领域,目前跨学科研究存在诸多障碍。需要探讨哪些问题必须通过跨学科研究来解决,例如研究 AI 技术对社会的集体影响是否需要与政策和政治科学进行合作,以及如何营造有利于跨学科研究的环境等。
(5)社区观点
高度重视伦理与安全:调查结果显示,67.5% 的受访者认为 AI 伦理、安全和价值对齐与他们的研究相关或非常相关,这表明社区普遍认识到这些问题对 AI 发展和部署的重要性。
关键伦理问题与资源需求:在众多伦理挑战中,误信息(75%)、隐私(58.75%)和责任(49.38%)是社区最为关注的问题,这凸显了在 AI 系统中提高透明度、可解释性和问责制的紧迫性。同时,57.86% 的受访者表示 AI 伦理研究缺乏足够的资源,呼吁加大对该领域的资金投入和机构支持。
应对策略与协作方式:受访者强调跨学科方法在解决 AI 安全问题中的重要性(85.5%),并认为技术研究(71.88%)、监管(60.62%)和教育(74.38%)是关键策略。尽管平衡短期伦理关注和长期推测性研究存在挑战,但大多数人(55.63%)认为两个社区应加强协调,共同推动 AI 的健康发展。在促进合作方面,联合会议(76.25%)和跨学科教育(64.38%)被视为最有效的解决方案。
其他建议与担忧:社区还提出了一些其他建议,如建立更强的激励机制、明确法律责任、制定可执行的安全标准等,部分人主张让 AI 系统学习价值观而非仅依赖固定规则。然而,也存在一些担忧,如 AI 伦理概念模糊、受政治影响较大,导致现有标准难以有效执行,政治和结构障碍可能阻碍 AI 伦理与安全研究的实质性进展等。
6、具身 AI
(1)核心观点:具身 AI 认为,智能是通过物理身体与真实环境的紧密耦合而产生的,这种耦合对于实现情境智能至关重要。机器人作为具身 AI 的良好研究平台,在推动具身 AI 发展方面具有重要作用。
(2)历史发展
AI 发展范式回顾:AI 发展历史中有基于知识表示和基于神经网络学习的两种范式,而具身 AI 作为第三种范式,强调身体与环境的耦合是实现智能的关键。其理念源于认知科学等领域,体现为 “六个 E”,即 Embodied(具身的)、Embedded(嵌入的)、Enactive(生成的)、Extended(延展的)、Emergent(涌现的)和 Evolving(演化的)。
具身 AI 的起源与实践:具身 AI 的发展受到机器人学的推动,机器人被视为人工目的性具身智能体。以机器人足球比赛(RoboCup)为例,它为具身多智能体实时学习、决策和行动带来了新的实验和理论,体现了具身 AI 在实际场景中的应用探索。
(3)现状与趋势
被动学习的局限与具身优势:当前研究发现,仅通过文本或视频进行被动观察学习的智能体,无法真正学会在现实世界中自主决策和行动,因为它们缺乏现实世界中的常识。而具身智能体能够通过与环境的交互学习因果模型,这是其相对于被动学习智能体的显著优势。
研究热点与方向:目前,具身 AI 的研究重点包括机器人通过强化学习进行大量训练,以及将大语言模型(LLMs)应用于生成机器人计划。此外,通过反转正向概率因果模型来推断机器人与世界交互中的因果关系,也是一个前沿研究方向。
(4)研究挑战
训练与理论难题:目前尚不清楚能否仅通过端到端的训练成功培养具身智能体,也不确定是否需要将 AI 与控制理论进行新的融合来推动该领域的发展。
模型应用挑战:在利用现有预训练语言和视觉模型提升具身认知方面,还存在诸多挑战。同时,开发足够逼真的模拟器和世界模型,以支持在模拟环境中进行全面训练,也是具身 AI 面临的一大难题,因为模拟环境与现实世界之间的差异可能导致模拟训练的效果难以在现实中有效迁移。
形式化验证困境:使用形式化方法证明具身智能体在不违反安全约束的情况下实现目标,目前也面临困难,这对于确保具身 AI 系统的安全性和可靠性至关重要。
(5)社区观点
研究相关性:调查中 31% 的受访者选择回答具身 AI 相关问题,其中 74% 认为该主题与自己的研究相关或非常相关,表明具身 AI 在 AI 研究领域具有一定的关注度和相关性。
关键问题看法:75% 的受访者认同具身对于未来 AI 研究的重要性;72% 认为机器人对于具身 AI 研究有用或必不可少;仅 35% 认为人工进化是实现具身 AI 的有前景的途径;80% 认为从心理学、神经科学或哲学文献中学习具身概念对发展具身 AI 有帮助。这些结果反映出社区对具身 AI 的认知和期望,强调了多学科知识在具身 AI 发展中的重要性,同时也表明对于人工进化在具身 AI 中的应用,社区仍持谨慎态度。
7、AI 与认知科学
(1)核心观点:AI 与认知科学相互关联紧密,AI 从认知科学的多学科研究中汲取灵感,认知科学也借助 AI 研究成果深化对人类认知的理解。加强两者的互动,有助于推动 AI 技术的创新和认知科学理论的发展。
(2)历史发展:AI 是首个基于计算探索智能本质的领域,认知科学受其启发而形成,是多学科融合的产物。早期 AI 的计算理念深刻影响了认知科学,但随着时间推移,两者逐渐走向分离。如今,重新构建两者之间的联系,能让 AI 借鉴认知科学成果提升自身能力,同时也有助于认知科学借助 AI 技术加深对人类和动物认知的理解。
(3)现状与趋势:认知科学领域广泛,AI 与之紧密相关的领域主要集中在以下三个方面:
类人学习和推理:人类在学习和推理方面具有独特优势,如数据高效、能产生可阐述模型等。然而,当前的工业知识图谱和 AI 推理系统在表达能力和推理稳健性上与人类存在差距,无法有效处理不完整和部分错误的领域理论,也难以像人类一样从大量经验中进行推理。
认知架构:认知架构旨在探索认知过程和表示的固定结构,用于构建能实时整合感知、认知和运动控制的 AI 系统,并加深对人类智能的理解。不同的认知架构在探索人类认知的子集和假设粒度上存在差异,目前正探索将基础模型集成到认知架构中,以提升其认知能力。
社会智能体:人类擅长构建协作世界并学习社会规范,而当前 AI 系统在理解和构建社会行为方面与人类存在差距。AI 系统大多通过被动观察学习社会行为,难以像人类一样相互适应和共同构建行为。开发能支持大规模交互式学习、保护隐私并建立有效交互基准的 AI 系统,是当前的研究重点。
(4)研究挑战
类人学习和推理挑战:开发类似人类的数据高效、可产生可阐述模型的学习方法;构建涵盖人类概念结构的形式本体;提升 AI 系统在不完整和部分错误领域理论下的推理能力,并使其能有效利用经验进行推理。
认知架构挑战:拓展认知架构的高级认知能力,实现人类多种认知能力的动态集成;探索基础模型在认知架构中的集成,解决基础模型信息陈旧的问题;开发全面的基准任务集,评估认知架构在模拟人类认知能力方面的表现。
社会智能体挑战:研究支持大规模交互式学习的方法,使 AI 系统能像人类一样参与社会行为;开发保护隐私的社会数据采集算法,在满足法律限制的同时获取有意义的社会数据;建立系统全面的交互基准,准确评估 AI 模型在社会能力方面的表现。
(5)社区观点:参与调查的受访者中,30% 回答了该部分问题。其中,82% 的受访者表示在一定程度上受到认知科学其他领域研究的影响。心理学对他们的研究影响最大(82%),其次是神经科学(44%)、语言学(40%)和人类学(22%),部分受访者还提及哲学等其他领域。此外,受访者还提出了许多与 AI 和认知科学相关的问题,如研究不同思维方式的运作机制等,反映出他们对跨学科研究的关注和期待。
8、硬件与 AI
(1)核心观点:硬件与软件架构的协同设计对人工智能系统至关重要,其目的是提升系统性能和能源效率。在 AI 发展过程中,算法与硬件相互影响,当前大规模模型训练面临能源和吞吐量等挑战,AI 系统在边缘部署也困难重重。为推动 AI 发展,需在硬件设计、算法优化和系统整合等多方面进行创新。
(2)历史发展:AI 的成功部署始终与硬件紧密相连,早期 AI 专用硬件主要用于加速搜索和优化。随着人工神经网络的大规模应用,AI 专用硬件加速器迎来快速发展。当前,硬件 - 软件的协同适应表现为算法依据现有硬件进行选择和扩展,硬件设计则针对当前算法的计算操作进行加速。
(3)现状与趋势
AI 助力硬件设计:芯片布局、电路设计和功能验证从 AI 技术中受益,整数线性规划(ILP)求解器用于自动布线,机器学习技术也逐渐应用于芯片设计领域。
硬件加速 AI 算法:在不同 AI 领域,硬件发挥着重要加速作用。如 Deep Blue 通过专用硬件实现高效搜索;机器人运动规划借助 FPGA、GPU 和 SIMD 指令提升速度;概率方法、数值优化依赖 SIMD 加速线性代数运算;机器学习领域,多种硬件加速器为神经网络 workloads 提供支持,深度学习的发展与硬件紧密相关,特定硬件优化可显著提升性能。
(4)研究挑战
数字表示:当前先进模型在降低数值精度的情况下仍能保持性能,甚至提升吞吐量。未来需进一步研究如何让硬件适应模型优化后的数字表示,以充分发挥硬件性能。
稀疏性:尽管数值求解器利用稀疏性提高矩阵分解效率,但机器学习模型中任意稀疏模式的硬件支持仍面临挑战,开发支持更通用稀疏结构的硬件是未来研究方向。
扩展和系统级约束:训练先进的机器学习模型需要解决诸多系统工程问题,如内存和通信瓶颈、模型和数据并行性、峰值存储吞吐量、能源消耗和热管理等,这些问题限制了模型训练的规模和效率。
边缘部署:随着模型规模和计算复杂度的增加,AI 系统在边缘部署时面临功耗、散热和内存等问题,同时,集成系统中异构组件的资源分配和调度也十分复杂。
AI 辅助系统和硬件设计:AI 算法发展迅速,人类硬件工程师和软件开发者难以跟上其变化速度。利用 AI 技术辅助设计和优化硬件 - 软件协同技术,缩短优化时间,将成为未来研究的核心方向。
(5)社区观点
协同发展的重要性:75% 的受访者认为硬件与 AI 的共同演进 “非常重要” 或 “绝对关键”,61% 的参与者认为算法进步与硬件发展密切相关,这表明社区高度认可硬件与 AI 协同发展的重要性。
硬件无关抽象的需求:57.9% 的受访者支持开发硬件无关抽象,认为这有助于研究人员专注于算法创新,摆脱硬件细节的限制。
硬件使用情况:在模型训练和部署方面,传统平台占据主导地位。80.70% 的受访者在训练时使用 GPU,68.42% 使用 CPU;在部署时,68.42% 使用 CPU 和 GPU。此外,多数 AI 部署在本地用户计算机(71.93%)或云平台(59.65%),在边缘计算优化硬件(19.3%)和移动设备(15.79%)上的部署相对较少。
限制因素:对于训练,内存容量(52.63%)、计算吞吐量(49.12%)、内存吞吐量(35.09%)和功耗(28.07%)是主要限制因素;对于部署,计算吞吐量(47.37%)、内存容量(35.09%)和功耗(24.56%)是关键瓶颈,部分受访者还提到成本是重要限制因素。在整合多个组件时,实时约束(33.33%)、组件间通信(29.82%)和硬件资源竞争管理(24.56%)是主要挑战。
9、AI 解决社会问题
(1)核心观点:AI 解决社会问题(AI4SG)是 AI 研究的重要分支,旨在利用 AI 技术为社会带来可衡量的积极影响,特别是帮助弱势群体和资源匮乏地区。该领域强调通过跨学科合作,开发符合伦理道德且具有可持续性的 AI 解决方案,以应对现实世界的社会挑战。
(2)历史发展
兴起背景:“AI for Social Impact”(AI4SI / AI4SG)作为 AI 的一个独特子学科逐渐兴起,它与传统 AI 研究不同,更侧重于直接的社会影响,致力于解决如贫困、农业、公共卫生和环境保护等长期被 AI 研究忽视的社会问题。
发展契机:2016 年白宫科技政策办公室组织的 “AI for Social Good” 研讨会成为推动该领域发展的重要事件,吸引了众多研究人员的关注。此后,AI 技术的显著进步,如深度学习、自然语言处理和强化学习的发展,以及政府和行业支持的资金项目、研讨会和会议的增多,共同促进了 AI4SG 领域的成长,相关出版物数量也大幅增加,标志着该领域逐渐走向成熟。
(3)现状与趋势
跨学科合作成为常态:由于社会挑战的复杂性,跨学科合作在 AI4SG 工作中日益重要。AI 研究人员与领域专家、当地从业者和政策制定者紧密合作,确保 AI 解决方案既具备技术可行性,又能满足现实社会的需求,且具有长期可持续性。
强调伦理 AI:在 AI4SG 项目中,伦理考量至关重要。项目涉及弱势群体和敏感数据,因此必须从一开始就解决数据收集的偏差、AI 部署的意外后果等问题,确保 AI 系统符合社会价值观,避免造成伤害,以此建立社区对 AI 的信任。
新兴机遇涌现:一是利用基于云的平台进行可扩展的 AI 部署,使 AI 技术能够惠及偏远或资源受限地区;二是在 AI 解决方案中融入可解释性和透明度,这在高风险领域尤为重要,有助于提高从业者和受益者对 AI 系统的接受度和有效使用;三是强调本地化的 AI4SI 解决方案,增强社区对 AI 工具的管理和维护能力,促进长期影响和社区自主;四是利用现有的基础模型加速 AI4SG 应用的开发,减少开发时间和资源成本。
(4)研究挑战
情境相关性设计:设计与社会影响情境紧密相关的 AI 系统是一个重大挑战,需要深入理解目标社区的特定需求、文化敏感性和实际限制。研究人员应超越单纯的算法考虑,采用参与式设计方法,确保 AI 解决方案真正符合现实世界的需求和挑战。
数据问题解决:AI4SG 项目常常面临数据稀缺、质量低或有偏差的问题,这严重影响 AI 模型的性能和公平性。因此,需要开发强大的数据收集策略,运用数据增强和偏差缓解技术,并探索替代数据来源,同时充分考虑数据收集的文化背景,使数据收集方法适应当地实践。
可持续性和可扩展性保障:在资源受限的环境中确保 AI 部署的可持续性和可扩展性是一个复杂的挑战。这需要开发可持续的软件架构、创建用户友好的界面,并为当地利益相关者提供足够的培训和支持。此外,由于许多 AI4SG 项目缺乏商业可行性,资金问题也是一大关注点。
评估框架完善:建立强大的评估框架对于评估 AI 解决方案在实地的影响和建立利益相关者的信任至关重要。这些框架应超越传统的性能指标,纳入社会影响、用户满意度和伦理考量等指标,并确保利益相关者参与评估的各个阶段,同时警惕企业的伦理洗白和绿色洗白行为。
教育与技能提升:目前传统 AI 教育与 AI4SG 所需的技能之间存在差距。标准 AI 课程主要侧重于算法设计和分析,无法让学生具备解决 AI4SG 复杂现实问题的能力。AI4SG 研究需要更广泛的技能,包括与领域专家有效合作、理解社会经济和文化背景以及将技术进步转化为实际的、以用户为中心的干预措施的能力。
(5)社区观点
研究相关性:在 AAAI 社区关于 AI 研究未来的调查中,大量受访者(119 人)参与了 AI 解决社会问题相关问题的讨论,且多数人认为该领域与自己的研究相关或非常相关。
应用障碍认知:受访者认为将 AI 集成到社会影响项目中的主要障碍包括在实地测试解决方案(47.06%)、扩大解决方案规模(38.66%)、与非营利组织或政府组织建立联系(32.77%)、问题定义(36.13%)、评估 AI 准备情况(30.25%)以及商业模式的可持续性(42.86%)。
关键资源与成功指标:“资金” 和 “数据” 被认为是扩大 AI 驱动的社会影响解决方案的极其重要的资源。在衡量 AI 干预措施解决社会挑战的成功指标方面,“改善结果”(47.90%)、“可持续结果”(37.82%)和 “采用率”(48.74%)是最常被提及的指标。
10、AI 与可持续性
AI 在推动可持续发展方面具有潜力,但也面临能源和资源需求等挑战。未来需研究如何设计更节能的 AI 系统,以及如何利用 AI 解决可持续发展问题。
(1)核心观点:AI 在推动可持续发展方面具有巨大潜力,可加速净零能源转型、增强气候适应力等,但 AI 的部署也带来了能源和水资源需求增加等挑战。确保 AI 促进可持续发展,需要在硬件和软件效率提升、创新应用开发以及政策引导等方面做出努力。
(2)历史发展
AI 发展引发的环境关注:AI 技术不断进步,大型语言模型的广泛应用使计算密集型 AI 工具在各行业的使用增多,引发了对其能源和水资源消耗等环境影响的担忧。
AI 用于可持续发展的探索:与此同时,AI 在可持续发展领域展现出潜力,可支持系统变革,如改善环境监测、优化能源系统、加速材料发现等。国际上也开始出现相关举措,推动 AI 发展与可持续发展目标相契合,如国际能源署的 “Energy for AI and AI for Energy” 倡议,以及法国牵头建立的 Coalition for Sustainable AI 等。
(3)现状与趋势
AI 计算的资源需求增长:生成式 AI 的快速扩张显著增加了数据中心的能源和水资源需求,训练大型模型能耗巨大,且推理工作负载在模型生命周期内的累计能源消耗可能远超训练阶段。虽然 AI 相关电力需求目前在全球能源消耗中占比相对较小,但在一些 AI 高密度地区,数据中心能源消耗增长迅速,如欧盟和美国。
可持续 AI 的策略涌现:为提高 AI 的可持续性,出现了多种策略。在硬件效率方面,GPU 计算效率在提升;通过优化硬件分配,可降低整体需求;小型语言模型(SLMs)作为节能替代方案逐渐兴起;冷却创新技术不断发展,如液体冷却和无水冷却;优化数据存储技术,可降低数据中心的电力需求;需求响应和负载转移策略有助于平衡电网,减少碳排放。
AI 在可持续发展中的应用拓展:AI 在可持续发展领域的应用广泛,如在计算可持续性方面,通过优化系统提高效率,减少浪费和排放;在水和气候适应方面,可用于水文预测、灌溉系统优化和灾害预警;在能源优化方面,智能电网利用 AI 进行需求预测、负载平衡和可再生能源整合;在材料科学领域,AI 加速了低碳材料的发现。此外,AI 还可用于教育和赋能可持续发展劳动力,提升决策能力。
(4)研究挑战
数据与建模问题:AI 对可持续发展的影响存在不确定性,主要源于可靠数据的有限可用性和测量 AI 驱动干预实际影响的困难。当前,许多 AI 驱动的解决方案依赖高质量环境和工业数据集,但这些数据集往往存在问题。因此,需要开发更全面的数据集,并加强场景建模,以评估 AI 在不同未来场景下的环境影响,为政策制定提供依据。
设计资源高效的 AI 系统:设计更节能和资源高效的 AI 模型和基础设施至关重要。可通过优化 AI 模型架构、开发专用硬件以及增强 AI 基础设施管理等方式,实现碳感知计算,降低 AI 系统的能源和资源消耗。
拓展 AI 助力可持续发展的解决方案:AI 在解决关键可持续发展问题方面具有巨大潜力,如开发新的电池存储材料、实现大规模二氧化碳去除、优化交通系统等。未来需加强 AI 研究人员与领域专家的合作,开发新的 AI 方法和应用,并整合相关数据集,以推动可持续发展目标的实现。
(5)社区观点:AI 社区对 AI 的环境影响存在不同看法,约 35% 的受访者认为 AI 对气候挑战的潜在积极影响大于其环境危害,另有 35% 持相反观点。在 AI 对可持续性的影响方面,超过 30% 的受访者认为物流、运输和基础设施优化是 AI 最具影响力的领域,70% 以上的受访者认为数据密集型 AI 对全球资源消耗有显著影响,57% 担心 AI 的能源消耗会阻碍 AI 研究进展。此外,近 75% 的受访者认为开发节能训练和推理程序是减少 AI 能源消耗的关键,其次是数据中心能源系统创新和节能芯片创新。
11、AI用于科学发现
(1)核心观点:AI 正以前所未有的方式推动科学发现,加速整个研究周期,从知识提取、假设生成到实验自动化和验证。高度自动化的 AI 系统虽能力有限,但已能在特定任务中实现科学发现的全流程,不过这也带来了伦理、协作和可靠性等方面的新挑战,需要跨学科的共同努力来解决。
(2)历史发展:科学发现长期依赖人类智慧,而 AI 正逐渐成为重塑和加速这一过程的关键工具。早期的 AI 系统,如 20 世纪 60 年代的 DENDRAL 和 EURISKO,分别在有机化学和启发式学习领域进行了自动化尝试,为 AI 在科学研究中的应用奠定了基础。随着技术发展,科学家面临海量数据和复杂系统,AI 用于科学发现的需求日益增长,其应用范围也不断扩大。
(3)现状与趋势
AI 成为科学研究的有力助手和自主研究者:AI 在支持科学发现方面能力显著提升。AlphaFold2 成功解决蛋白质折叠问题,推动了生物医学研究的发展,众多 AI 工具也在化学、材料科学、数学等领域加速科学发现。同时,高度自主的 AI / 机器人系统不断涌现,如 Adam 和 Eve 系统,能够自主进行假设生成、实验设计与执行,展现了 AI 在科学研究中的自主创新能力。
AI 推动科学研究范式变革:AI 融入科学工作流程带来了多方面的变革。它加速了科学发现的进程,通过自动化研究周期,缩短了取得突破的时间;促进了跨学科协作,如 AlphaFold 项目展示了多学科结合的力量;帮助科研人员突破人类直觉的限制,探索更广泛的假设空间;还改变了数据处理方式,强调所有数据对训练 AI 系统的重要性,而非仅关注支持预期结果的数据。
AI 驱动科学研究带来社会和伦理影响:AI 在科学研究中的应用有望改善医疗保健、应对环境和气候变化等,但也引发了伦理问题,如 AI 系统的自主性带来的责任归属、科研成果的归属以及对人类研究人员的潜在替代等,还存在利用 AI 设计和生产有害物质的风险,需要采取相应措施加以防范。
(4)研究挑战
沟通协作障碍:AI 与人类科学家之间的沟通存在问题,因为科学知识的积累和交流多依赖自然语言,具有模糊性、类比性和文化背景性。构建共享的概念知识基础、提高 AI 与人类的协作能力以及增强 AI 对科学文献的理解和沟通能力,是当前面临的重要挑战。
假设空间界定难题:科学研究的问题空间结构和规模不明确,具有高维度和无边界的特点。准确提取和整合知识,并合理界定假设空间的维度和规模,对于 AI 进行有效的科学研究至关重要,但目前这仍是一个难题。
数据质量问题:科学数据常存在噪声、不准确和不可重复的情况,如生物医学研究中部分数据无法有效重复,这可能影响 AI 生成假设的质量和验证过程,对 AI 在科学研究中的应用构成挑战。
(5)社区观点:在社区意见调查中,32% 的受访者认为该领域与自己的研究有些许相关性。他们认为 AI 在生物学(47%)领域的应用最为有用,其次是物理学(14%)和化学(12%),还有 26% 的受访者选择了其他领域。对于 AI 系统能否获得诺贝尔奖这一问题,仅 13% 的受访者认为绝无可能,25% 表示不确定,11% 认为可能在 2020 年代实现,45% 则认为可能在 2050 年代实现。
12、通用人工智能(AGI)
(1)核心观点:追求具有人类水平通用能力的 AGI 一直是 AI 领域的核心目标,尽管对其定义和价值存在争议,但它推动了 AI 的许多重要进展。然而,AGI 的成功实现可能带来社会干扰、风险以及安全挑战,因此在发展过程中需要谨慎对待,平衡发展与风险。
(2)历史发展
早期愿景与探索:AI 自诞生起就致力于探索智能的通用原则,图灵测试、达特茅斯会议等标志性事件,均体现了创造具有通用智能机器的愿景。早期的 AI 研究,如 McCarthy 的 “Programs with Common Sense”、Newell 和 Simon 的 General Problem Solver 等,都朝着这一目标努力,但当时多数研究集中在特定方法和组件,未能有效整合形成通用系统。
概念提出与发展:20 世纪 90 年代,AI 在实际应用中取得一定成果,但在通用智能系统发展上进展缓慢,引发了对 AI 宏大目标的反思。21 世纪初,“人类水平 AI” 和 “AGI” 的概念受到关注,AGI 旨在实现跨越广泛任务的人类认知能力,这一概念激励了新一代研究人员,推动了 AI 研究朝着更宏大的目标发展。同时,围绕 AGI 的讨论涉及到多种相关概念,如强 AI、通用目的 AI 等,也引发了关于其本质、特征以及潜在影响的广泛讨论。
(3)现状与趋势
能力提升与差距并存:过去十年,AI 在多个领域取得显著进展,从语音和图像识别到机器翻译、生成式 AI 等,逐步实现了人类水平甚至超人类水平的能力。然而,当前 AI 系统在推理、规划、泛化能力等方面仍存在明显不足,如在数学任务、空间和几何推理、复杂场景下的规划等方面表现不佳,与人类智能仍有差距。
技术突破与挑战:神经网络模型引入运行时推理机制,提升了推理能力,但也增加了计算成本。尽管 AI 在某些任务上表现出色,但面对新问题和复杂场景时,其表现不稳定,难以达到人类智能的灵活性和通用性。
(4)研究挑战
架构创新需求:标准的 Transformer 架构存在局限性,如固定上下文窗口、缺乏显式记忆等。研究新架构,结合其他模型提升推理和泛化能力,是实现 AGI 的关键方向之一。
规划与推理能力提升:当前 AI 模型在长期规划和层次推理方面存在困难,无法有效分解复杂目标。强化学习等技术虽有进展,但仍需解决风险评估、与人类价值对齐等问题,以增强 AI 的规划和推理能力。
泛化与持续学习难题:LLMs 在泛化能力上存在不足,难以处理训练数据之外的新问题。研究更具表达力的表示形式和持续学习机制,使 AI 能不断从经验中学习,是实现 AGI 的重要挑战。
因果与反事实推理发展:AI 模型在因果推理和反事实推理方面能力较弱,而这对于决策和科学发现至关重要。探索在大语言模型中实现因果推理的方法,是当前研究的重要方向。
价值对齐与安全保障:随着 AI 能力增强,确保其与人类价值对齐、可解释性和安全性成为紧迫问题。需要制定约束和政策,防止 AI 追求与人类不一致的目标,保障人类利益。
具身与交互能力培养:人类智能通过与世界的丰富交互发展,当前多模态模型在理解物理现实和实际交互方面存在不足。通过在丰富环境中训练 AI 模型,增强其具身和交互能力,有助于实现更接近人类水平的智能。
记忆与召回机制完善:AGI 可能需要类似人类的记忆和召回机制,当前 Transformer 模型在这方面存在缺陷。补充外部记忆机制,提升 AI 的记忆和上下文理解能力,是研究的重要内容。
社会影响理解与引导:AI 对社会的影响日益显著,AI 研究社区需要与政策制定者和社会各界合作,积极引导 AI 的发展和应用,确保其符合社会利益。
(5)社区观点
发展与治理的权衡:社区对 AGI 的发展和治理存在不同观点。多数(77%)受访者优先考虑设计风险 - 收益可接受的 AI 系统,而非直接追求 AGI;82% 的受访者认为若 AGI 系统由私人开发,应归公众所有,以应对全球风险和伦理责任。
研究态度与担忧:尽管存在风险,70% 的受访者反对暂停 AGI 研究,倾向于在一定保障措施下继续探索。同时,76% 的受访者认为仅靠扩展当前 AI 方法不太可能实现 AGI,反映出对当前机器学习范式的质疑,强调了探索新方法和创新的必要性。
13、AI 认知与现实
(1)核心观点:在过去 70 年里,AI 创新常常引发过度炒作,当前的生成式 AI 炒作更是让许多人对 AI 能力产生误解。AI 专业人士需要应对这种炒作,帮助人们正确认识 AI 的真实能力和发展潜力。
(2)历史发展
AI 的炒作周期与影响:AI 自 1956 年确立名称并成为计算机科学重要研究领域以来,经历了多次炒作周期。每次炒作泡沫破裂后,都会导致 AI 研究资金减少,出现 “AI 寒冬”。例如,20 世纪 80 年代的 AI 过度炒作引发了 AI 寒冬。
公众认知的变化:2017 年的一项研究表明,自 2009 年起,公众对 AI 的讨论急剧增加,且媒体报道多持乐观态度。人们对 AI 在医疗和教育领域的应用寄予厚望,但同时也对 AI 的失控、伦理问题以及对工作的负面影响表示担忧。
炒作的传播与加剧:近年来,AI 炒作从学术领域蔓延到主流媒体和社交媒体,使得 AI 成为大众熟知的话题。由于 AI 概念宽泛,在日常用语中常被模糊使用,这进一步加剧了炒作,导致公众对 AI 能力产生不切实际的期望。
(3)现状与问题
炒作的现状及误导:目前,生成式 AI 的炒作达到了新高度,许多人对 AI 能力的认知脱离现实。例如,社会科学家基于对 AI(如自动驾驶卡车)过于乐观的预测来制定解决劳动力中断的方案,但实际情况是,自动驾驶卡车并未在预期时间内得到广泛应用。
炒作带来的负面影响:AI 炒作不仅误导了公众对 AI 能力的认知,还可能导致资源错配和社会焦虑。普通民众担心短期内会因 AI 失去工作,而实际上这些担忧可能基于不准确的预测。
(4)研究挑战
平衡与引导的难题:AI 领域的资深从业者面临的挑战,是如何客观和专业地引导公众正确认识 AI。
影响力的困境:在社交媒体和追求流量的环境下,专业意见和学术研究对纠正 AI 过度宣传的作用有限,如何改变这种局面是当前亟待解决的问题。
(5)社区观点
对主题相关性的看法:参与调查的受访者中,36% 选择回答该主题相关问题,其中 72% 认为该主题与自己的研究有些相关、相关或非常相关。
对 AI 能力认知的态度:79% 的受访者不同意 “当前对 AI 能力的认知与 AI 研发的现实相符” 这一观点,表明社区普遍认为当前公众对 AI 能力的认知存在高估。
对炒作影响的判断:90% 的受访者认为 AI 能力认知与现实的差距阻碍了 AI 研究,其中 74% 认为 AI 研究方向受到炒作的驱动,这反映出炒作对 AI 研究资源分配和研究重点的误导。
对应对措施的建议:78% 的受访者支持通过社区主导的倡议来事实核查关于 AI 的言论;74% 赞成组织关于 AI 认知与现实的公开辩论并录制视频公开;59% 认为应建立关于未来 AI 能力预测的数据库并定期验证;87% 支持向公众(包括媒体和风险投资家)宣传 AI 技术和研究领域的多样性;61% 同意开发一种方法来对 AI 技术在多个任务上的成熟度进行年度评级。这些结果表明,社区积极寻求解决 AI 认知与现实差距问题的方法,希望通过多种途径提升公众对 AI 的正确认知。
14、AI 研究方法的多样性
(1)核心观点:鼓励和支持多种 AI 研究范式(包括新旧方法)、跨学科协作以及对社会影响的考量至关重要。当前 AI 研究有聚焦神经网络的趋势,这可能阻碍创新,应积极支持经典非神经网络方法、多种方法融合以及全新范式的研究。
(2)历史发展:AI 领域长期存在不同的研究子社区,分别专注于不同的方法来实现计算机智能,如规划、进化计算、约束满足等,也有基于应用领域划分的,如计算机视觉、自然语言处理等。社区以往通常能包容和鼓励多种研究方法,这种多样性为神经网络的发展奠定了基础。在 “人工智能” 概念提出前,神经网络就已被研究,尽管曾面临低谷,但因其独特优势,最终在 AI 领域取得重要地位,当前基于神经网络的生成式 AI 的繁荣便是例证。
(3)现状与趋势:目前,神经网络方法在 AI 研究中占据主导地位,这使得其他研究方法受到冷落,甚至一些传统方法被认为不再属于 AI 范畴。这种趋势可能导致研究的单一性,不利于 AI 领域的长远发展。长此以往,可能会阻碍创新,因为一些目前不被重视的研究领域或许在未来有巨大的发展潜力,但因缺乏支持而难以取得突破。
(4)研究挑战:未来 AI 的突破可能来自其他领域或多种方法的结合。例如,大语言模型在规划能力上存在不足,可能需要与符号推理系统协作才能产生有效的计划,神经符号方法正朝着这个方向努力; conformal prediction 则致力于将概率推理融入神经网络模型。因此,AI 社区应在关注神经网络的同时,积极支持经典非神经网络方法的研究,如搜索、优化、约束满足和因果推理等,鼓励将神经网络与符号、概率方法相结合,并支持全新范式的探索。可通过举办相关研讨会、提供资金支持等方式,鼓励研究人员从新的视角探索 AI,促进不同方法的交叉融合。
(5)社区观点:参与该主题调查的受访者占总受访者的 57%(共 176 人)。在对主题相关性的认知上,92% 的受访者认为该主题与自己的研究有些相关、相关或非常相关。对于神经网络方法能否单独实现通用人工智能,仅有 16% 的受访者认为可行,其余均持否定态度。在研究资源分配方面,94% 的受访者认为至少 25% 的 AI 研究应致力于将神经网络与其他方法相结合,86% 的受访者认为至少 25% 的研究应投入到纯粹的非神经网络方法中。在关于除神经网络外应重点关注的范式问题上,受访者提出了包括探索大脑是否具有量子特性、重视经典 AI 中关于高级认知的方法、加强跨学科协作并考虑伦理和社会影响等观点。这表明多数受访者认可在 AI 研究中投入一定资源进行非神经网络研究的重要性,但未参与该主题回答的人员观点可能有所不同。
15、超越 AI 研究社区的研究
(1)核心观点:AI 研究不应局限于核心研究社区,需纳入社会科学家、伦理学家、政策制定者等多方面的视角和专业知识,以确保 AI 技术的开发和部署既负责任又符合伦理。同时,要提供 “智能支持” 和工具,促进 AI 研究者与其他领域专家的协作,实现 AI 与社会的和谐发展。
(2)因此,有必要从更广泛的学科领域汲取智慧,形成多学科融合的研究模式。这种转变强调 AI 是一种重塑社会结构、文化规范、经济模型和伦理框架的变革力量,而非仅仅是一种技术工具。
(3)现状与趋势
多学科参与和治理框架发展:社会科学家和伦理学家在 AI 发展中的参与度逐渐提高,他们制定了关于数据处理、隐私保护和 AI 负责任使用的指导方针。同时,像欧盟的 AI Act 这样的治理框架也在积极讨论和制定中,以确保 AI 发展符合人权、正义和社会需求。
AI 在多领域的应用与影响:AI 在医疗、法律、商业等领域的应用越来越广泛,这些应用对 AI 系统的准确性、可解释性和可解释性提出了更高要求,推动了可解释 AI(XAI)和特定应用 AI 算法的研究。
智能支持工具的发展与应用:目前,GitHub、Kaggle 等非 AI 工具被广泛用于促进不同领域间的合作,但人们期待更智能的工具出现,以进一步提升 AI 研究者与其他领域专家的协作效率。
(4)研究挑战
理解社会动态:AI 对人类交互、劳动力市场和社会治理产生了深远影响。为了充分发挥 AI 的潜力,同时避免加剧现有社会差距,需要深入理解自动化、算法决策和 AI 驱动系统对民主、社会正义和平等的影响。
伦理融入 AI 设计:伦理问题必须在 AI 设计的初始阶段就被充分考虑,涵盖隐私、问责制和公平性等多个方面。伦理考量不应局限于技术层面,还应融入不同的文化、哲学和社会因素,使 AI 系统能够适应全球不同的环境和需求。
完善法律和监管框架:AI 的发展对现有的知识产权、责任和人权法规提出了挑战,需要重新评估和完善相关法规。跨学科的合作对于制定能够增加信任、保障公共利益并促进负责任创新的治理模型至关重要。
文化适应和促进多样性:随着 AI 技术在全球范围内的普及,它必须适应不同的社会规范、语言和传统。在 AI 设计和实施过程中考虑文化敏感性,有助于促进包容性和公平获取技术利益。
教育和提高公众意识:AI 的广泛影响要求重新审视教育系统,培养工程师、社会科学家、政策制定者和公众的跨学科 AI 理解能力,以构建一个能够充分理解和有效利用 AI 的社会。
确保环境可持续性:AI 发展的能源需求对环境产生了影响,因此在 AI 研究和应用中,需要考虑如何优化资源分配,推动气候解决方案,同时减少对生态环境的损害。
(5)社区观点:在社区调查中,参与者认为促进 AI 研究的跨学科合作、开发特定应用领域的 AI 解决方案以及增强公众对 AI 影响的理解是最重要的活动。在关键关注领域方面,医疗保健被 88% 的受访者列为首要重点,其次是气候、教育和生物学等领域。在支持跨学科合作的工具方面,用户友好的 AI 开发平台、AI 支持的协作工具和特定领域的 AI 工具获得了较高的认可度。此外,社区还强调了教育支持、激励跨学科工作、组建跨学科研究小组和为长期项目提供可持续资金等措施对于促进跨学科合作的重要性。这表明社区对跨学科研究的强烈兴趣和对增强跨学科合作支持的迫切需求。
16、学术界的作用
(1)核心观点:当前 AI 研究的重心已向私营部门转移,大学在资源、人才竞争等方面难以与大型科技公司抗衡,面临着师资流失、学生就业选择偏向等问题。在此背景下,学术界需要重新定位自身角色,明确在 “大 AI” 时代的研究方向,探索与产业界的合作模式,以发挥独特价值。
(2)历史发展:在 AI 发展的大部分历史时期,学术界是推动其进步的主要力量。许多 AI 领域的关键概念和技术,无论是符号 AI 还是神经 AI,都源自学术界,图灵奖获得者大多来自高校。但近十年来,情况发生了显著变化,以生成式 AI 为代表的前沿研究主要在私营部门开展,大型科技公司凭借丰富的数据、强大的计算资源和高额薪酬吸引了大量 AI 人才。
(3)现状与趋势
人才流失与招聘难题:对 AI 研究人才的高需求导致大学 AI 人才大量流向私营部门,顶尖高校也难以提供与大型科技公司相媲美的薪酬和研究资源。这使得大学 AI 研究团队实力被削弱,许多教师处于长期休假或兼职状态,与传统大学业务脱节。同时,AI 专业的博士毕业生更倾向于直接进入私营企业,大学招聘 AI 教师变得极为困难。
研究范式转变与教育压力:AI 研究范式从传统的科学研究模式(基于数学的定义 - 引理 - 定理 - 证明)转变为以工程为主导的深度学习模式。这种转变使得大学对 AI 课程和计算课程的需求激增,给相关院系带来巨大教学压力,教师们在应对教学需求时面临诸多困难,部分甚至出现心理健康问题。
研究能力受限与资源困境:由于缺乏资源,大学难以开展与大型私营部门 AI 实验室相竞争的研究。例如,Meta 构建最新 GPT 类模型的高昂成本远超大多数大学的承受能力。此外,开源模型的发展虽带来一定机遇,但也伴随着隐私和安全等新挑战。
目标差异与成果共享问题:私营部门和大学在 AI 研究目标上存在差异。私营部门以盈利为主要驱动,其研究成果可能不对外公开或难以复现;而大学更注重通过研究和教育为社会做贡献。这种差异可能导致学术研究与产业发展的脱节,影响知识的传播和创新的可持续性。
(4)研究挑战
定位与战略调整:大学需要思考如何在 “大 AI” 时代找准自身定位,制定适应新时代的研究战略,明确未来的 AI 研究方向,以保持在 AI 领域的影响力。
人才战略制定:面对人才流失和招聘难题,大学需制定有效的人才战略,包括提高薪酬待遇、改善研究资源条件、提供联合任命等方式,吸引和留住 AI 人才。
合作模式探索:如何与大型科技公司开展有效的合作,实现资源共享、优势互补,同时避免利益冲突,是大学需要解决的重要问题。这需要双方在合作机制、知识产权归属等方面达成共识。
(5)社区观点:约 75% 的受访者认同大学在 AI 人才招聘方面存在困难,80% 认为大学在开展资源密集型 AI 研究时面临挑战。在吸引人才的方式上,提供更好的薪酬、投资更好的计算资源、提供联合任命和其他福利等被认为是可行的途径。对于大学是否需要重新调整研究重点,虽然意见尚未完全统一,但聚焦理论 AI 和多学科 AI 被认为是大学具有竞争力的研究方向。此外,70% 的受访者支持公共部门为大规模计算提供资金,且绝大多数人认为学术界对未来 AI 研究具有重要意义。
17、AI 的地缘政治方面及影响
(1)核心观点:AI 的兴起深刻影响了全球权力动态和各国投资 priorities,成为地缘政治竞争的重要领域。在国际层面,AI 的投资、协调、最佳实践推广和监管呈现国际化趋势,但同时各国在 AI 发展和监管上的差异也引发了诸多矛盾,需要建立国际统一的治理框架来应对这些挑战。
(2)历史发展
AI 成为战略重点:AI 已从单纯的研究和技术领域转变为全球经济和安全战略的关键要素,各国纷纷将其纳入国家发展战略,如美国、中国、俄罗斯和欧盟等都制定了相关政策推动 AI 发展。
各国政策举措:美国发布了多个关于 AI 的行政命令,从强调安全和人权到追求全球领导地位;欧盟通过 AI Act 对 AI 系统进行分类监管;中国将 AI 视为重大战略机遇并出台相关法规;俄罗斯也在积极推动 AI 发展并更新相关政策。
国际协调努力:国际社会逐渐意识到 AI 治理需要国际协调,相关组织和会议不断涌现,如 OECD、UN、GPAI 等倡导全球治理原则,英国、韩国、法国等国举办的 AI 峰会促进了国际间的对话与合作,但在协调过程中,各国利益和监管方式的差异导致了分歧。
(3)现状与趋势
权力与安全影响:AI 在国家和地区权力竞争中愈发关键,影响着贸易政策、军事战略和外交关系。同时,AI 驱动的监控和数据收集改变了全球治理模式,引发了对隐私和公民自由的担忧。
监管格局分化:全球 AI 监管格局分散,各国治理方式差异大。欧盟通过 AI Act 推进监管,美国政策在不同政府间摇摆,这种差异影响了国际合作的效果。
国际合作动态:尽管缺乏具有约束力的国际协议,但各国政府、企业和非政府组织通过一系列努力进行协调,如针对 AI 驱动的虚假信息和生物安全挑战制定标准和原则。
关键争议问题:开放与专有 AI 模型的争议持续,涉及可及性、偏见、数据透明度和滥用风险等问题。此外,地缘政治紧张局势加剧,如美国对半导体出口的限制,影响了全球供应链和技术发展平衡。
伦理与社会挑战:AI 在关键领域的决策应用引发了对偏见、歧视和社会不平等的担忧,自主武器的发展也对国际安全和战争规范构成挑战,需要在创新与伦理保障之间寻求平衡。
(4)研究挑战
治理模型构建:需要构建国际统一的 AI 治理框架、条约、规范和实践,协调各国监管差异,重点关注人权、知识产权、武器系统和虚假信息等领域的治理。
强化执行机制:研究如何增强国际组织在 AI 治理中的执行能力,确保各国遵守国际合作规则,提高 AI 治理的有效性和问责性。
应对地缘政治风险:包括研究如何应对 AI 驱动的虚假信息、监测和缓解 AI 供应链风险、优化算法以预测贸易政策影响、提升 AI 在网络安全和国防中的应用、加强生物安全领域的 AI 监管以及规范自主武器的发展和使用等。
推动伦理发展:构建跨学科框架,平衡国家利益、企业激励和全球公平,研究技术解决方案的风险,克服地缘政治分歧,加强全球 AI 协议的可执行性,确保 AI 发展符合伦理道德。
(5)社区观点:调查结果显示,AI 社区对 AI 治理、安全、经济变化和伦理问题高度关注。多数受访者(49.47%)认为 AI 科学家应参与政策讨论,对国际治理机制如联合国(53.68%)和双边协议(63.16%)表示支持。军事 AI 应用的伦理问题引发担忧,超 40% 的受访者支持在公共数据使用、武器部署限制和隐私法规方面达成国际协议,强调需要具体可执行的协议而非象征性声明。
来源:www.tbtguide.com