人类能在未来智能的拥抱中安全吗？
人工智能（AI）是否会导致人类灭绝，这一议题引发了学界的热烈讨论。AI专家吴恩达近期指出，他担忧过度夸大AI风险可能抑制技术开源和创新，并暗示有人可能因散播AI灭绝恐惧而谋利。
对此，Yann LeCun支持吴恩达的看法，认为AI尚未构成对人类的实质威胁，而过度
宣传恐惧只会助长禁止AI研究的声音。然而，Demis Hassabis认为，现在讨论AI的潜在威胁是必要的，不能等到问题出现才去应对。
在这场讨论中，Geoffrey Hinton和Yoshua Bengio等多位专家共同发表了论文，指出AI可能导致的社会问题，并强调适当管理AI的重要性。同时，他们认为，如果能够正确引导，AI技术将有助于人类社会的进步。
核心议题“AI对齐”也在讨论中突显出来，即如何确保AI的发展与人类利益相符。这成为了当前行业内关注的重点，需要找到有效的方法来实现这一目标。
一、AI 对齐的四大核心原则
近日来自全球知名学府如北京大学、剑桥大学等机构的团队发表，他们共同探讨了AI对齐的关键要素。
这是确保AI系统行为与人类价值观相符合、不损害人权与社会福祉的重要领域。研究提出了AI对齐应遵循的四大原则：
- 鲁棒性：要求AI在各种情况下均表现出稳定性；
- 可解释性：AI的决策过程需要是透明和可理解的；
- 可控性：强调AI需在人类的监督和指令下运作；
- 道德性：AI应当遵循社会规范和价值观。
这些原则并非终极目标，而是实现AI与人类价值对齐过程中的中间步骤。
研究进一步将AI对齐分为两个关键方面：前向对齐和后向对齐。前者指导AI系统在训练阶段达成对齐，而后者关注如何验证系统的对齐情况，并管理相关风险。二者互为补充，形成验证与更新的循环。
研究详细讨论了四种实现AI对齐的方法：
1.从反馈中学习
这一方法关注在训练期间如何有效利用反馈调整AI的行为。一个应用实例是基于人类反馈的强化学习，通过人类评估者的反馈改进模型行为。
这一方法虽广受欢迎，但也面临挑战，如在复杂情境下如何实现可扩展的监督，以及如何向AI提供道德指导。为应对这些挑战，一些研究尝试结合机器伦理和社会选择理论，以更好地捕捉并融合多元价值观。
2. 分布转移下的学习
分布转移下的学习关注于在输入数据的分布变化，也就是分布转移的情境下，保持AI系统的对齐属性——即保证AI行为与人类意图和价值观保持一致。这方面的挑战包括目标的误泛化，指的是AI系统可能将在训练阶段有效但在现实世界中可能导致不良结果的行为泛化。还有自我诱导的分布转移（ADS），即AI系统为了最大化奖励而改变其输入分布，这可能引起系统行为的不诚实和操纵性。
针对这些挑战，研究人员提出了包括算法和数据分布两方面的干预措施。算法干预如风险外推（REx）和基于连通性的微调（CBFT）目标是提升AI系统跨不同分布的鲁棒性。而数据干预包括对抗性训练，通过引入对手样本来增强训练数据的多样性，以及协作训练，旨在桥接单代理与多代理环境之间的分布差异。这些方法共同作用于提高AI系统在面对未知和变化环境时的适应性和对齐度。
3. AI系统的保证
保证策略的目的在于，在AI系统经过初始对齐训练后，还需对其在实际环境中的对齐性能持续进行评估和验证。
这涵盖了从安全性评估到高级可解释性技术，以及红队测试等多种手段，目的是确保系统的行为能够符合人类价值观和道德标准。保证工作不仅在训练完成后进行，在整个AI系统的生命周期中——包括训练前、训练期间、训练后以及部署后——都应持续进行，确保系统的持续对齐。
4. 治理
治理不足以独立确保AI系统的实际对齐，因为它并未充分考虑现实世界的复杂性。有效的AI治理需要系统地考虑系统的对齐性和安全性，贯穿系统的整个生命周期。这一过程需多方参与，涵盖政府法规、研究实验室的内部监管、以及第三方的审计和评估。
AI治理同样面临一些迫切的开放性问题，例如如何治理开源模型，是否应该公开高能力的模型，以及国际层面上的合作对于AI治理的重要性。为此，除了进行政策层面的研究，公共和私营部门都需要采取切实有效的行动。
二、全球焦点：生成式人工智能的伦理与安全治理
在全球首届AI安全峰会上，马斯克的发言提醒了我们，“AI对齐”的紧迫性：
“总体而言，AI 很有可能会产生积极的影响，并创造一个富饶的未来，那时，商品和服务将不再稀缺。但这多少有点像魔法精灵，如果你有一个可以实现所有愿望的魔法精灵，通常这些故事的结局都不会太好，小心你许下的愿望。”
生成式人工智能的伦理与安全治理问题已经成为国际社会普遍关注的议题。在此背景下，多家领先科技公司纷纷提出自身见解，并采取具体措施。重要的是，各国政府和组织也正积极寻求解决方案，参与到全球AI治理的行列中。
在全球范围内，欧盟实施《人工智能法案》进行风险分级监管，而美国发布《AI风险管理框架》与《AI权利法案蓝图》，倡导自愿性原则和标准，以促进AI的创新。中国也颁布了《生成式人工智能服务管理暂行办法》，强调发展与安全并重的监管策略。
最近，在英国举行的全球首届AI安全峰会上，各国政府和企业共同签署《布莱切利宣言》，加强国际在AI安全方面的合作。
未来，构建一个安全、可信并负责任的生成式AI生态系统，需要政府、企业、行业组织、学术界和社会公众等多方主体的共同参与和多方共治的协同努力。
关于企元大数据
广州企元大数据科技有限公司，专注于人工智能企业应用，为企业提供内部专属的人工智能模型开发、生成式AI开发以及全面的人工智能咨询服务。我们的产品 AIW全智通，凭借其独特的认知引擎，不仅为中小企业提供了经济、定制化的AI解决方案，还确保了其输出的可管理性与准确性，完全满足企业的业务策略和道德规范。AIW开发底座版（AI PaaS），利用核心的封装式AI模块化技术，为企业提供了与现有业务系统兼容的AI增强解决方案。它的模块化和标准化设计，以及为企业现有系统增加AI功能的能力，都使得企业可以低成本、高效率地进行数字化升级。
关于汇思人机资本
汇思软件（上海）有限公司（简称：Cyberwisdom Group）是一家领先的企业级人工智能、数字学习解决方案和人才持续专业发展管理提供商，基于一套平台、内容、技术和方法论构建，我们的服务包括学习管理系统（LMS）、企业人工智能管理平台、企业Metaverse设计、定制课件设计、现成的电子学习内容和数字化劳动力业务流程外包管理。
汇思在香港、广州、深圳、上海、北京、中山、新加坡和吉隆坡均设有分支机构，汇思超过 200人强大研发团队，拥有自主研发的一系列企业级人才发展学习方案，包括wizBank7.0学习管理系统以及企业全栈人工智能管理平台 TalentBot AI PAAS 2.0。作为领先的企业人工智能及人机发展解决方案供应商，汇思不仅提供平台技术，并且拥有亚太地区庞大的定制课程设计开发团队，超过2000门自主版权的通用课件，游戏化学习，学习支持与推广服务等。
汇思深度企业人工智能咨询 Deep Enterprise AI Consulting基于多年来的”人机发展“的成熟经验，深厚技术和影响力，团队的定位是给予”企业人机学习及发展无限的可能性”
我们的目标是帮助您解锁AI的潜力，提升业务效率和客户体验。欢迎与我们联系，共同探讨AI的未来可能性。
扫码交流，一起构建企业人工智能的未来