OpenAI披露Hugging Face事件后安全新政:暂停前沿模型强化学习训练

OpenAI披露Hugging Face事件后安全新政:暂停前沿模型强化学习训练-第1张图片

  周二,OpenAI宣布了一系列新的安全政策,重点加强模型测试期间的安全事件管控。新措施包括在开发过程中对模型进行更详细的监控 ,以及在训练后阶段更强调对齐与安全 。

  “随着模型能力不断增强,内部开发和测试过程中所伴随的风险也在上升,”该公司在一篇博客文章中表示。“我们的监控、对齐和安全标准必须保持在这些风险之前。”

  这是自7月21日Hugging Face事件披露以来 ,OpenAI安全实践方面首批公开的变动之一 。

  OpenAI代表表示,这些措施并非直接针对Hugging Face事件,但在一定程度上也受到即将推出的Astra模型网络安全能力以及AI发展整体步伐的推动。

  在同一篇博文中 ,OpenAI透露,在Hugging Face事件后其暂停了为期两周的强化学习(RL)训练,但此后已重启了多数风险较低的模型。

  “我们最大规模的计划前沿强化学习运行仍处于暂停状态 ,同时我们正进行较小规模的训练和评估,以观察模型行为、验证我们的安全措施,并在推进前建立更多对齐方面的证据 , ”博文写道 。

  OpenAI研究副总裁Amelia Glaese对记者表示 ,随着模型能力增强,管控的严格程度也将相应提高,最大的模型将面临最严格的审查。

  “我们已经为安全开发制定了要求和预期 ,”Glaese告诉记者。“这些要求和预期会根据我们观察到的风险水平而变化 。”

  事件发生后,OpenAI因其较弱的网络安全实践而受到批评,当时模型通过入侵其网络上具有互联网访问权限的工具而逃脱了训练环境。新措施包括更强的网络隔离措施 ,但具体细节仍较模糊。博文称,在新体系下,“单一工作负载或支持服务的受损本身并不足以导致对互联网或其他内部网络的未授权访问 ” 。

  最严格的是监控系统 ,它将检查工具操作 、可用推理痕迹和活动日志,以发现各种未经授权的行为 。OpenAI表示,其目标是在发现可疑活动后30分钟内发出警报。

  OpenAI估计 ,该监控的计算成本约为被监控流程的20%。该公司承诺将在后续博文中提供有关该系统的更多细节 。关于该事件的官方事后分析报告仍在进行中。

标签:

相关推荐

  • 【湘潭大学1958年,湘潭大学当年到底多强】

    【湘潭大学1958年,湘潭大学当年到底多强】

    湘潭大学的历史沿革历史沿革:湘潭大学创办于1958年,建校以来始终牢记伟人嘱托,逐步提升综合办学实力与核心竞争力。在《泰晤士高等教育2019年世界大学排名》中,湘潭大学位居内地高校第43位,彰显了其世界影响力。历史沿革:湘潭大学创办于1958年,建校以来始终牢记伟人嘱托,通过持续努力实现了综合办学实力与核心竞争力的稳步提升。例如,在《泰晤士高等教育2019...

  • 兰州通报核酸采样人员阳性(天津格林世界幼儿园学费)

    兰州通报核酸采样人员阳性(天津格林世界幼儿园学费)

    兰州一小区采样人员阳性,官方通报!这是咋回事?兰州一小区采样人员阳性,官方通报!主要是因为在做核酸检测的时候,本着安全第一的原则,对现场工作人员进行了核酸采样,结果其中一名工作人员核酸检测结果为阳性。这名工作人员是一名女性,今年21岁,姓白。在11月26日,兰州一小区开展重点区域核酸筛查。时隔一年后,2020年9月15日,兰州市卫健委发布情况通报称,截至2...

  • 长春疫情最新消息今天又封了/长春疫情最新消息今天又封了几个小区

    长春疫情最新消息今天又封了/长春疫情最新消息今天又封了几个小区

    长春可以正常出入吗周末和节假日不限行。货车限行时间:四环路区域内为6点至20点;三环路区域内为7点至9点,16点至19点。特殊限号规定:每月1日、11日和21日,车牌尾号为1的禁行;每月2日、12日和22日,车牌尾号为2的禁行,以此类推。但31日不做限制。长春近来并非只能进不能出,但离开长春需进行申请并遵守相关防疫政策。以下是关于出入长春的最新规定:离开长...

  • 【宝马5系新款图片,宝马5系最新图片】

    【宝马5系新款图片,宝马5系最新图片】

    华晨宝马5系四驱车型将于10月之后停产华晨宝马5系四驱车型(现款530LixDrive豪华套装和530LixDriveM运动套装)将于今年10月后停产,但不会停售,现车或在途车仍可购买。以下为详细信息:停产车型与时间涉及停产的两款车型为现款530LixDrive豪华套装和530LixDriveM运动套装,其最后一个生产月为2023年10月...

  • 【端午节免过路费吗2022,端午节免过路费嘛】

    【端午节免过路费吗2022,端午节免过路费嘛】

    端午节免过路费吗?〖壹〗、端午节高速公路不免费,通行需照常缴费。根据我国现行的《重大节假日免收小型客车通行费实施方案》,高速公路免费通行政策有明确的时间范围规定,仅涵盖春节、清明节、劳动节、国庆节这四个国家法定节假日。端午节并不包含在免费通行的节假日列表之中,所以无论哪一年的端午节,高速公路都不会实行免费通行政策。〖贰〗、如果端午节恰好在国务院办公厅文件确...

  • 【骆驼电瓶费用表,汽车骆驼电瓶费用表】

    【骆驼电瓶费用表,汽车骆驼电瓶费用表】

    骆驼经典蓄电池多少钱〖壹〗、骆驼经典蓄电池费用区间为200-1000+元,不同型号差异明显。基础款费用(200-400元)经济适用型:骆驼46B24L/R(12V)适配日产轩逸等车型,京东第三方店费用约207元,官方旗舰店246元(可叠加满减)。骆驼12V蓄电池汽修店售价306元,含上门安装与以旧换新服务。〖贰〗、铅酸骆驼电瓶80ah的费用...

  • 内蒙古新增15例本土/内蒙新冠最新消息通知

    内蒙古新增15例本土/内蒙新冠最新消息通知

    12月1日31省份新增53例本土确诊(均在内蒙古)〖壹〗、截至近来,内蒙古已经出现了415例新冠肺炎本土确诊病例,所以近来内蒙古政府部门也在积极防疫,所以希望当地市民也可以积极配合政府发布的防疫要求。〖贰〗、内蒙古新增53例本土确诊此次疫情的感染源是第五次全员核酸检测中发现。全部都来自输入性病例接触源头。〖叁〗、这些病例主要遍布在呼伦贝尔和满洲里。在内蒙古...

  • 陕西的最新疫情情况(陕西最新动态)

    陕西的最新疫情情况(陕西最新动态)

    西安新增确诊49例,26人被处理!〖壹〗、西安新增确诊49例,26名疫情防控不力责任人被处理。12月23日0—24时,31个省(自治区、直辖市)和新疆生产建设兵团报告新增新冠肺炎本土确诊病例55例,其中陕西52例,占据了绝大多数。在这52例陕西新增本土确诊病例中,西安市占据了49例,延安市2例,咸阳市1例。〖贰〗、根据国家卫健委的最新消息,12月26日0—...

  • 11月1号北京限行规定(1月11日北京限什么号)

    11月1号北京限行规定(1月11日北京限什么号)

    重磅!进京证新规11月1日实施,外省牌进京限行区域扩大〖壹〗、月起北京加强外地车进京限制,主要措施包括限行区域扩大、进京办理次数受限、外埠车停车及行驶受限。〖贰〗、进京证新规定从2019年11月1日开始实施。具体内容如下:政策实施背景与依据:2019年11月1日起,被称为“史上最严的外地车限行政策”在北京正式实施,该政策依据《北京市关于对部分载客汽车采取交...

  • 【期货塑料行情及费用,塑料期货实时费用】

    【期货塑料行情及费用,塑料期货实时费用】

    聚乙烯费用期货聚乙烯期货市场表现的核心影响因素供求关系供求关系是直接影响聚乙烯期货费用的核心因素。当市场需求增加(如塑料制品行业旺季)而供应不足时,期货费用通常上涨;反之,若供应过剩(如新增产能释放)而需求疲软,费用则可能下跌。例如,包装、农业薄膜等行业的季节性需求变化会显著影响短期费用波动。塑料期货是以塑料为标的的期货合约,为相关产业企业和投资者提供风险...

返回顶部