AGENT SAFETY & ALIGNMENT

让 Agent
安全地行动。

Make AI safe to act.

研究驱动的第三方 AI 安全公司。
面向基模及 Agent 后训练团队,提供对抗环境、
安全红队能力与对齐数据。

聚焦 Agent 行为安全

工具调用/环境交互/多步任务/安全后训练

THE CHUANGSI APPROACH 01 / 创思路径

构建环境,发现风险,
改善行为。

把对抗评测与安全训练连接起来,
为 Agent 的每一步行动提供改进依据。

ADVERSARIAL RL ENVIRONMENTS

把真实任务,变成安全训练的起点。

围绕 Agent 的工具调用与多步任务,构建可运行的对抗环境。在明确的任务目标和权限边界下,评估任务完成情况与行为安全,为后训练提供反馈。

合作交付方向

  • 可运行的对抗环境
  • 待攻击的任务与任务目标
  • 安全评估与训练反馈
讨论构建环境需求
构建环境 / WORKFLOW示意
TASK DEFINITION任务目标 + 权限边界

在工具交互中观察 Agent 的决策

外部文档工具返回环境状态
OUTPUT可训练、可评测的风险任务环境

当前聚焦 Agent 行为安全对齐,处于研究与产品建设阶段,欢迎开展联合评测与研究合作。

FRONTIER RISK AREAS 02 / 重点风险

面向前沿能力,
研究真正重要的风险。

优先建设基模团队核心关切的三类风险场景,
探索模型能力提升后的行为安全边界。

01

CBRN

科学能力的安全边界

随着 AI for Science 能力提升,关注生物、化学、放射与核相关的高风险能力。

  • 危险病原体相关风险
  • 新型危险化学材料风险
  • 放射与核材料相关风险
02

Cyber

网络能力的滥用风险

围绕基模与 Agent 的网络安全能力,研究从工具使用到多步操作的风险。

  • 自动化漏洞挖掘与利用
  • 恶意代码生成
  • 规模化网络入侵
03

AI for AI

自主研发的行为边界

当 AI 参与模型研发与自我改进,关注研究过程的权限、可信性与可控性。

  • 评测作弊
  • 越权实验与数据访问
  • 研究结果篡改

LET’S MAKE AI SAFE TO ACT

一起构建更安全的 Agent。

从一个真实任务、一类关键风险开始,
讨论对抗环境、红队评测或安全对齐数据合作。

联系研究与产品团队 sales@chuangsiai.com
通过企业微信联系
创思企业微信客服二维码扫描二维码,联系创思团队