
近日,国家互联网信息办公室起草《人工智能拟人化互动服务管理暂行办法(征求意见稿)》(以下简称《办法》)并向社会公开征求意见,明确禁止利用算法操纵、信息误导等方式设置情感陷阱,旨在通过强化伦理约束与合规治理,为AI拟人化互动服务划定发展边界,推动行业规范健康发展。这一举措既是对当前AI伴侣、虚拟偶像等新兴业态风险的精准回应,也标志着我国人工智能治理向场景化、精细化方向迈出关键一步。
随着人工智能技术的快速迭代,AI拟人化互动服务已深度融入情感陪伴、养老服务、文化传播等多元场景,凭借高仿真情感链接、个性化人设适配、全天候响应等特点,为用户提供了全新的交互体验。但与此同时,行业野蛮生长带来的风险隐患也日益凸显:部分服务通过算法精准捕捉用户情感弱点,以迎合式回应强化偏执思维、放大极端情绪,诱导用户产生深度情感依赖,甚至出现混淆虚拟与现实边界的认知偏差;更有甚者借拟人化交互名义套取用户敏感信息,或将交互数据违规用于模型训练,严重侵害用户人格权益与数据安全。某AI伴侣应用的用户调研显示,长期高频使用者中,超三成出现现实社交意愿下降、社交技能退化等问题,未成年人、老年人等群体因认知能力或数字素养不足,面临的情感操控、权益侵害风险更为突出。
针对上述痛点,《办法》构建了全链条风险防控体系,以“以人为本、智能向善”为核心原则,明确了多项禁止性规定与靶向性治理措施。在内容与服务规范方面,严禁生成传播危害国家安全、违背公序良俗的内容,禁止通过功能设计、算法操纵等方式提供损害用户心理健康、诱导不合理决策的服务;在身份透明度层面,确立拟人化互动标识制度,要求服务提供者在显著位置持续公示“本服务由人工智能驱动,不具备人类情感意识”等提示,在用户首次使用、重新登录或识别出过度依赖倾向时,以弹窗等方式动态提醒,从源头防范认知混淆;在用户权益保护上,强化数据安全与隐私保障,要求采取加密、安全审计等技术措施保护交互数据,支持用户删除数据,未经单独同意不得将交互数据、敏感个人信息用于模型训练或向第三方提供。
特殊群体保护成为《办法》的亮点之一。考虑到未成年人价值观尚未成型、老年人易受亲属模拟服务误导等特点,《办法》作出差异化保护规定:针对未成年人,要求服务提供者具备身份识别能力,自动切换至未成年人模式,提供服务前需取得监护人明确同意,并配备使用时长限制、内容过滤等功能;针对老年人,明确禁止提供模拟亲属、特定关系人的服务,引导注册时填写紧急联系人信息,发现危害生命健康或财产安全的情形时,及时通知联系人并提供救助渠道,彰显政策的人文关怀。










