从技术中立到刑事归责:与青年研究者讨论AI开发者的责任边界

  • 邵诗巍律师认为,技术中立不能免除AI开发者的刑事责任,当明知或放任技术用于违法时,法院不会因创新属性降低追诉标准。
  • 其主张开发者编写提示词、下调安全阈值不等于传统“制作、复制”淫秽物品,需结合商业定位、技术设置和事后处置判断。
总结

前段时间,中南财经政法大学法学院葛同学与我联系,就人工智能相关刑事法律问题进行交流。

葛同学和同学们正在围绕“利用人工智能制作、传播、贩卖淫秽物品犯罪”开展实证研究。

在研究过程中,她们也阅读了我此前围绕全国首例AI开发者涉黄获刑案(以下简称“AC案”)撰写的两篇文章,并结合研究中的一些思考与疑问,来函提出了七个问题,希望进一步交流。

这些问题从AI生成内容与传统“制作、复制”行为的区别谈起,延伸至刑法上的因果关系、主观故意、牟利目的、共同犯罪责任划分,以及司法裁判趋势与企业刑事合规等方面。

虽然讨论涉及不同的刑法问题,但背后都有一个值得进一步思考的问题:当生成式AI改变了内容的生产方式,传统刑法中的行为认定和责任归属标准,应当如何适用于新的技术场景?

征得葛同学和同学们同意后,我将这次交流整理发布。以下七个研究问题基本保留来函原貌,回应部分则主要结合我在新经济领域刑事案件中的实务观察与思考展开。

I 本文作者:邵诗巍律师

1

研究问题一|AI实时生成内容与传统“制作、复制”行为的刑法评价有何不同?

在刑法评价层面,传统淫秽物品的“制作、复制”行为与AI实时生成内容,二者本质区别在于行为人对违法内容产出结果的控制程度。传统制作、复制行为中,行为人直接手动制作、复制淫秽物品,行为与结果形成直接的线性因果关系,司法定性基本无争议。而AI生成场景下,开发者预设的系统底层提示词仅为影响输出的变量之一,模型训练数据、算法随机采样机制、用户个性化提问指令等多重因素共同左右最终文本,内容产出依托算法概率推演,中间存在技术黑箱,不存在绝对可控的定向输出内容,这也是此类案件定性争议频发的核心根源。

二者在规范评价层面的差异,实质上需要我们解决的问题是:开发者编写系统提示词的行为,能否等同于刑法意义上传统的“制作、复制”淫秽物品?


对于这一问题的判断,有三个维度的审查至关重要:

  1. 产品商业定位,是否将低内容管控作为引流、付费核心卖点,用以推定主观犯罪故意;
  2. 底层技术设置,是主动拆除内容安全防护机制,还是合规设防后仅出现技术漏洞,区分行为属于主动制造违法风险,还是合规工具遭第三方恶意滥用;
  3. 事后处置举措,出现涉黄内容后是否及时拦截、整改,以此证明行为人对淫秽内容传播结果的放任或排斥心态。如果企业对外宣传主打“无违禁词”,用户付费核心诉求即为色情对话,并主动修改系统提示词、下调内容安全阈值,且全程未落地有效阻断管控措施,将压缩“技术中立”的抗辩空间。

因此,对两种行为的评价,不能局限于固有视角,而应结合AI企业的特性,界定开发者编写底层提示词的行为能否等价于传统制作、复制淫秽物品的行为。

2

研究问题二|如何判断修改提示词、安全阈值与淫秽内容生成之间是否存在刑法上的因果关系?

在AC案这类涉AI刑事案件中,因果关系与主观明知确实是实务中的双重难点。AC案一审法院认定因果关系成立的核心逻辑在于:行为人通过修改全局系统提示词、下调内容安全拦截阈值等操作,使模型具备了输出淫秽内容的技术条件,进而认定其行为与结果之间存在刑法意义上的因果联系。

在技术实验层面,辩护方若要切断这一因果关系,就需要用实验证明“即便不存在修改提示词、下调内容安全拦截阈值等操作,模型仍会连续输出淫秽内容”。辩护方可以设计对照实验,证明即便不存在修改提示词、下调安全阈值等操作,大语言模型在原生状态下仍可能以相当比例连续输出淫秽内容。具体而言,可在完全相同的模型版本与系统环境下,保持默认提示词与原始安全设置,仅通过用户输入进行交互,观察模型是否仍会产生涉案类型的淫秽内容。若实验结果支持这一结论,则意味着行为人的技术干预并非淫秽内容产生的决定性条件,而只是诸多影响因素之一,从而削弱行为与结果之间的因果关系。

在专家证言层面,专家应当从生成式AI的技术底层出发,阐明大语言模型的输出是由训练语料分布、算法参数配置、用户实时输入以及系统提示词等多重变量共同作用的结果。系统提示词与安全阈值的调整仅是在概率层面影响输出倾向,而非对具体输出内容的直接编程或控制。生成式AI具有“涌现”特性,其输出存在不可穷尽的不确定性与不可预测性,因此行为人的技术设计并不等同于对特定淫秽内容的直接制造,从而在事实层面建立合理怀疑的空间。

在AC案中,要动摇法官心证,辩护的关键不在于否认淫秽内容的存在,而在于让法官对“修改系统提示词必然导致淫秽内容”这一因果关系产生合理怀疑。辩护的重点是向法庭说明大语言模型的生成具有概率性,系统提示词只是影响输出的众多因素之一,淫秽内容是否出现以及出现的频率,高度依赖于用户后续的具体输入方式,系统提示词设定并不等于对每一段输出内容的控制;如果辩护方能够拿出对照实验数据,证明在系统提示词未作任何修改的情况下,用户仍然能够通过精心设计的破甲式话术诱导模型产出类似内容,那么淫秽内容的主要成因究竟是系统预设还是用户突破就会存疑。到了这一步,因果关系和主观故意的认定基础也会随之松动。

3

研究问题三|平台有能力限制违法内容却未启用相关功能,是否可能构成间接故意?

在辩护实务中,评价“平台有技术能力却未激活限制功能”是否构成间接故意,核心在于考察平台未激活的主观依据与客观情境。间接故意的认定要求平台在行为时已经认识到违法结果可能发生,并对此持容忍或放任态度。

如果平台有研发测试、系统调试或安全评估等合理技术目的,且存有内部记录与后续修复计划,通常难以认定为间接故意;但如果平台已经明确检测到淫秽内容大量生成、且现有限制功能足以阻断该风险,却为了商业指标(如用户活跃度、付费转化率)而有意维持风险开放状态,则在刑法上被认定为“放任”的可能性较高。

关于平台注意义务的边界,应与当前运营平台的技术水平相适应。从平台运营的角度具体而言,满足这一注意义务的要求至少要包括:

  1. 在产品层面设定明确的内容安全拦截阈值,例如当某个公开角色的涉黄内容检出率或用户投诉量超过特定数值时,安全机制自动启动并采取降曝光或下架措施,该数值的设定需有前期技术测试数据支撑并留存设定依据;
  2. 对于已发现的用户“主动破防”手法,需在合理时限内完成过滤规则的更新,并对涉及的高风险角色采取降曝光或停用处理;
  3. 在商业决策与安全管理的平衡上,若因合理技术原因需暂时关闭某项限制功能,该决定需经内部审批并留存计划恢复时间的书面记录,决策文件中最好不要将“放宽内容限制”与商业价值提升直接关联,并需附有安全团队的风险评估意见作为商业决策依据。

满足上述要求,才能说明平台在风险发现、评估和处置环节有实质动作,同时也能证明其注意义务的履行已与其技术能力相匹配。

4

研究问题四|虚拟币、榜单曝光和流量利益,能否成为认定用户“牟利目的”的依据?

实务中,在认定“牟利目的”时,不会局限于“虚拟币能否直接兑换为法定货币”这一形式标准。而是从实质解释的角度出发,平台内部虚拟币即便不能直接兑换成法定货币,但如果其能够用于解锁平台内的付费功能、获取特殊权限或兑换具有经济价值的服务,便具备了财产性利益的基本属性,应认定为刑法意义上的“牟利”。

更进一步,即便虚拟币本身不具有直接的消费用途,但如果其获取量能够决定创作者在平台“热门榜单”中的排名,而该排名又能带来更高的关注度、粉丝增长或后续的付费互动机会,那么这种“流量性利益”与财产性利益并无本质区别。如果创作者创作的角色较为冷门、未进入榜单,且该角色未产生任何平台奖励、也未带来任何间接性利益,即便该角色输出过淫秽内容,也难以认定创作者具有牟利目的。因此,角色是否热门、是否进入榜单并非判断“牟利目的”的绝对标准,关键在于创作者是否通过该角色获得了任何实质性利益。

因此,罪与非罪的界限应当立足于“牟利目的”是否具有客观层面的利益载体。如果创作者的行为仅有“制作淫秽物品”这一事实,而无任何证据证明创作者获得了实质性的利益,则难以满足制作淫秽物品牟利罪的主观目的要件;但如果该角色处于公开状态或者他人可以随意访问,则可能涉及传播淫秽物品罪。反之,一旦有证据证明创作者因此获得了虚拟币、榜单曝光、流量增长等实质性利益,司法机关便有理由认定其存在牟利目的。

5

研究问题五|AI技术共同犯罪中,主犯与从犯应当如何区分?

在AC案中,主犯与从犯的区分核心不在于职务头衔或名义上的岗位名称,而在于行为人对犯罪结果发生的作用力大小及其在共同犯罪中的实际决策地位。比如,谁主导了系统提示词的修改决策、谁决定了安全阈值的下调、谁参与了“无违禁词”宣传策略的制定,这些才是决定主从犯划分的关键事实。一审中,项目总负责人(也是公司法人)比技术负责人判刑更重,恰恰说明司法实践并不简单地以“谁写的代码”或“谁更懂技术”为标准,而是更侧重谁在业务决策中实质性地推动了犯罪行为的实施,项目负责人掌握着产品方向的最终决定权,其对违法行为的支配力和主观恶性程度更高。

在涉及AI技术的共同犯罪中,主从犯的认定存在几个特殊考量因素:

首先是公司内部的权限分配和决策流程。谁能接触系统底层提示词、谁掌握安全阈值修改权限、谁决定商业策略的制定,这些事实很大程度上决定了行为人在共同犯罪中的实际地位;

其次是各行为人介入犯罪的时机与阶段。参与系统设计阶段的决策者与控制者,其对内容生成机制的控制力显然强于产品上线后才介入运维或运营的人员,后者的行为往往属于对已形成的违法状态的维持而非创设,因此在共同犯罪中所起的作用相对有限;

最后是行为人对违法后果的预见可能性与认知程度。核心决策人员对指令修改可能引发的淫秽内容大规模生成具有明确认知,而外围执行人员可能仅被告知部分技术任务、并不掌握完整的业务逻辑和风险全貌,这种认知差异在量刑时具有实质影响。

总体而言,司法机关会穿透职务头衔,逐一审查每位行为人对犯罪行为的实际控制边界。谁拥有最终决策权、谁掌握底层技术权限、谁在早期设计阶段就介入其中等,谁就面临更重的刑事责任,而仅仅被动执行指令或后期才介入的日常运维人员,其从犯地位相对明确。

6

研究问题六|AI涉刑案件的司法裁判立场是否正在变化,未来入罪标准会如何发展?

从目前的司法动态来看,法院对这类AI涉刑案件的裁判立场正处于形成过程之中,尚未完全固化。

但整体也展现出一定倾向:

一方面,很多AI创业者本身并没有实施违法犯罪的主观意图,他们做的就是产品开发和业务创新。即便在经营过程中隐约意识到业务可能触及某些法律风险,内心的判断往往也是“我只是提供技术,用户怎么用是用户的事”,由此形成一种“技术中立即责任隔离”的认知。

但司法机关并不认可这套逻辑——技术中立从来不是刑事责任的挡箭牌,当技术被实际用于违法犯罪且经营者对此存在明知或放任时,法院不会因为技术具有创新属性就降低追诉标准。

另一方面,由于新型犯罪治理规则尚不明晰,人民法院强调依法审慎定罪量刑,要求根据行为人主观非法目的和行为的客观危害进行综合判断。这意味着法院在个案裁判中既不会因技术新就轻易入罪,也不会因技术新就放纵不管。

关于未来这类案件的入罪门槛,大概率会呈现一种清晰化的趋势。对于主动通过技术手段创设违法内容生成机制、以非法牟利为目的系统性突破安全防线的行为,总体依法从严的立场会进一步强化,入罪标准不会放松,甚至随着未来相关案件的增加、司法经验的积累而更加明确;但对于技术探索过程中的合规争议、或仅提供中立技术工具而未主动创设违法条件的情形,法院则会秉持审慎态度,严格审查行为人对违法内容的实质性控制和主观明知是否达到刑法要求的证明标准,避免将科技创新中的过失或管理疏漏轻易上升为刑事责任。

总体而言,AI涉刑案件的入罪门槛不会简单趋宽或趋严,而是会在“依法从严”与“审慎定罪”之间形成动态平衡。主动越界的红线会越来越清晰,合规经营的底线也会越来越明确,最终目的是在惩治犯罪与保障创新之间寻求合理的法治边界。

7

研究问题七|AI企业应当在什么阶段介入刑事合规,哪些早期经营行为最容易留下刑事风险?

对于企业来讲,刑事风险防范的介入时点应当在产品形态与商业模式尚未定形、团队仍在讨论功能设计逻辑的阶段。等技术框架搭建完成、代码已提交、用户规模起来之后再补合规审查,往往已经晚了。很多AI创业团队的思路是先跑通产品再说,合规的事情以后再处理。但问题在于,产品上线初期的那套设计逻辑和运营方案,包括系统指令的内容、功能边界的划定,基本上线之后就定型了,事后再调整的空间很有限。一旦进入司法程序,早期留下的产品设计文档、系统日志、内部沟通记录,都是判断主观故意和因果关系的关键证据。

这里有一个容易被忽略的问题:刑事追诉时效。创业者往往觉得企业后来已经走上正轨了,早期那些粗放阶段的做法应该不会再被追究。现实情况是,只要仍在法定追诉时效期限内,公安机关依然可以对早期的违法行为立案侦查,企业事后建立的合规体系并不能抵消之前行为的刑事责任。

邵诗巍律师代理的很多涉企刑事案件当中经常看到的情况是:企业经过几年发展,业务越做越大,合规体系也逐步建立起来了,但某地公安机关立案调查的,其实是他们创业初期那段不合规的经营行为。整个企业因此被以刑事案件立案侦查,之前积累的业务成果、团队建设、品牌投入,全部面临归零的风险。说到底,这家企业并不是没有合规意识,只是合规意识来得太晚了。

所以,真正有效的合规介入节点,应当是在产品需求评审阶段就让法律顾问参与进来,和项目负责人、技术负责人一同评估功能设计逻辑是否存在引导用户突破安全边界的隐患。很多刑事风险回过头看,如果在项目启动前期经过审慎的法律评估,是完全可以避免的。创业者容易把法律合规理解为业务做大之后的善后工作,但企业从零到一的成长过程中,律师团队的陪伴和法律合规评估应当同步进行。这是对企业生存最基本的风险管理。

8

结语

这次交流涉及的七个问题,从AI生成内容的刑法定性,到因果关系、主观故意、共同犯罪责任划分,再到司法裁判趋势与企业刑事合规,既有传统刑法理论在新技术场景下的适用问题,也有司法实践中尚存争议、需要进一步研究的问题。

我很欣赏葛同学和同学们在这次研究中表现出来的问题意识。她们提出的问题并没有停留在对个案裁判结果的讨论上,还进一步追问了这些裁判结论背后的理论依据、事实基础,以及在新技术场景下可能面临的适用争议。

对于从事刑事辩护工作的律师而言,这些追问同样具有现实意义。新技术不断带来新的业务模式和行为方式,律师需要理解技术实际如何运行,也需要不断检视既有刑法理论在具体案件中的适用是否准确。

这次交流也让我感受到,学术研究与刑事司法实务之间有很多值得继续讨论的问题。感谢葛同学和同学们愿意分享研究中的思考,也期待未来有更多这样的交流,为AI技术发展过程中刑事责任的合理认定提供不同的观察和思考。


本文为邵诗巍律师团队的原创文章,仅代表本文作者个人观点,不构成对特定事项的法律咨询和法律意见。

分享至:

作者:邵诗巍

本文为PANews入驻专栏作者的观点,不代表PANews立场,不承担法律责任。

文章及观点也不构成投资意见

图片来源:邵诗巍如有侵权,请联系作者删除。

关注PANews官方账号,一起穿越牛熊
PANews APP
Inca Digital调查:Sky稳定币系统涉5.18亿美元非法关联交易
PANews 快讯