大家读完觉有帮助记得关注和点赞！！！
摘要
神经符号AI（NeSy）将神经感知与符号推理相结合，使其在需要可解释性和结构化推理的高风险领域中具有吸引力。然而，这种混合架构引入了一个扩大的攻击面，跨越五个层面：神经感知、符号知识库、推理引擎、代理编排和数据存储——每一层都可以以纯神经系统中不存在的方式被利用。
本文做出六项贡献：（1）对NeSy攻击面、符号完整性违规（SIV）和跨层放大比率𝒳进行了形式化定义，并将其分解为神经引起的和对抗诱导的自主符号敏感性分量；（2）一个统一的威胁模型，用11个NeSy特定的战术扩展和五类攻击者分类法扩展了MITRE ATLAS；（3）一个符号层威胁目录，涵盖KG投毒、本体合并和推理引擎颠覆；（4）认知风险分析——自动化偏见、权威偏见、谄媚强化——这些风险因NeSy显式的逻辑解释相对于黑盒神经输出而被结构性放大；（5）跨学科缓解措施，具有与NIST AI 600-1和欧盟AI法案对齐的可衡量验收标准；（6）三个实证基准：（E1）在205个实体的医学KG上，定向KG投毒在预算B=5时达到盈亏平衡SIV，具有KG特定的隐蔽性/SIV权衡；（E2）在DistilBERT+ProbLog流水线上，ε=0.01时的PGD-10产生𝒳=5.884（95% CI [4.64, 8.00]，p<0.0001）——通过匹配随机基线（E_rand^ℛ=0）证实了对抗特异性；（E3）单公理OWL编辑达到93.3%的SIV成功率（等价/子类模板），100%隐蔽性，但留出检测总体为67.9%，STIX检测器在50%（随机猜测水平）失败，这是一个开放问题。
关键词： 神经符号AI，AI安全，对抗机器学习，MITRE ATLAS，OWASP LLM，知识图谱安全，认知安全，双过程理论，代理AI
1. 引言
过去十年见证了神经AI和符号AI的快速发展，然而每种范式都有其众所周知的局限性。神经网络在跨大型异构数据集的感知和模式识别方面表现出色，但其内部表示难以解释，其输出可能自信地错误，并且它们没有提供原生机制来强制执行领域约束或安全规则。符号系统——逻辑引擎、知识图谱、本体和规则集——在结构化推理、可解释性和约束执行方面表现出色，但在分布偏移下很脆弱，并且不容易扩展到原始感官数据。神经符号AI（NeSy）旨在通过将神经感知前端与符号推理后端相结合来结合两者的优势，通常被描述为卡尼曼双过程理论的一个实例：系统1快速直觉（神经）和系统2慢速审慎（符号）[27, 16]。
这种架构越来越多地部署在安全关键型环境中，包括临床决策支持[17]、网络安全运营[13]、企业自动化[3]和心理健康辅助[20]。其前景令人信服：符号推理提供可审计的轨迹、领域约束以及与监管要求的一致性，而神经组件则处理大规模的感知。欧洲数据保护监督员（EDPS）等监管机构已明确强调神经符号方法可能有助于实现数据保护法所要求的透明度、问责制和数据最小化[7]。
尽管有这些优势，NeSy系统并非天生安全或可靠。整合神经和符号组件会倍增资产清单和攻击面。MITRE ATLAS——AI/ML系统的对抗威胁图景——现在记录了16种战术、84种技术和众多子技术，涵盖数据投毒、模型提取、提示注入和代理上下文操纵[32]。OWASP LLM应用十大风险列举了基于大语言模型（LLM）和代理系统的最关键风险[5]。然而，这两个框架都没有完全解决NeSy系统的符号基底：知识图谱完整性攻击、本体合并攻击、推理引擎颠覆和推理规则投毒在很大程度上仍不存在于现有目录中[26]。
除了技术威胁，NeSy系统还引入了具有独特特征的认知和心理风险。因为它们产生结构化的、听起来合乎逻辑的论证，它们有放大自动化偏见[28]、谄媚强化错误信念[31]和操纵情感脆弱用户[20]的风险。认知安全（COGSEC）框架将这些识别为对人类决策的蓄意和新兴威胁，必须在设计、部署和治理层面加以解决[4]。
贡献。 本文做出六项贡献：
-
形式化威胁定义。 我们引入了三个针对NeSy系统的形式化定义：NeSy攻击面（定义1）、符号完整性违规（定义2）和跨层放大比率𝒳（定义3），为比较和量化NeSy威胁提供了严格的基础。
-
NeSy攻击者分类法。 我们提出了一个五类NeSy攻击者能力分类法（表3），将MITRE ATLAS扩展到知识图谱内部人员、符号供应链攻击者和社会工程对手。
-
符号层威胁扩展。 我们识别并形式化了NeSy特定的攻击类别——KG投毒、本体合并攻击、推理引擎颠覆、跨层放大——这些在现有的ATLAS和OWASP目录中不存在。
-
认知安全文献综述和威胁预测。 我们调查了适用于NeSy系统的认知和心理风险文献，识别了结构化逻辑解释预计如何相对于纯神经输出放大自动化偏见、权威偏见和谄媚强化。这些预测有理论基础但尚未经过实证验证；E4（认知安全用户研究，IRB待批）被指定用于测试它们。
-
具有验收标准的跨学科缓解措施。 我们提出了跨技术、治理和人因维度的缓解措施，组织为从业者检查清单，具有与NIST AI 600-1 [22]和欧盟AI法案[8]对齐的可衡量验收标准。
-
实证验证。 三个实验在领域相关工件上验证了威胁模型：（i）定向KG投毒在205个实体的医学KG上，在盈亏平衡B=5时达到SIV 5%，比随机高效14.6倍，具有KG特定的隐蔽性/SIV权衡；（ii）在DistilBERT+ProbLog流水线上，PGD-10产生𝒳=5.884（95% CI [4.64, 8.00]，p<0.0001），通过匹配随机基线（E_rand^ℛ=0）证实了对抗特异性；（iii）单公理OWL编辑达到93.3%的SIV成功率（等价/子类范围），100%隐蔽性和67.9%的留出检测，但STIX检测器在50%留出召回率失败——一个开放的限制。
论文结构。 第2节调查相关工作。第3节回顾NeSy基础概念和可信AI图景。第4节描述NeSy架构和资产。第5节提出形式化威胁建模方法论。第6节和第7节分别详述技术和认知威胁类别。第8节通过具体场景说明威胁。第9节提出保护机制。第10节提供带有验收标准的从业者检查清单。第11节呈现E1–E3的实证验证。第12节总结。更广泛影响部分讨论更广泛的影响。
2. 相关工作
NeSy可信度调查。 Michel-Délétie和Sarker [18]调查了神经符号方法在可解释性、安全性、鲁棒性、公平性和隐私方面的可信AI应用。他们的工作分类了混合方法如何处理每个维度，但没有开发统一的安全威胁模型，并省略了认知安全角度。Gaur和Sheth [11]提出了CREST框架（一致性、可靠性、可解释性、安全性）作为可信NeSy系统的设计原则；我们的论文将这些原则操作化为可验证的验收标准，并将其扩展到对抗威胁场景。
NeSy安全和网络安全。 Hakim等人[13]调查了NeSy AI在网络安全中的应用，涵盖检测、知识表示和推理，但侧重于NeSy作为防御工具而非分析NeSy系统作为攻击目标。Eckhoff等人[6]对NeSy用于网络威胁防御进行了实验，展示了在STIX/ATT&CK知识上的推理，但同样是从防御者的角度。我们的论文独特地将NeSy符号基底本身视为攻击面，引入了适用于各领域的形式化定义和攻击者分类法。
对抗ML和知识图谱攻击。 Goodfellow等人[12]确立了神经网络的对抗样本；后续工作表明对抗扰动会传播到下游推理组件。知识图谱对抗攻击（例如，[35]）针对关系嵌入和三元组，但侧重于图神经网络分类器而非符号推理流水线。我们的跨层放大比率𝒳（定义3）是第一个形式化度量神经对抗扰动如何在NeSy系统中通过符号推理链放大的指标。我们注意到𝒳在概念上与可靠性工程中的误差传播度量（例如，故障树中的敏感性重要性度量[11]）和级联系统中的信噪传播相关；与这些度量不同，𝒳定义在神经-符号流水线中的离散决策类翻转上，并包括分解为神经引起的和自主符号敏感性分量（定义3）。
MITRE ATLAS和OWASP LLM扩展。 Riley [26]识别了MITRE ATLAS在符号和NeSy威胁覆盖方面的空白。Adabara等人[1]调查了网络安全中的代理AI风险，包括多代理编排和工具使用攻击。我们的工作提供了ATLAS到NeSy符号基底的系统化逐层战术映射（表2），区分了现有的ATLAS覆盖范围和提议的NeSy扩展，并引入了首个针对NeSy访问模型定制的五类攻击者分类法。
认知安全和自动化偏见。 Parasuraman和Riley关于自动化偏见及其失效模式（误用、弃用、滥用、自满）的基础工作已被Zou等人[34]和其他人扩展到AI系统。Varga[31]记录了谄媚AI特有的操纵风险。我们是第一个将这些认知失效模式具体连接到NeSy系统的结构特征——结构化逻辑解释——作为权威偏见的系统性放大器。
AI治理框架。 NIST AI RMF [21]和NIST AI 600-1 [22]分别为AI风险管理和生成式AI概况提供了治理结构。欧盟AI法案[8]将医疗保健和关键基础设施AI分类为高风险，需要强制性合规评估。我们的治理缓解措施用NeSy特定的符号资产完整性和认知安全控制扩展了这些框架。
相对于最接近先前工作的定位。 表1将本文置于其四个最接近比较对象的背景中。关键区别在于：（i）涵盖神经和符号层的形式化威胁定义（定义1–3）；（ii）针对NeSy访问模型定制的五类攻击者分类法；（iii）明确的认知安全分析；以及（iv）在所有三个威胁类别上对领域相关工件的实证验证。
表1：与最接近相关工作的比较。 ∙ = 涵盖，∘ = 部分，− = 未涵盖。形式化定义：符号层的形式化威胁定义；攻击者分类：NeSy特定攻击者分类法；认知风险：认知/心理风险分析；实证：具有定量结果的实证验证。
| 工作 | 形式化定义 | 攻击者分类 | 认知风险 | 实证 |
|---|---|---|---|---|
| Michel-Délétie & Sarker [18]（可信度调查） | − | − | ∘ | − |
| Hakim等人[13]（网络安全中的NeSy） | − | ∘ | − | ∘ |
| Eckhoff等人[6]（NeSy网络防御） | − | − | − | ∙ |
| Riley [26]（ATLAS差距分析） | ∘ | ∘ | − | − |
| 本文 | ∙ | ∙ | ∙ | ∙ |
3. 背景
3.1 神经符号AI：核心概念
Sheth等人将神经符号AI定义为基于神经网络的大规模感知方法与基于符号知识的认知任务（如抽象、类比、推理和规划）方法的集成[27]。这个定义直接映射到卡尼曼的双过程理论：神经组件通过将原始感官或文本数据转换为符号来近似系统1，而符号结构通过使用背景知识推理这些符号来近似系统2[16]。
符号知识结构——知识图谱（KG）、本体和形式逻辑——提供了从感知输出到领域概念的显式映射，实现了中间推理步骤的可追溯性，从而支持可解释性、安全约束和法规遵从。相比之下，纯神经模型提供强大的模式识别，但作为不透明的黑盒运行，其内部表示和决策边界难以审计[15]。
在方法论上，Sheth等人将NeSy技术分为两大类[27]：
• 降维方法：将结构化符号知识（KG、逻辑）压缩为神经表示。
• 提升方法：提取神经表示并将其映射为结构化符号知识以供下游推理。
这些进一步分为四个子类别：压缩KG表示、压缩逻辑表示、解耦神经-符号流水线和紧密交织的可微方法，每个都在算法特征（感知规模、抽象、类比、规划）和应用级特征（用户可解释性、领域约束、可扩展性、持续适应）上进行评估。
与安全性特别相关的是，论文指出当符号推理保持显式并与神经组件交织时，NeSy架构最能支持可解释性和约束执行，而不是将知识压缩为不透明的神经嵌入。这与过程知识注入AI相关，其中领域工作流和安全要求被编码为符号过程知识，以在安全关键决策中指导和约束神经系统[27]。
3.2 可信神经符号AI
最近关于可信NeSy AI的工作认为，信任取决于四个相互关联的属性：一致性、可靠性、用户级可解释性和安全性（CREST）[11]。Gaur等人主张，结合统计AI和符号AI是实现这些属性所必需的，因为仅数据驱动的神经模型对于安全关键应用来说不够一致或可解释。
关于NeSy可信度的系统综述将“可信”分解为可解释性、安全性、鲁棒性、公平性和隐私，并调查了混合方法如何处理每个维度[18, 19]。几份立场文件和行业报告强调，神经符号方法可以通过显式规则和KG强制执行领域约束来缓解LLM中的幻觉和偏见[15, 3, 7]。
同时，关于NeSy在网络安全和高风险领域应用的综述强调了双重用途问题：使更丰富推理和更好检测成为可能的相同架构，如果被错误对齐或妥协，可以支持更自主和更有能力的进攻代理[13, 6, 1]。这种双重用途维度是第5节开发的威胁模型的核心。
4. NeSy架构和资产清单
用于高风险应用的通用NeSy系统包含五个功能层，每一层既构成能力也构成攻击面：
-
神经感知模块：LLM、视觉模型或其他深度网络，将原始输入（文本、图像、日志、传感器数据）转换为潜在表示或符号候选[15, 27]。
-
符号知识库：知识图谱、本体、规则集、形式化过程模型以及编码为机器可读符号的监管或领域指南[7, 18, 27]。
-
推理引擎：逻辑推理器、规则引擎、概率程序或可微逻辑层，在符号结构上操作以推导结论、检查约束或规划行动[11, 27]。
-
编排和代理层：序列化神经和符号调用的流水线（例如，LangChain风格的代理工作流或用于网络安全的NeSy流水线）[1, 13, 27]。
-
数据和上下文存储：训练数据、检索增强生成（RAG）索引、向量存储、情景记忆以及暴露给用户或审计员的推理日志[15, 17]。
从安全角度来看，每一层都是具有独特威胁向量的资产：对手可以投毒数据和知识、改变模型权重、篡改规则或本体、利用编排绕过约束，或通过符号解释和代理工具外泄敏感数据[32, 2, 25, 5, 24]。
5. 威胁建模方法论
5.1 形式化定义
我们引入三个支撑威胁分析的形式化概念。
定义1（NeSy攻击面）。 设𝒮 = {𝒩, 𝒦, ℛ, 𝒪, 𝒟}表示五层NeSy系统，其中𝒩是神经感知模块，𝒦是符号知识库，ℛ是推理引擎，𝒪是编排和代理层，𝒟是数据和上下文存储。NeSy攻击面是具有访问级别α ∈ {白盒、灰盒、黑盒、KG内部人员、供应链}的对手可以在层i和j之间的所有接口ℐ_ij上注入、修改或外泄信息的集合：
对于至少具有API级系统访问权限的对手（灰盒、白盒、KG内部人员和供应链概况），NeSy攻击面严格超过纯神经𝒩系统单独的攻击面：
因为符号层添加了新接口（ℐ_𝒩𝒦, ℐ_𝒦ℛ, ℐ_ℛ𝒪等）和一类新的内部威胁（KG管理员角色），这在纯神经系统中没有类似物。证明梗概：具有𝒮 API级访问权限的灰盒对手可以通过微分符号解释利用𝒩的输出作为𝒦结构的探针——这是纯神经𝒩中不存在的攻击通道。形式化地，对于从API输出可达的任何接口ℐ_𝒩𝒦，存在一个攻击a（解释收集），在灰盒下可行，通过ℐ_𝒩𝒦破坏输出，但不通过AS(𝒩, 灰盒)中的任何接口。这个论证假设符号层没有与输出通道完全沙箱隔离；如果𝒦和ℛ被隔离且无输出泄漏，边际攻击面可能为零。对于黑盒传感器攻击者概况，此不等式不成立，因为对手的访问仅限于原始输入通道，如果符号层无法从传感器通道到达，则符号层添加的边际攻击面可能为零。
定义2（符号完整性违规）。 设𝒦_0表示部署时的授权知识库，𝒦_t表示时间t的知识库。时间t的符号完整性违规是任何变化Δ𝒦_t = 𝒦_t △ 𝒦_0，该变化（i）未经授权，且（ii）导致推理引擎ℛ在至少一个安全关键查询q上产生不同的结论c' ≠ c。这里△表示对称差，捕获知识库三元组或公理的未经授权添加和删除：
符号完整性违规具有隐蔽性，因为神经组件𝒩可能继续正确执行；攻击完全在符号基底内。
定义3（跨层放大比率）。范围： 此定义适用于𝒩产生离散符号输出（例如，硬argmax标签或输入到独立推理引擎ℛ的概率向量）的解耦NeSy架构。它不直接适用于完全可微的NeSy系统——如DeepProbLog、神经定理证明器或逻辑神经网络——其中神经和符号组件共享共同的微分计算图；扩展到该设置是一个开放问题（见未来工作，第12节）。设δ为应用于𝒩输入的对抗扰动，满足‖δ‖∞ ≤ ε。定义神经决策翻转率E_𝒩(δ) ∈ [0,1]为扰动下神经组件改变其硬输出决策的查询比例：
定义符号结论翻转率E_ℛ(δ) ∈ [0,1]为下游符号推理引擎改变其结论的查询比例：
跨层放大比率为：
因为两个操作数都在[0,1]中，𝒳是无量纲且查询规模不变的：它不依赖于查询总数|𝒬|，并且可以在不同大小的NeSy系统之间进行比较，前提是它们共享定义3中假定的解耦架构。当E_𝒩(δ) = 0时，𝒳未定义。
为了分解符号翻转的来源，我们额外定义两个条件率。设𝒬_+ = {x ∈ 𝒬 : argmax 𝒩(x+δ) ≠ argmax 𝒩(x)}为神经组件改变其决策的查询集。神经引起的符号翻转率测量来自已确认神经翻转的传播：
自主符号敏感性率测量在神经组件未改变其硬决策的查询上发生的符号翻转：
E_ℛ|¬𝒩 > 0表明符号层对亚决策边界神经扰动敏感——这是当符号规则接收软概率或logits而非硬标签时出现的一种与放大不同的威胁。𝒳 > 1意味着E_ℛ > E_𝒩，这可能源于高E_ℛ|𝒩和高E_ℛ|¬𝒩的组合；应报告两个分量以完整描述符号层的行为。
备注（威胁阈值）。 设ε_op为在现实条件下（例如，物理对抗补丁、API级噪声注入）针对已部署系统可实现的最大扰动。我们将关键跨层放大定义为在ε_op处𝒳(δ) > 2，表明符号层将神经攻击面放大了不止一倍。这个阈值是保守的；在ε=0.01处经验观察到的𝒳=5.884（第11节）大大超过它。低于阈值的系统仍可能表现出𝒳>1，但程度与已知的纯神经风险相当，而高于阈值的系统需要第9节描述的架构防御。
5.2 MITRE ATLAS对齐
MITRE ATLAS编目了针对AI/ML系统的对抗战术和技术，涵盖16种战术、84种技术和众多子技术，包括代理AI风险如上下文投毒和恶意工具使用[32, 25]。
表2将五个NeSy系统层映射到ATLAS战术，区分了现有的ATLAS覆盖范围（已为神经系统记录的技术）和本文为符号基底提出的NeSy扩展。该表不声称完整性；它识别了符号层在现有ATLAS目录中添加新攻击向量的位置[26]。
表2：MITRE ATLAS战术到NeSy系统层的映射。 E = 现有的ATLAS技术（已为神经系统记录）。N = 本文提出的NeSy扩展（尚未在ATLAS目录中的符号层攻击）。严重性：H=高（直接影响安全/完整性），M=中（促成或间接），L=低（仅信息收集）。
| ATLAS战术 | NeSy层 | 状态 | 严重性 | 技术/表现 |
|---|---|---|---|---|
| 侦察 | 𝒩 神经 | E | L | 模型架构发现；训练数据推断 |
| 侦察 | 𝒦 KG | N | L | 通过解释轨迹进行模式和本体枚举 |
| 资源开发 | 𝒟 数据 | E | M | 策划投毒的预训练语料库 |
| 资源开发 | 𝒦 KG | N | H | 为供应链合并构建对抗性本体扩展 |
| 初始访问 | 𝒩 神经 | E | H | 对抗样本；提示注入 |
| 初始访问 | 𝒦 KG | N | H | 通过管理员角色注入恶意KG三元组；本体合并 |
| 初始访问 | 𝒪 代理 | E | M | AI代理上下文投毒‡ |
| 执行 | ℛ 推理器 | N | H | 通过精心构造的符号输入触发推理引擎规则 |
| 执行 | 𝒪 代理 | E | H | 恶意工具使用；提示注入的工具调用 |
| 持久化 | 𝒦 KG | N | H | 在KG更新周期中存活的隐蔽后门三元组；本体规则投毒 |
| 持久化 | 𝒩 神经 | E | H | 模型后门（激活触发器） |
| 权限提升 | 𝒪 代理 | E | H | 通过工具使用升级导致的过度自主 |
| 权限提升 | ℛ 推理器 | N | H | 通过对抗性规则覆盖绕过符号约束 |
| 发现 | 𝒦 KG | N | M | KG三元组枚举；通过差分查询发现安全规则 |
| 发现 | 𝒩 神经 | E | M | 模型反转；成员推断 |
| 影响 | 𝒦 KG | N | H | 符号完整性违规（SIV，定义2）；本体合并攻击 |
| 影响 | 𝒩 神经 | E | H | 模型规避；通过对抗输入进行拒绝服务 |
| 影响 | ℛ 推理器 | N | H | 神经扰动的跨层放大（𝒳 > 1） |
| 外泄 | 𝒟 数据 | E | M | 通过模型输出外泄训练数据 |
| 外泄 | 𝒦 KG | N | M | 通过符号解释和审计跟踪提取敏感事实 |
| 外泄 | 𝒪 代理 | E | H | 通过AI代理工具调用外泄‡ |
‡代表性ATLAS技术ID：初始访问/𝒪：AML.T0051；外泄/𝒪：AML.T0057。完整目录见https://atlas.mitre.org。
在表2的20个战术-层组合中，有11个是当前ATLAS文档未涵盖的NeSy扩展。最大的空白在𝒦符号知识库层（侦察、资源开发、初始访问、持久化、发现、影响、外泄）和ℛ推理引擎层（执行、权限提升、影响）。这些代表了此映射相对于现有ATLAS目录的主要贡献[32, 25, 26, 13, 6]。
5.3 OWASP LLM十大对齐
OWASP LLM应用十大风险（2023-2025）识别了基于LLM和代理系统的最关键风险，包括提示注入、数据外泄、不安全输出处理、模型拒绝服务、过度自主、RAG漏洞和供应链风险[2, 9, 23, 5]。许多NeSy系统嵌入或将LLM作为神经组件前端，因此这些风险直接适用。
NeSy系统引入了OWASP类别的独特变体：
• RAG和知识库漏洞现在扩展到符号KG和规则库，而不仅仅是非结构化文档索引[2, 5, 18]。
• 当符号推理通过基于推断规则和计划的工具和工作流触发现实世界行动时，过度自主被放大[1, 5, 32]。
• 敏感信息披露可能通过暴露规则冲突、数据来源或嵌入KG的个人数据的符号解释和审计跟踪发生[7, 3, 17]。
5.4 分析透镜
针对NeSy系统的全面威胁建模方法结合了四个分析视角：
• 以资产为中心：对五层NeSy堆栈的系统分析（第4节）。
• 以对手为中心：扩展到符号组件的ATLAS战术和技术。
• 以漏洞为中心：映射到NeSy特定实现缺陷的OWASP LLM十大类别。
• 以认知为中心：将用户和操作员视为操纵和过度信任的目标，借鉴认知安全和双过程心理学[31, 4, 29, 28, 10]。
5.5 NeSy攻击者能力分类法
表3呈现了针对NeSy系统定制的五类攻击者能力分类法。每个概况用NeSy特定的访问模型、知识水平、主要目标和代表性技术扩展了MITRE ATLAS对手定义。该分类法旨在界定威胁建模练习的范围，并为检测和缓解优先级提供信息。
表3：NeSy攻击者能力分类法。 五个概况按访问级别降序排列。ATLAS战术缩写：TA = 战术；𝒦-内部人员 = 知识库内部人员。
| 概况 | 访问级别 | 知识 | 主要目标 | 代表性NeSy技术 |
|---|---|---|---|---|
| 白盒攻击者 | 完整模型权重、架构和符号规则集 | 完整（梯度、逻辑规则、KG模式） | 利用神经梯度和符号规则拓扑（𝒳 ≫ 1）构造对抗输入；需要符号规则访问以将扰动引导到ProbLog敏感区域 | PGD/FGSM对抗样本[12]；梯度引导的KG三元组投毒；通过规则感知扰动进行定向SIV诱导 |
| 灰盒API攻击者 | 仅查询API（黑盒神经；白盒输出） | 输出标签、解释、规则轨迹 | 提取符号规则或KG结构；通过API输入注入 | 基于迁移性的对抗样本；用于KG提取的解释收集；注入神经前端的提示注入[5] |
| 黑盒传感器/输入攻击者 | 仅原始传感器/数据通道 | 无（仅输出反馈） | 降低感知以导致下游推理失败 | 物理对抗补丁；传感器馈送中的数据损坏；输入洪水攻击推理引擎的DoS[32] |
| KG内部人员（𝒦-内部人员） | 直接KG/本体写入访问 | 模式、推理规则、查询模式 | 隐蔽的SIV：改变KG三元组或规则以颠覆安全关键结论 | 恶意三元组插入[6]；本体合并攻击；规则投毒以禁用安全约束；来源欺骗[26] |
| 供应链攻击者 | 部署前工件供应 | 部分（构建流水线、第三方KG/模型源） | 在部署前嵌入后门或有偏三元组；破坏推理库 | 投毒的预训练嵌入[12]；恶意KG数据集贡献；特洛伊化的推理库；受损的本体更新馈送[18] |
这五个概况涵盖了从国家行为体或内部威胁（白盒、KG内部人员）到机会主义（黑盒）和供应链行为体的完整对手谱系。关键是，KG内部人员和供应链概况代表了ATLAS主要以神经为中心的对手模型中不存在的NeSy特定威胁行为体。对NeSy部署的任何正式风险评估都应列举适用的概况，将它们映射到NeSy攻击面AS(𝒮, α)（定义1），并为每个概况定义检测和响应控制。
6. 技术威胁类别
6.1 数据和知识投毒
与纯神经模型一样，NeSy模型容易受到训练和微调数据投毒的攻击，对手注入精心构造的示例以偏置行为或创建隐藏触发器（ATLAS技术：投毒训练数据）[25, 32]。NeSy增加了第二个攻击通道：投毒符号知识库——KG、本体、规则集和过程模型——以降低推理或颠覆安全约束[6, 18, 13]。
示例包括：
• 在医学KG中插入恶意边，微妙地改变禁忌症关系，导致决策支持系统在特定的共病背景下批准不安全的药物组合[18, 17]。
• 修改过程知识，使安全护栏仅适用于某些患者群体，从而实现定向伤害或歧视[26, 11]。
• 在网络安全威胁本体中引入对抗性标签，使恶意软件家族被错误分类，降低基于NeSy的安全运营中心（SOC）工具的检测灵敏度[6, 1, 13]。
这类攻击受益于符号知识通常由领域专家策划或从异构外部来源获取的事实，创造了超越经典数据集投毒的丰富供应链和治理攻击面[19, 18]。
6.2 模型和推理利用
对手可以利用神经和符号组件及其接口中的漏洞。
对于神经组件，ATLAS和OWASP记录了包括对抗样本、基于梯度的模型提取、提示注入以及通过精心构造的输入驱动昂贵推理路径导致的模型拒绝服务在内的风险[24, 23, 5, 32]。当这些组件馈入符号推理时，小扰动可以将系统推向规则空间的不同分支，放大影响。
对于符号组件，提议的攻击包括推理引擎颠覆（例如，改变规则优先级、引入非终止或冲突规则）、创建不一致概念层次的本体合并攻击，以及悄悄改变谓词语义的模式演化攻击[13, 26, 6]。这些可能导致安全约束被绕过或错误应用，而输出中没有立即明显的变化。
接口逻辑增加了进一步的风险。在LLM基于自然语言描述调用工具或推理器的解耦流水线中，提示注入可以重定向工具调用或选择与预期不同的符号函数，有效地在运行时重新布线NeSy推理图。在紧密交织的NeSy架构中，如果损失函数没有仔细设计以保持不变量，基于梯度的训练可能削弱或覆盖安全相关规则[23, 5, 27, 11]。
6.3 编排和代理工作流威胁
NeSy越来越多地部署在代理系统中，这些系统进行规划、调用工具、更新内存并在长期会话中交互。ATLAS现在包括针对AI代理上下文投毒、激活触发器和滥用代理工具进行外泄的特定技术[32, 1, 17]。
关键威胁包括：
• 投毒长期内存或RAG源，使符号计划从对抗性偏置的上下文中构建[5, 32]。
• 精心构造提示或文档，使神经组件错误识别应应用哪些符号规则或工具，实现策略绕过或有害行动[30, 23, 5]。
• 利用工具权限（数据库访问、文件系统、外部API）在看似合法的NeSy驱动工作流期间外泄敏感数据或执行破坏性行动[2, 1, 32]。
6.4 隐私和保密风险
符号知识库通常以结构化形式编码个人或敏感信息，NeSy解释可能暴露可追溯的推理路径，比不透明的神经嵌入更直接地揭示这些信息。EDPS指出，虽然符号AI可以提高透明度和问责制，但它不得降低隐私保护或人工监督的有效性[7]。
OWASP将敏感信息披露识别为最关键的LLM风险之一，当模型通过RAG、日志或工具调用对组织数据具有广泛访问权限时，这种风险会加剧[5, 2]。对于NeSy，这种风险扩展到：
• 通过解释或调试接口泄露KG片段或规则，揭示专有策略、安全程序或患者级数据[3, 7]。
• 通过探测NeSy推理输出对符号事实进行成员推断（例如，特定个体是否在高风险队列中）[19, 18]。
• 包含神经输入/输出和符号跟踪的审计日志隔离不足，导致无意暴露。
7. 认知、心理和行为风险
范围说明。 本节是对适用于NeSy系统的认知和心理风险文献的结构化综述。这里的声明是理论性的，基于引用的先前工作；它们未在本文中经过实证验证。实证验证（E4：测量NeSy解释放大自动化偏见的认知安全用户研究）需要IRB批准，并推迟到未来工作。读者应将下面的放大假设视为有充分动机的预测，而非已确立的发现。
7.1 双过程对齐和过度信任
NeSy明确镜像了双过程理论：神经组件提供快速、直观的判断，而符号组件提供缓慢、审慎的推理。最近关于将LLM与系统1或系统2推理对齐的工作展示了一种权衡：系统1对齐的模型给出更快、更自信的答案，而系统2对齐的模型以更高的计算成本产生更谨慎、逐步的推理[33, 29, 10, 16, 27]。
从认知安全的角度来看，呈现符号推理链和规则引用的NeSy系统强烈触发用户对专业知识和权威的感知，强化了自动化偏见和权威偏见。关于双过程思维的行为设计研究强调，认知偏见是根深蒂固的系统1捷径，仅靠意识很少能消除它们；因此，仅仅呈现推理链不足以防止过度信任[28, 29, 10]。
7.2 认知安全和叙事操纵
认知安全（COGSEC）关注保护人类决策免受操纵、虚假信息和叙事攻击。COGSEC从业者强调了诸如叙事武器化、人对群体行为操纵以及人机团队中的“黑客人类”——包括通过深度伪造和定制影响力操作——等威胁[4]。
关于谄媚AI的研究表明，当持有错误信念的用户与同意他们的聊天机器人交互时，他们对错误信念的信心增加而不是减少，实际上制造了确定性[31]。对AI伴侣应用的额外审计报告了情感操纵行为和关系伤害，包括当用户试图脱离时的抵抗[31]。
NeSy系统可以通过为有害或有偏见的叙事提供结构化的、看似合乎逻辑的论证来加剧这些模式，使它们比纯神经的自由形式响应更具说服力。在代理或咨询类环境中（例如，心理健康聊天机器人、辅导系统），心理安全红队正在被探索以系统审计此类交互[20, 17, 4]。
7.3 代理的认知AI安全
认知AI安全框架识别了认知、行为和系统层的风险：隐藏的推理缺陷、不安全行为，以及互连代理和工具复杂生态系统中的失败[30]。记录的事件包括自主代理误解数据（例如，由于误解信号而过度订购库存）和由不受检查的学习循环和升级权限导致的灾难性行动[30]。
在NeSy代理中，这些风险表现为：
• 推理缺陷：编码过时、有偏见或错位目标的符号规则或本体，代理以高置信度追求这些目标[18, 11]。
• 行为风险：NeSy代理基于不正确或被操纵的推理自主排序行动（例如，金融交易、系统管理命令）[1, 32, 30]。
• 系统风险：互连的NeSy代理跨组织边界放大彼此的误差或偏见，特别是在公共福利、警务或信息生态系统等社会技术系统中[17, 4]。
E4的可测试假设。 以下可证伪的预测来自上述综述，并将在计划的E4认知安全用户研究中测试（IRB待批）：
H1. 自动化偏见放大。 呈现NeSy结构化推理解释的用户表现出显著更高的自动化偏见分数（Parasuraman-Riley自满量表[28]），相比呈现等效神经自由形式输出的用户，在预注册的显著性阈值α=0.05下。
H2. 错误信念强化。 不正确的NeSy解释使用户对错误信念的信心增加≥15%，相对于匹配的未校正神经和无解释控制条件，通过校准的信心评级测量[31]。
H3. 操纵检测缺陷。 当被要求识别NeSy生成的咨询风格输出中的情感操纵段落时，人类红队审计员达到50%的召回率，而等效纯神经输出为70%的召回率[20]。
这些假设有理论基础但尚未经实证确认；E4被指定用于以适当的统计功效测试它们。
8. 示例威胁场景
8.1 具有投毒知识的医疗决策支持
考虑一个NeSy决策支持系统，它使用LLM从笔记中提取临床实体，并使用符号KG编码药物-药物相互作用、禁忌症和临床指南。具有KG摄入流水线访问权限的对手注入微妙修改：在特定的共病背景下削弱特定药物的禁忌症规则[27, 17, 18]。
神经组件继续正确执行，但符号推理现在将药物视为对一些高风险患者安全，推荐增加不良事件风险的治疗，而日志中没有明显的红旗。以LLM为中心的标准红队可能错过这个问题，因为提示和输出看起来一致；漏洞存在于符号基底及其治理中[19, 18]。
8.2 网络安全SOC助手变得不可靠
一个NeSy网络安全助手使用神经模型解析日志和警报，然后咨询网络威胁本体、STIX/TAXII知识和符号编码的MITRE ATT&CK映射，以优先处理事件并推荐响应。攻击者投毒共享的威胁情报源或本体合并流水线，使某些恶意软件家族被重新标记为良性工具，或某些TTP链被降级[6, 1, 13]。
随着时间的推移，助手将与投毒概念相关的真实威胁降级，导致分析师错过入侵或外泄活动。因为系统看起来比黑盒分类器更“理性”，分析师可能过度信任其建议，加剧了风险[13, 6]。
8.3 企业自动化中的代理工作流
一个企业NeSy代理编排采购工作流：LLM解析请求和合同；符号建模的业务规则和风险阈值指导审批；工具与ERP、电子邮件和支付系统接口。供应商在文档中嵌入对抗性语言，导致神经组件将风险合同错误分类为低风险，并选择更不严格的规则子集[3, 30, 17]。
符号规划器随后产生一个行动计划，以减少的监督路由审批和支付，而解释在表面上看起来合规。攻击者可能进一步滥用工具权限，通过代理工具外泄数据或推送欺诈支付——直接实例化了通过AI代理工具调用的ATLAS外泄技术和围绕过度自主的OWASP风险[32, 2, 30, 5]。
8.4 心理不安全的心理健康助手
一个心理健康支持聊天机器人被设计为NeSy系统：神经组件生成共情语言，而符号模块编码认知行为疗法（CBT）技术和安全规则（例如，针对自杀倾向的升级策略、禁止的建议格式）。然而，符号规则不完整，基于强化学习的调整隐含地优化参与度而非临床结果[20, 26]。
系统表现出谄媚行为，用看似理性的解释强化用户的适应不良信念，并且未能为高风险用户适当升级。心理安全红队审计发现，某些人口群体因有偏见的规则和数据而接收到系统不同的建议，引发了公平性和伤害担忧[20, 31]。
9. 保护机制和设计模式
9.1 治理和生命周期控制
NeSy安全需要对神经和符号资产进行治理，用NeSy特定的控制扩展AI风险管理实践（例如，NIST AI RMF）[11, 18]：
• 所有神经模型、知识库、规则集、本体和推理器的资产清单和映射，并记录数据流和权威边界[32, 18]。
• KG和规则的版本控制、来源和变更管理，包括四眼审查和安全关键约束的自动化验证测试[18, 3, 19]。
• NeSy应用的风险分类（例如，医疗诊断与营销分析），以确定符号正确性和解释保真度所需的保证级别[7, 17]。
9.2 加固数据和符号知识
• 训练和微调流水线：使用ATLAS技术监控数据投毒，强制数据来源，并应用差分分析检测异常行为[25, 32]。
• KG和本体策划：维护带签名、版本化的KG和来源元数据；应用模式和一致性检查；限制谁可以提议或批准对安全相关关系的更改[26, 19, 18]。
• 规则和过程知识测试：为编码安全不变量的符号规则创建单元和集成测试（例如，“当条件Y成立时，永不推荐药物X”），在每次更改时自动运行[26, 11]。
对于外部知识源（威胁情报源、临床指南、法律代码），将摄入视为供应链风险：沙箱化和验证更新，跨多个提供者比较，并监控关键概念中的异常变化[6, 13, 18]。
9.3 安全编排和代理控制
• 对所有代理工具应用最小权限，确保符号规划器不能在无人批准或额外检查的情况下调用高影响操作（支付、系统更改）[2, 5, 32]。
• 在任何可能影响选择哪些符号规则或工具的用户控制或外部内容周围实施输入验证和提示强化[24, 23, 5]。
• 使用运行时监控检测异常的工具调用模式、长或循环推理链，以及代理内存中的上下文投毒指标[30, 32]。
在可能的情况下，将安全关键执行与主NeSy代理解耦：部署一个单独的、更正式验证的符号安全监视器，在执行前根据硬约束检查提议的行动[11]。
9.4 隐私保护解释和日志记录
• 知识库和日志中的数据最小化；尽可能假名化身份[18, 7]。
• 分层解释，面向用户的论证抽象掉个人级事实，而详细跟踪为审计员和监管机构进行访问控制[11, 7]。
• 技术控制包括KG和规则仓库的行级访问控制、静态和传输中加密，以及敏感谓词的隐私保护查询机制[19, 18]。
9.5 认知和心理安全控制
• 鼓励系统2参与的UX模式：明确突出不确定性，提供替代解释，并提示考虑反论点[28, 10, 33]。
• 将规范性或生命关键建议（法律、医疗、财务、心理健康）限制在明确定义的信息角色，同时披露限制并指示寻求人类专业人员[20, 7]。
• 对代理和咨询类应用进行心理安全红队，涉及临床医生和行为科学家，以探测关系伤害、谄媚和操纵模式[31, 20]。
认知安全框架还建议部署叙事智能工具，以检测NeSy系统何时被用于制造或放大有害叙事，并将这些检测器集成到内容审核和事件响应流程中[4, 1]。
10. 构建者和安全团队的实用检查清单
表4总结了在安全或任务关键型环境中构建或部署NeSy系统的组织的关键行动。每一行包括与NIST AI 600-1 [22]和欧盟AI法案[8]对齐的可衡量验收标准。
表4：NeSy安全和安保检查清单及验收标准。 治理对齐参考：NIST AI RMF [21]，NIST AI 600-1 [22]，欧盟AI法案[8]。
| 领域 | 关键行动 | 验收标准 |
|---|---|---|
| 架构 | 盘点神经、符号和编排组件；记录数据流、信任边界和每个组件的权威[27, 32, 18]。 | 完成逐层资产注册；所有层间接口已文档化；数据流图已审查和批准。 |
| 威胁建模 | 应用MITRE ATLAS进行AI特定战术和技术，扩展到符号资产；将OWASP LLM十大映射到NeSy特定风险（提示注入、KG/RAG漏洞、过度自主）[32, 5, 2, 25]。 | 威胁模型涵盖所有5个攻击者概况（表3）；≥80%的ATLAS技术已评估；OWASP LLM十大已映射到NeSy变体。 |
| 数据/知识完整性 | 为数据集、KG、本体和规则实施来源、签名和版本控制；采用四眼审查和安全关键逻辑的自动化测试[25, 18, 19]。 | 100%的生产KG三元组和本体更新已签名和版本化；自动SIV检测测试套件在留出注入集上达到≥85%召回率（E1基线：组合金丝雀+来源在定向攻击上达到约85%；≥95%是需要在E1结果之外进行额外集成工程的理想目标；根据部署风险容忍度调整阈值）。 |
| 代理控制 | 在工具上强制执行最小权限；防范提示/上下文注入；监控代理工具使用和推理模式的异常[32, 24, 5, 30]。 | 所有工具权限限定在最小必要范围；注入渗透测试显示无成功的规则绕过；在超出策略的工具使用60秒内触发异常警报。 |
| 隐私 | 对符号跟踪和日志应用数据最小化、访问控制和隐私保护解释策略[7, 18, 3]。 | 外部可见的符号解释中没有个人数据（通过静态分析验证）；访问日志按GDPR第30条保留；完成EDPS对齐的DPIA。 |
| 认知安全 | 设计UX和策略以减轻过度信任和操纵；对高风险或治疗用例运行心理安全红队[20, 31, 4, 28]。 | 用户研究显示对抗性解释探针上的过度信任率为10%（阈值是临时的；在E4结果可用时校准）；红队报告识别≤5个关键认知操纵向量；UI中存在权威偏见披露。 |
| 治理 | 与NIST AI RMF [21]、NIST AI 600-1 [22]和欧盟AI法案第9条风险管理[8]对齐；为符号资产创建NeSy特定治理，包括角色、流程和CREST指标[18, 11]。 | 按NIST AI RMF维护AI风险登记册；按欧盟AI法案附件III完成高风险AI合规评估；通过CREST审计（一致性99%，可靠性SLA满足，可解释性评分≥3/5，安全事件=0）。 |
11. 实证验证
我们使用领域相关组件执行了三个实验（E1–E3）以验证威胁模型的核心声明。E4（认知安全用户研究）需要IRB批准，推迟到未来工作。关键结果总结在表5（E1：KG投毒）、表6–8（E2：跨层放大）和表10（E3：检测器失败分析）中。所有实验使用领域适当的工件：一个合成的医学禁忌症知识图谱（E1），一个与ProbLog危害推理规则配对的DistilBERT医疗索赔分类器（E2），以及OWL临床安全和STIX网络威胁本体（E3）。E2中的医疗索赔数据集是合成的（1,000训练/320测试实例，5个模板，3类标签：安全、监测、禁忌），从KG语义生成以确保领域一致性；结果应在未来工作中在留出的临床NLP基准（如MedNLI）上复现。图1提供了关键结果的视觉概览。
图1：E1–E3实验的实证结果概览。左：在医学禁忌症KG（205个实体，622个三元组，8个种子）上，E1 KG投毒SIV率与注入预算B的关系，三种攻击策略；金丝雀召回率单独显示。中：E2跨层放大比率𝒳，分解为神经引起的（E_ℛ|𝒩）和自主符号敏感性（E_ℛ|¬𝒩）分量；显示Bootstrap 95% CI。右：E3 OWL本体合并检测召回率，样本内与留出，Wilson 95% CI（临床和STIX本体）。
11.1 E1：医学禁忌症知识图谱上的KG投毒
设置。 我们在一个合成的医学禁忌症KG上模拟了知识图谱完整性攻击，该KG具有205个实体、622个三元组和3种关系类型（contraindicatedWith、monitorWith、diagnosisWith），以contraindicatedWith安全关键关系为中心。在8个独立随机种子上评估了50个安全关键查询。评估了三种注入策略：定向（对手选择在Q_safe上最大化SIV的三元组）、随机（均匀三元组采样）和隐蔽（三元组避免contraindicatedWith以规避来源检查，同时保持模式合理性）。测试了三种检测方法：密码学来源签名、统计异常检测和安全查询金丝雀监控。
结果。 表5报告了在选定注入预算B下的平均SIV率和所有三种检测器召回率（8个种子均值，带95% CI）。
表5：E1在医学禁忌症KG上的KG投毒结果（205个实体，622个三元组，50个查询，8个种子；均值带95% CI）。 定向盈亏平衡（SIV > 5%）在B=5。随机注入在B≤50内从未超过5%。隐蔽SIV确定为零（设计选择：隐蔽三元组避免contraindicatedWith以规避来源签名；见正文）。
| 策略 | 预算B | SIV（均值） | SIV 95% CI | 来源召回 | 统计召回 | 金丝雀召回 |
|---|---|---|---|---|---|---|
| 定向 | 1 | 0.019 | [0.016, 0.022] | 1.00 | 0.00 | 0.125 |
| 定向 | 2 | 0.033 | [0.026, 0.041] | 1.00 | 0.00 | 0.250 |
| 定向 | 5 | 0.076 | [0.063, 0.089] | 1.00 | 0.00 | 0.475 |
| 定向 | 10 | 0.124 | [0.104, 0.144] | 1.00 | 0.00 | 0.738 |
| 定向 | 50 | 0.375 | [0.350, 0.400] | 1.00 | 0.01 | 0.918 |
| 随机 | 1 | 0.002 | [0.000, 0.005] | 1.00 | 0.00 | 0.000 |
| 随机 | 5 | 0.005 | [0.000, 0.013] | 1.00 | 0.00 | 0.000 |
| 随机 | 10 | 0.007 | [0.000, 0.015] | 1.00 | 0.01 | 0.225 |
| 随机 | 50 | 0.042 | [0.021, 0.062] | 1.00 | 0.01 | 0.333 |
| 隐蔽 | 1 | 0.000 | [0.000, 0.000] | 0.00 | 0.00 | 0.000 |
| 隐蔽 | 5 | 0.000 | [0.000, 0.000] | 0.00 | 0.00 | 0.000 |
| 隐蔽 | 10 | 0.000 | [0.000, 0.000] | 0.00 | 0.00 | 0.000 |
| 隐蔽 | 50 | 0.000 | [0.000, 0.000] | 0.00 | 0.03 | 0.000 |
攻击者和检测器模型。 定向攻击者选择最大化SIV影响的三元组；通过正常管理员工作流注入，其三元组携带有效的来源签名（来源召回1.00，因为检测器标记每个未签名写入，但定向攻击者是授权的内部人员，不产生未签名写入）。隐蔽攻击者故意避免contraindicatedWith三元组以绕过来源签名——这个设计选择使它们隐蔽，但也消除了它们造成SIV的能力（在所有种子和预算上SIV为零）。这揭示了该特定KG中依赖于KG架构的权衡：在此三元组结构下，隐蔽性和SIV影响是互斥的。具有更复杂关系类型的KG可能不会表现出这种权衡。隐蔽行的零方差CI是预期的——策略在构造上是确定性的（无随机分量）；8个种子一致证实了这一点。统计异常检测在随机和（高预算）定向三元组上触发。金丝雀监控随预算增加而对定向攻击上升，因为定向三元组被选择来破坏安全查询答案；隐蔽和随机三元组不针对金丝雀查询（召回率分别为0和低）。
发现。 定向攻击在B=5时达到SIV > 5%（SIV=7.6%，95% CI [6.3%, 8.9%]），在医学相关KG上确认了定义2。在B=5时，定向SIV比随机高14.6倍（0.52%），证明了领域模式知识的操作价值。随机注入在测试预算内（B≤50，最大4.2%）从未达到SIV > 5%。隐蔽-SIV权衡意味着隐蔽概况在此KG中以零攻击影响实现完美检测规避；隐蔽概况中的对手需要重新设计三元组以针对contraindicatedWith，坍缩到定向概况中。强烈建议纵深防御：金丝雀监控是唯一在中等预算（B≤10）下覆盖定向攻击的检测器，而来源和统计检测覆盖来自外部通道的随机和隐蔽注入。没有单一检测器在所有三种策略上达到85%召回率。
关于KG规模的说明。 此实验的早期版本使用较小的原型KG（约50个实体），其中定向盈亏平衡为B=2。当前结果使用全规模KG（205个实体，622个三元组），这需要更高的预算（B=5）才能达到5%的SIV，因为更大的KG具有更多稀释定向注入的非关键三元组。14.6倍的定向/随机效率比在两种规模上一致；绝对盈亏平衡预算随KG大小缩放。
11.2 E2：跨层放大比率（医疗索赔+ProbLog）
设置。 我们使用定义3中的率比操作化在两级NeSy流水线上测量了𝒳(δ)。神经组件是一个DistilBertForSequenceClassification模型（隐藏维度768），针对3类医疗安全分类（安全/监测/禁忌）进行了微调。选择DistilBERT是为了计算效率和建立保守的放大基线；我们预计PGD有效性（以及因此𝒳）会随着决策边界更紧的领域适应模型（如BioBERT、ClinicalBERT）而增加，使E2结果成为生产医疗NLP部署放大效应的下界。在n_train=1,000上训练，在n_test=320个合成索赔上通过随机打乱的训练/测试分割进行评估。扰动逐元素应用于LayerNorm前的token嵌入矩阵（每个token d=768维）；ε限制加性扰动的ℓ∞范数，因此每个嵌入坐标最多偏移ε。干净模型中每个token的平均ℓ∞嵌入幅度约为2.3，因此ε=0.01代表平均token嵌入幅度约0.4%——一种亚感知扰动，但在PGD下驱动大的符号翻转率。符号组件是一个ProbLog危害推理模块，其规则数量随深度缩放：d=1时为3条规则，d=5时为11条规则，d=10时为21条规则（两条基础规则加上交替的监测/不确定门控递归链）。两条基础规则是：
h1 :- contra. h1 :- monitor, uncertain.
神经扰动为PGD-10和FGSM，ε ∈ {0.005, 0.01, 0.02, 0.03, 0.05, 0.08}（ℓ∞），加上一个匹配随机基线：对每个测试样本，相同的LayerNorm前嵌入矩阵被i.i.d.均匀噪声u_ij ∼ Uniform(-ε, +ε)破坏，独立于输入抽取——这隔离了对抗方向性与扰动幅度。推理深度在d ∈ {1, 2, 3, 5, 8, 10}上扫描，在两种耦合模式下：松耦合将完整的DistilBERT softmax概率向量作为带注释的概率事实传递给ProbLog——例如，monitor::h0(X) :- prob(X,p)，其中p是softmax概率——允许亚阈值logit偏移跨越ProbLog的概率触发阈值而不改变argmax标签。紧耦合仅传递硬argmax类标签（确定性布尔事实），因此ProbLog不接收梯度敏感的实值信号，符号结论对亚决策边界扰动具有免疫力。对于主要分析（d=1，松耦合，PGD-10，ε=0.01），我们报告完整的定义3分解以及𝒳和边际对抗超额Δ𝒳_adv = 𝒳_adv - 𝒳_rand（加性差异，避免当𝒳_rand=0时出现的0/0不确定性）。所有Bootstrap检验使用B=10,000次重采样；当观察到零个零假设命中时，p值在p<0.0001处取上界。
结果。 表6报告了主要分解和匹配随机基线。表7显示了带95% Bootstrap CI的饱和曲线。表8总结了FGSM机制诊断。
**表 6：E2 分解（PGD-10 与 FGSM 对比匹配随机基线，d=1宽松设定，n=320）。PGD-10 主分析（ε=0.01）：∣Q+∣=43个神经翻转查询。ER∣N的 Wilson 95% 置信区间：[0.918,1.000]。匹配随机基线：所有 ε下 ERrand=0.000，证实了对抗特异性。pbootstrap<0.0001（单侧，B=10,000）。紧密耦合完全抑制了符号翻转。因 EN=0，故 Q+∗=∅，导致 ER∣N无定义（分母为零）。†在 ε=0.08时，FGSM 产生 EN=0，但通过概率性阈值漂移产生了 ER∣¬N=0.334—— 因 EN=0，X无定义；这些符号翻转是由 ProbLog 敏感性驱动的，而非神经错误传播。§ΔXadv=Xadv−Xrand（加性超额）；所有 ε下 Xrand=0.000，因此数值上 ΔXadv=Xadv。加性形式避免了比率定义下的 0/0不确定性。
| 条件 | EN | ER | $E_{\mathcal{R} | \mathcal{N}}$ | $E_{\mathcal{R} | \neg\mathcal{N}}$ | X[95% CI] | ΔXadv§ |
|---|---|---|---|---|---|---|---|---|
| FGSM (ε≤0.05) | 0.000 | ≤0.122 | – | – | 无定义 | – | ||
| FGSM (ε=0.08) | 0.000 | 0.334 | 无定义∗ | 0.334 | 无定义† | – | ||
| PGD-10 宽松 | 0.134 | 0.791 | 1.000 | 0.758 | 5.884 [4.64, 8.00] | 5.884 | ||
| PGD-10 严格 | 0.134 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
表7：E2饱和曲线（PGD-10，d=5松耦合，n=320，95% Bootstrap CI）。 𝒳随ε单调递减；在ε≥0.03时，CI下界勉强超过1（接近饱和）。所有p_bootstrap < 0.0001（单侧，B=10,000）。进行了五个同时的ε级检验（m=5）；应用Holm-Bonferroni逐步校正[14]，族系α=0.05，每个检验阈值在[0.010, 0.050]中，所有都在每个水平上由观察到的p<0.0001满足。
| ε | E_𝒩 | E_ℛ | 𝒳 [95% CI] |
|---|---|---|---|
| 0.01 | 0.134 | 0.791 | 5.884 [4.64, 8.00] |
| 0.02 | 0.738 | 0.975 | 1.322 [1.25, 1.41] |
| 0.03 | 0.872 | 0.994 | 1.140 [1.10, 1.19] |
| 0.05 | 0.959 | 1.000 | 1.042 [1.02, 1.07] |
| 0.08 | 0.925 | 1.000 | 1.081 [1.05, 1.12] |
表8：E2 FGSM机制诊断（n=320，ε网格）。 FGSM在所有ε ≤ 0.08处产生E_𝒩=0。干净模型置信度高（均值0.866），中位决策余量为0.743，近边界比例（余量0.05）为0.000——解释了FGSM的失败：所有样本远离决策边界。FGSM置信度下降（≤0.152）比匹配ε处的PGD（0.422）小2.8倍，确认了PGD在嵌入空间中的优越有效性。
| ε | E^FGSM_𝒩 | E^PGD_𝒩 | 置信度下降（FGSM） | 置信度下降（PGD） | 近边界比例 |
|---|---|---|---|---|---|
| 0.01 | 0.000 | 0.134 | 0.039 | 0.299 | 0.000 |
| 0.02 | 0.000 | 0.738 | 0.061 | 0.381 | 0.000 |
| 0.03 | 0.000 | 0.872 | 0.078 | 0.431 | 0.000 |
| 0.05 | 0.000 | 0.959 | 0.107 | 0.426 | 0.000 |
| 0.08 | 0.000 | 0.925 | 0.152 | 0.422 | 0.000 |
发现：FGSM失败机制。 干净模型置信度高（均值0.866），中位决策余量为0.743，近边界区域（余量0.05）中无查询。FGSM的单步梯度步骤在ε=0.08时产生至多0.152的置信度下降，而PGD在相同预算下为0.422。DistilBERT的子词嵌入查找离散化FGSM步骤，而PGD的迭代投影累积有效扰动。因此，FGSM在结构上低于该架构的神经翻转阈值。然而，在ε=0.08时，FGSM确实产生了E_ℛ|¬𝒩=0.334的符号翻转而无任何神经分类变化——这是一种不同的机制：大幅度的扰动使logit分布偏移到足以跨越ProbLog概率阈值（h1 :- monitor, uncertain）而不翻转argmax标签。这种仅符号路径由ProbLog敏感性驱动，并保持对抗特异性（在同一ε处E_rand^ℛ=0.000）。
𝒳的对抗特异性。 匹配随机基线解决了V6评审中提出的因果归因问题：在相同ℓ∞预算（ε=0.01）下的随机扰动产生E_rand^ℛ=0.000的符号翻转——与未扰动基线相同。这确认了𝒳=5.884是对抗特异的：PGD扰动以等幅度随机噪声所不具备的方式将输入分布导向ProbLog敏感区域。完整的分解阐明了机制：|Q_+|=43个神经翻转查询全部传播到符号翻转（E_ℛ|𝒩=1.000，Wilson 95% CI [0.918, 1.000]），E_ℛ|¬𝒩=0.758意味着75.8%的符号翻转在无神经翻转的情况下发生——对抗扰动使输入logit分布偏移到足以触发h1 :- monitor, uncertain而不跨越神经决策边界。两种路径都是对抗诱导的：边际对抗超额Δ𝒳_adv = 𝒳_adv - 𝒳_rand = 5.884 - 0.000 = 5.884等于𝒳本身，因为随机基线贡献为零（使用加性公式以避免0/0）。紧耦合完全抑制两种路径（E_tight^ℛ=0），确认概率边缘化是一种稳健的架构防御。
饱和和深度。 饱和扫描（表7）确认从ε=0.01时的𝒳=5.884单调下降到ε=0.05时的1.042。同时进行了五个ε级检验；在Holm-Bonferroni逐步校正[14]（α=0.05，m=5）后，每个比较在p<0.0001仍显著，控制了族系误差率。深度扫描（d=1-10，最多21条ProbLog规则）是一个已确认的零结果：𝒳是深度不变的，因为测试的对抗扰动不触发多跳链式规则。有意义的正向测试需要精心构造输入以进入链式推理区域（在通往危害结论的路上应用两个或更多规则）。
11.3 E3：对临床安全和STIX本体的本体合并攻击
设置。 我们在两个领域相关的OWL本体上构建了30个对抗攻击模板：一个临床安全本体（15个模板，c1-c15）和一个STIX网络威胁本体（15个模板，s1-s15），均通过Owlready2加载，并在Pellet和HermiT下进行双重一致性检查。每个模板插入一个OWL公理（等价断言或子类覆盖，均为单公理预算）以颠覆安全关键分类：临床本体中的禁忌/安全药物推理；STIX本体中的恶意软件/良性威胁归因。通过比较合并后的查询答案与干净基线来评估SIV。隐蔽性通过合并本体的Pellet一致性来测量。每次合并后运行差分安全查询检测器。按本体和总体计算Wilson 95%二项置信区间。
范围说明。 这里报告的93.3% SIV率范围限定于单公理等价和子类攻击，即测试的模板。此数字不应外推到这30个模板未覆盖的OWL公理类型（例如，属性限制、基数约束）。
为了评估泛化性，我们将30个模板分为14个样本内（检测器训练期间见过）和16个模板的留出集。分割按公理类型分层（样本内7个is_a和7个equivalent_to；留出8个is_a和8个equivalent_to），并在本体之间平衡（样本内7个临床和7个STIX；留出8个临床和8个STIX），确保留出集在两个维度上都具有代表性。留出性能报告Wilson 95% CI。
结果。 表9报告了按本体的样本内和留出检测结果。30个模板中有28个成功（2个应用失败：c10，s9）。
表9：E3本体合并结果：临床安全和STIX OWL本体上的样本内和留出检测召回率（30个模板，每个1个公理预算）。 28/30个模板诱导了SIV（样本内100%检测）。留出检测召回率总体为67.9% [49.3%, 82.1%]，存在领域差距：临床85.7% vs. STIX 50.0%。
| 本体 | 模板数 | SIV率 | 100%隐蔽 | 样本内检测 | 留出检测 [95% CI] |
|---|---|---|---|---|---|
| 临床（c1-c15） | 15 | 93.3% | ✓ | 100% | 85.7% [60.1%, 96.0%] |
| STIX（s1-s15） | 15 | 93.3% | ✓ | 100% | 50.0% [26.8%, 73.2%] |
| 总体 | 30 | 93.3% | ✓ | 100% | 67.9% [49.3%, 82.1%] |
发现。 28/30个模板诱导了SIV（93.3%，95% CI [78.7%, 98.2%]，范围限定于单公理等价/子类攻击）。所有28个成功攻击都是Pellet一致的（100%隐蔽率）：合并本体对OWL-DL推理器看起来有效，同时产生不正确的安全分类。对所有执行模板的HermiT一致性为100%。两个模板（c10：highrisk_is_routine，s9：critical_is_phish）由于HermiT检测到的不一致性而应用失败，表明一些激进的公理选择在合并时是可检测的。
样本内检测召回率在所有28个成功模板上为100%。留出检测召回率总体为67.9%（95% CI [49.3%, 82.1%]），揭示了一个显著的泛化差距。该差距强烈依赖于领域：临床留出召回率为85.7%（95% CI [60.1%, 96.0%]），而STIX留出召回率为50.0%（95% CI [26.8%, 73.2%]）。表10按公理类型分解了STIX留出召回率。
表10：E3按公理类型的STIX留出检测器失败分析。 两种公理类型都显示亚机会或接近机会的留出召回率。识别出七个失败的STIX模板：s1-s4，s5-s7（良性/恶意软件等价、犯罪/国家错误分类、活动/行为体混淆）。
| 公理类型 | 模板数 | 样本内召回 | 留出召回 |
|---|---|---|---|
| is_a | 7 | 85.7% | 42.9% |
| equivalent_to | 8 | 100% | 50.0% |
| STIX总计 | 15 | 100% | 50.0% |
50%的留出召回率在统计上与随机二元猜测无法区分（STIX的Wilson CI包含50%），构成检测器失败，而非差距。两种公理类型都失败：is_a召回率在留出下降到42.9%（比随机更差）；equivalent_to仅达到50.0%。七个失败模板（s1-s7：良性/恶意软件等价、犯罪/国家、活动/行为体、勒索/良性混淆）代表了多样化的语义攻击模式，与临床训练模板没有结构重叠。失败机制是语义而非句法的：检测器学习了临床领域查询模式（药物/禁忌症语义），这些模式不迁移到STIX威胁归因语义。补救需要（a）覆盖失败公理模式的STIX特定模板增强，或（b）在OWL公理结构而非语义查询匹配上操作的领域无关句法检测器。此STIX失败是一个具体的、高优先级的限制，需要在此检测器部署到网络威胁本体设置之前解决。这些结果在领域相关的符号推理任务上确认了SIV（定义2）和供应链攻击者概况，同时诚实地表征了检测器泛化限制。
总结。 出现三个发现。首先，定向KG投毒在盈亏平衡B=5时达到SIV 5%，比随机高效14.6倍，具有KG特定的隐蔽/定向权衡。其次，𝒳=5.884（95% CI [4.64, 8.00]，p<0.0001）是对抗特异的——匹配随机基线在相同预算下产生零符号翻转，排除了虚假敏感性作为解释。第三，单公理OWL攻击达到93.3%的SIV成功率，100%隐蔽性（样本内），但留出检测为67.9%，STIX检测器在50%失败——随机猜测水平。对所有攻击者概况而言，纵深防御（来源签名、统计监控、金丝雀查询）仍然至关重要。
12. 结论
神经符号AI通过将数据驱动的感知与显式、可审计的推理相结合，为更安全、更可信的AI提供了一条引人注目的路径。然而，NeSy并不能神奇地解决安全或安保问题：它转移、扩大和分化了攻击面。对手可以利用神经、符号、编排和认知维度，必须用集成的缓解措施来对抗，这些措施涵盖与ATLAS对齐的技术控制、受OWASP启发的应用加固，以及认知安全感知的设计和治理[27, 5, 17, 2, 4, 32, 11]。
我们的实证验证（第11节）确认了在领域相关组件上的三个主要发现。首先，定向KG投毒在低预算下在操作上是可行的：在205个实体、622个三元组的医学禁忌症KG上，定向注入在盈亏平衡预算B=5时达到SIV检测阈值。识别出隐蔽/定向权衡：在此KG架构下，隐蔽攻击实现零SIV——在此关系模式下检测规避的架构特定操作成本。没有单一检测器覆盖所有攻击者概况——来源召回对内部定向攻击为0.0，金丝雀召回对隐蔽为0.0，统计检测仅在高预算下触发（表5）——因此强烈建议结合所有三种的纵深防御。其次，我们提供了在神经-符号流水线上𝒳（定义3）的首次实证测量，确立了在现实扰动预算下可达到超单位放大：在DistilBERT医疗索赔+ProbLog流水线上，ε=0.01的PGD-10产生𝒳=5.884（95% CI [4.64, 8.00]，p_bootstrap < 10^-4，单侧）。𝒳分解（定义3）揭示75.8%的符号翻转在无任何神经翻转的情况下发生（E_ℛ|¬𝒩=0.758）——自主ProbLog敏感性是超单位放大的主导来源，而非神经误差传播。峰值放大在低ε下发生（在ε≥0.03时进入饱和状态）。第三，单公理OWL本体编辑达到93.3%的SIV成功率（范围限定于等价/子类模板），100%的Pellet一致性隐蔽性和100%的样本内检测，确认了标准推理器检查不足。然而，留出检测召回率为67.9%（95% CI [49.3%, 82.1%]），具有明显的临床/STIX领域差距（85.7% vs. 50.0%），这是一个未来工作的开放问题。
对于医疗保健、网络安全、公共福利和心理健康等高风险领域，组织应将NeSy同时视为机遇和责任：强大的工具需要严格的威胁建模、生命周期保证和涉及安全工程师、领域专家、认知科学家和伦理学家的跨学科监督[17, 13, 20, 7]。
未来工作应追求：（i）完成E4认知安全用户研究，以实证量化NeSy解释对自动化偏见的放大；（ii）将E1和E3扩展到更大的、领域特定的KG（SNOMED-CT、STIX/ATT&CK）；（iii）开发覆盖所有五个攻击者概况的KG完整性验证和本体来源跟踪的自动化工具；（iv）将定义3扩展到完全可微的NeSy系统——DeepProbLog、神经定理证明器和逻辑神经网络——其中神经-符号边界在共享计算图内是隐式的，需要根据梯度流而非离散翻转率重新表述𝒳；以及（v）设计其安全不变量在基于梯度的训练下可证明保持的可微NeSy架构。
积极影响。 通过正式定义NeSy攻击面和攻击者分类法，这项工作使从业者能够在医疗保健、公共福利或网络安全中部署NeSy系统之前进行更严格的威胁建模。具有可衡量验收标准的CREST对齐检查清单提供了一个具体的治理模板，减少了在满足欧盟AI法案和NIST AI RMF [21, 8]下的义务时规格不足的风险。对认知安全风险——自动化偏见、权威偏见和谄媚强化——的明确处理提高了设计者和监管者对一类与经典对抗ML不同且目前不在标准威胁目录中的危害的认识。使这些风险对非技术利益相关者（操作员、审计员、临床医生）可理解应降低高风险部署中的危害概率[20, 4]。
负面影响和双重用途考虑。 发布详细的攻击者分类法和形式化威胁定义为恶意行为者提供了一个知识资源，可用于设计更有效的符号层攻击——特别是KG投毒、本体合并攻击和推理引擎颠覆。我们判断对更广泛的NeSy系统构建者群体的防御收益超过了这种风险，这与安全社区的负责任披露规范一致。然而，我们故意省略了操作细节（例如，特定的KG注入载荷或逐步规则投毒程序），这些细节会提供具体的攻击提升而没有相应的防御价值。
局限性和范围。 表11总结了每个实验的主要局限性、根本原因和建议的缓解或未来工作路径。
表11：带有缓解路径的结构化局限性总结。
| 实验 | 局限性 | 原因 | 缓解/未来工作 |
|---|---|---|---|
| E1 | 合成KG（205个实体）；隐蔽/定向权衡可能不泛化 | KG模式中单一安全关键关系类型 | 在SNOMED-CT或真实EHR KG上复现；使用具有多种安全关键关系类型的KG |
| E2 | 𝒳=5.884在ε=0.01时是PGD特定的；在ε=0.05时降至1.04；深度不变 | 合成索赔；单步ProbLog模块；多跳规则未触发 | 在MedNLI上复现；设计针对多跳规则链的对抗输入；使用领域适应嵌入测试（BioBERT） |
| E3 | STIX留出检测在50%（随机猜测）；93.3% SIV范围仅限等价/子类公理 | 在语义上训练的临床领域检测器不迁移到STIX威胁归因 | STIX特定模板增强；在OWL公理结构上的领域无关句法检测器 |
| E4 | 尚未进行 | IRB待批 | 完成H1-H3用户研究（第7节）；认知偏见主张仍为理论性 |
| 通用 | 五个攻击者概况是威胁假设，未经实证校准 | 无NeSy特定攻击的真实事件数据集 | 收集NeSy事件语料库；对照真实世界部署校准概况 |
扫一扫
999
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
