2605.29979 - Fingerprinting Inference Systems of Large Language Models

1引言：输出暴露的不只有模型Introduction

为什么相同权重、相同输入，却能得到不同答案？实际推理不是抽象的矩阵公式，而是由具体硬件、注意力内核、缓存和调度器完成的一串浮点运算。改变计算的顺序或实现，微小舍入误差就可能累积，最终让最可能的 token 换位。

论文的关键转向是：这些偏差可能带有系统组件的特征。对防御者，这是一个被忽略的信息泄露面；对购买算力的客户，它也可能成为核查服务声明的工具。识别引擎可以帮助攻击者缩小漏洞搜寻范围，但识别组件本身不等于入侵系统。

作者贡献的重点不在“GPU 会算出略有差别的数”这个旧事实，而在于把这种差别带到通常唯一可见的文本回答中，并实证区分引擎、后端与硬件。引言中的高准确率概括需要带着实验前提阅读，后文会拆开看。

2背景：一条微小误差的传播链Background

推理系统的三层结构Inference systems

底层 GPU 执行高吞吐运算；中间的 attention backend 负责注意力计算以及分块、内核融合和访存优化；上层 inference engine 负责请求批处理、KV cache、多设备并行与服务接口。模型权重相同，不代表这三层的数值路径相同。

↗ 点击放大

浮点偏差如何变成可观测输出Numerical deviations

浮点加法没有严格的结合律。换一种归约顺序、张量布局或内核调度，数学等价的运算就可能产生不同末位。论文举了一个单精度例子：$A,B\in\mathbb{R}^{100\times100}$，$A_{ij}=0.02$，$B_{ij}=0.005$，数学上的结果是 $\operatorname{tr}(A^\top B)=1$。

单次偏差看起来很小，但一次前向传播包含大量运算；若两个候选 token 的分数足够接近，差异会跨过决策边界。Table 1 的同一 Qwen2.5-7B 模型，在不同系统上对 1966 年世界杯问题给出不同的 Yes／No 倾向：前两组输出 No，TensorRT-LLM 那组输出 Yes。这不是模型权重变了。

Table 1 原表 · 同一模型、同一问题在不同系统下的回答概率

SGLang / FlashAttention / A100：Yes 0.3775，No 0.6224；SGLang / FlashInfer / H100：两项均显示为 0.4999；TensorRT-LLM / FlashInfer / H100：Yes 0.5622，No 0.4378。

↗ 原表 · p. 3

3指纹方法：从回答模式识别组件Fingerprinting Approach

整个方法分两步：先在候选参考系统上收集可区分的提示词—回答模式，再把目标的回答变成相同特征，交给分类器。三个组件分别预测，得到三个标签；这不是从任意一条回答里直接“读出显卡型号”。

威胁模型：黑盒不等于没有先验Threat model

• 知道模型与系统提示词攻击者预先知道部署的模型和 system prompt。作者把模型指纹识别、提示词提取列为可能的前置方法，本研究并未端到端验证这两步一定成功。
• 目标只提供聊天访问可以提交任意提示词并观察文本，不能读取 logits、log-probabilities 或内部状态。
• 能够搭建参考系统提前枚举候选组件，并在离线参考系统上采集训练样本。对于无法复制的专有技术栈，这个条件可能不成立。

3.1四组提示词，各自放大一种差异Prompt Set Construction

不同输入会触发不同推理阶段，因此作者不用一套普通问答覆盖一切，而是设计四组提示词 $\mathcal{P}_1,\ldots,\mathcal{P}_4$。下面保留其原符号；“触发阶段”是作者的设计解释，不意味着已经用独立消融完全隔离了每种机制。

四组总计 6,950 条候选提示词，但这并不是最终每次指纹识别的查询预算。确定性实验会缩减提示词集合；随机解码还要考虑每条重复多少次。

3.2嵌入与分类：简单、任务定制的特征Embeddings and Classification

这里的 embedding 不是大型语义向量模型。给定提示词集合 $\mathcal{P}_i=\{p_1,\ldots,p_n\}$ 和回答 $\mathcal{R}_i=\{r_1,\ldots,r_n\}$，评分函数 $s_i:\Sigma^*\rightarrow[0,1]$ 只提取当前提示词组关心的属性：

$\mathcal{P}_1$ 与 $\mathcal{P}_3$ 用命中／未命中的 0、1 指示；$\mathcal{P}_2$ 判断回答是否以 “yes” 开头；$\mathcal{P}_4$ 把重复次数相对请求次数归一化到 $[0,1]$。四个 $\phi_i$ 拼成总特征向量，所以特征对提示词的固定排列有依赖。

训练：三个随机森林，而非一个秘密栈解码器Training

在所有有效参考组合上采样，分别训练三个 random forest：一个预测 inference engine，一个预测 attention backend，一个预测 GPU type。论文实验有 30 个参考系统；并没有声称 4×6×3 的 72 种笛卡尔积组合都有效。

推断：重复采样与多数投票Fingerprinting

给目标发送相同提示词，用相同评分函数生成特征，再取分类结果。温度非零时，训练每个提示词采集 $l$ 个 prompt–response pairs，识别时采集 $k$ 个，靠多数投票缓解采样噪声。论文交代了这种高层协议，但没有给出完整采样配对、投票平局规则或随机森林超参数。

3.3实用前提：候选集合与查询成本Practical Considerations

有三个要提前决定的量：候选组件范围、提示词总量 $|\mathcal{P}|$、每条查询重复数 $k$。扩大后两者可能增加信号，也会增加调用、输入 token 和输出 token 的成本。作者选择可自由组合和复现的开源栈；OpenAI、Anthropic、Google 等专有部署不满足相同的参考系统可得性假设。

4实验：把准确率放回协议中Evaluation

组件、模型与基线Inference systems and models

组件覆盖 4 个引擎、6 个后端与 3 种 GPU。兼容性限制使引擎—后端只有 10 对有效组合；再分别放到 H100、A100、L4 上，得到 30 个系统。模型为 Llama-3.2-3B-Instruct、Qwen2.5-7B-Instruct 与具有推理能力的 Qwen3-4B，均使用 BF16。

作者因跨引擎兼容性选择这三个中小规模模型，并推测更多计算可能累积更多差异。这是研究动机，不是“大模型一定更容易识别”的实验结论。各组件类别在 30 种配置中的频数不完全相等，均匀猜标签的基线也不等于多数类基线。

Table 2 原表 · 实验采用的组件

GitHub 星数是论文 2026 年 5 月的背景信息，不是今天的实时统计。

↗ 原表 · p. 5

查询与测试条件Fingerprinting setup

参考数据使用对应模型的默认系统提示词。作者知道 batch size 与 batch position 会影响输出，因此实验中把提示词固定在同一批位置；批大小变化另在第 5 节测试。对真实动态服务，这种固定批位置是需要保留在脑中的控制条件。

4.1确定性解码：闭集内可以达到完美匹配Fingerprinting Systems with Deterministic Decoding

当 $T=0$ 且配置来自同一参考集合时，三个模型的引擎、后端、GPU 识别准确率全部达到 100%。作者明确指出，这时问题近似变成检索：只需把目标回答模式匹配回参考配置。因此 100% 是一个重要的“信号存在”结果，但不等于对未知部署也能达到相同准确率。

↗ 点击放大

Llama 主要依赖二元问题；Qwen2.5 保留更多稀有 token 和重复提示；Qwen3 保留的长上下文提示更多。作者把后者与推理能力联系起来，但没有给出因果消融来单独验证这个解释。提示词子集选择的完整算法、是否独立于最终测试集，正文没有详细说明。

↗ 点击放大

4.2随机解码：噪声削弱指纹，但未完全覆盖Fingerprinting Systems with Stochastic Decoding

作者在 $T\in\{0.3,0.6,0.9\}$ 上重复实验，训练用 $l=768$，目标识别用 $k=50$，训练与测试响应实例不重叠，运行 20 次并报告均值。这里留出的是响应实例；不是把所有模型或系统配置都换成从没见过的新类别。

Table 3 原表 · 确定性与随机解码的全部识别准确率

完整表保留各模型、组件及温度，交互视图只切换显示，不做重新估计。

↗ 原表 · p. 7

高层叙述最容易误读的地方在这里：76–80% 是引擎在三个非零温度上的跨模型均值，后端均值是 71% → 58% → 46%，GPU 是 78% → 59% → 58%。Qwen2.5 的表现较强，Llama 随温度升高降幅更明显；Qwen3 的引擎准确率在 T=0.9 反而回升到 85%，所以效果并非严格单调。

↗ 点击放大

5部署变化：哪些迁移能撑住，哪些不能Analysis

这部分并非所有“真实部署因素”的综合测试，而是分别隔离四项因素。除了温度迁移，其余实验都在 $T=0$ 下进行，不能直接外推到动态批处理、未知提示词、未知温度与专有系统同时存在的情况。

应用专用 system promptApplication-specific system prompt

作者从 fka/prompts.chat 取写作导师、旅行向导、私人教练三种角色提示，替换默认 system prompt。报告跨目标系统约 99.7% 准确率。但此实验仍建立在攻击者可以先提取并知道该系统提示词的假设上；它不是“训练用一个未知角色、测试随意换另一个角色”仍保持 99.7% 的证明。论文没有在正文完整展开每一角色／模型／组件的分项结果。

批大小迁移Batch size generalization

训练批大小为 $\{32,64,128\}$，测试只用 $256$。这是确实留出的部署参数值：Qwen2.5 的引擎／后端／GPU 为 94／97／97%，Llama 为 90／84／85%，Qwen3 为 99／77／68%。因此“影响小”需要分组件看：Qwen3 的 GPU 从匹配条件的 100% 降到 68%，不能忽略。

Table 4 原表 · 训练未见批大小 256 时的准确率

训练：32、64、128；测试：256；此处为温度 0。

↗ 原表 · p. 8

留出组件：别把“其他组件”读成“未知组件”Proprietary system components

作者模拟攻击者无法访问某个组件实现：训练时完全排除包含该实现的配置，测试只用包含它的配置。例如训练不用 A100，测试只看 A100 系统。然后观察其他仍属于已知候选集合的组件还能否被识别。

↗ 点击放大

温度不匹配是明显弱点Temperature generalization

在 $T\in\{0.3,0.6,0.9\}$ 之间跨温度迁移，三模型平均引擎准确率降到 38–49%，后端为 30–38%，GPU 为 34–42%。这不是“略有下降”，而是显著削弱了匹配温度时的优势。作者建议攻击者对齐训练温度，并讨论通过重复查询推测温度，但没有验证一个完整、可靠的温度估计流程。

Table 5 原表 · 训练温度与部署温度不同的准确率

按三模型取均值。列依次为 0.3→0.6、0.3→0.9、0.6→0.3、0.6→0.9、0.9→0.3、0.9→0.6；引擎 48、44、39、44、38、49，后端 37、30、37、33、38、36，GPU 41、40、34、38、34、42。

↗ 原表 · p. 8

6相关工作：从数值不稳定到文本侧信道Related Work

数值偏差研究Numerical deviations in machine learning

一条研究线讨论推理框架、LLM、BLAS 与 FlashAttention 的数值偏差和非确定性。本文把这些“为什么不完全一致”的发现转换成“能否据此区分执行系统”的安全问题。最接近的硬件／软件平台推断工作依赖 log-probabilities；本文的实质进展是把访问条件降到文本回答。

通过 LLM 输出观察内部属性Side-channel attacks using LLM outputs

另一条研究线通过接口输出推断投影层、追踪服务的静默更新、识别模型身份或验证语义水印。它们和本文的关系是互补：模型指纹识别回答“哪个模型”，本文先假定模型已知，再问“谁在怎样执行它”。不能把这两种指纹能力混为一谈。

7讨论：有信号，不等于有无代价的解决法Discussion

缓解方法与代价Mitigations

如果让所有系统执行完全统一的数值路径，可以从根上压低差异；作者认为这种统一在生产中会牺牲硬件、时延与模型规模上的选择空间。另一条路是加入足够噪声，让原本稳定的回答发生变化，但这会影响确定性与任务效用。论文讨论了对参数或输入加噪，没有提供一条经过实测的“隐私—效用”最佳曲线。

对高风险或要求稳定输出的应用，靠扰动答案来隐匿指纹尤其需要谨慎。限制提示词长度与查询数量是作者认为较容易落地的部分缓解，不过仍可能受到多账户分摊查询的挑战。这里是防御讨论，不是已证明的完全阻断方案。

作者承认的局限Limitations

• 只覆盖有限组件与模型，其他系统上的信号强弱尚不确定
• 依赖候选系统的参考指纹，专有配置可能根本无法复现
• 查询量可到数百条提示词，随机采样又放大实际调用量
• 存在浮点差异，不代表所有条件下都能从文本稳定反推出唯一组件

8结论：执行环境也是模型行为的一部分Conclusion

论文最值得保留的结论是：LLM 的可观测行为不仅由权重决定，也与执行它的软件和硬件有关。即使 API 不暴露分数，文本本身也可能包含能被学习的系统信息。

对系统安全，这意味着“不公开部署细节”不能单独成为防线；对可复现性，它提示我们需要记录模型之外的执行环境。至于能否据此可靠识别一个陌生线上服务，仍要逐项检查先验、参考系统可得性、温度、批处理和查询预算。

—致谢与资金披露Acknowledgments and Disclosure of Funding

论文披露资助来自 European Research Council 的 MALFOY 项目（101043410），以及德国 DFG Excellence Strategy 的 CASA 项目（EXC 2092 CASA - 390781972）。此项是原文结构的一部分，不构成效果独立复现或部署验证。

—参考文献References

参考文献位于 PDF 第 10–11 页。保留原始书目，避免把未逐篇核验的引文转述成独立证据。本阅读站的实证判断均依据当前这篇论文及其附录。

A附录 A：社会影响Societal Impact

组件指纹识别具有双重用途：帮助审计部署、发现可复现性问题，也可能被用来为攻击筛选目标。作者通过公开这一侧信道及对应缓解思路，希望推动更可信的 LLM 基础设施。这里提出的是风险与研究价值，不是“只要知道显卡就能攻破服务”的主张。

B附录 B：技术配置与可复现性边界Technical Setup

附录把实验中“到底运行了什么”列得更具体。以下版本按论文原表逐字保留，尤其 SGLang 的 “v.5.5” 和 lmdeploy 的 “12.0”；不擅自补成看起来更常见的版本号。若要复现，应向作者或实际工件核对这些字符串。

Table 6 原表 · 引擎版本与许可证

↗ 原表 · p. 13

Table 7 的 10 个有效引擎—后端组合是：vLLM 与 SGLang 各支持 FlashAttention、FlashInfer、Triton；TensorRT-LLM 使用 FlashInfer 或 TRTLLM；LMDeploy 使用 PyTorch 或 TurboMind。每一对再配三种 GPU，形成 30 组实验条件。这种兼容性结构也意味着后端与引擎标签存在相关性。

Table 7 原表 · 有效引擎—后端组合

↗ 原表 · p. 13

Table 8：H100 对应 Hopper／GH100，A100 对应 Ampere／GA100，L4 对应 Ada Lovelace／AD104。本文在这些 NVIDIA GPU 上验证，未覆盖 AMD GPU、CPU 或其他加速器。

Table 8 原表 · GPU 架构与芯片

↗ 原表 · p. 13

三个模型的 dtype 均为 BF16；Llama 使用 Llama 3.2 许可，两项 Qwen 使用 Apache-2.0。数据集许可分别为 CC0-1.0 与 CC BY-SA 3.0。本文不是跨量化、跨精度或跨模型版本迁移的测试。

Table 9 原表 · 模型标识符、revision、dtype 与许可

↗ 原表 · p. 13

Table 10 原表 · 数据集标识符、revision 与许可

↗ 原表 · p. 13

C附录 C：三种应用角色提示词Application-Specific System Prompts

三段提示词从 fka/prompts.chat 随机抽样，用于第 5 节的应用专用系统提示词实验：

1. AI Writing Tutor：让模型以写作导师身份点评文章并帮助改进
2. Travel Guide：根据位置、已访问地点和地点类型，推荐附近或相似去处
3. Personal Trainer：根据体能、目标与生活习惯提供健身计划

这些普通角色提示展示了实验不只使用默认 system prompt；它们并未覆盖复杂多层指令、不断变化的上下文或未知的服务端安全包装。原始英文提示保留如下，便于核对而不把概述误当成逐字转录。

查看附录 C 的原始提示词

↗ 原文 p. 14