本地部署之后,哪些控制权仍不在你手里?端侧推理的四张边界表
离线日志分类器能在设备上跑起来离交付还差几件事升级后输出变了谁发现模型进程卡住业务是否继续日志有没有被调试程序传到外网只回答“权重在本地”这些问题都没有解决。我做技术方案评审时更愿意把“掌控”拆成可核对的对象。2026年10月8日Google在Gemini at Work公告里同时谈到Agent身份、沙箱、审计和支出上限。它是厂商对自己产品的说明不能证明本地方案天然具备同样能力但它提醒我们交付的是一条受管理的工作链不是一个模型文件。官方公告下面假设要在一台Linux网关上把错误日志分成“连接失败、存储异常、未知”三类。模型只生成候选标签固定规则检查后交给运维人员它没有删除日志和修改网络配置的权限。这个场景是设计样例没有对应客户或上线成绩。版本文件一样不代表整条推理链一样要固定什么应留下什么不能据此保证什么权重与分词器文件哈希、来源、许可证模型输出始终正确模板与运行时模板版本、代码commit、构建选项升级后输出完全相同后端与配置CPU/GPU后端、量化和采样参数跨设备逐字一致文件校验值得做但范围要说准。把下面代码保存成manifest.py它只校验一个构建产物的字节身份。读者可以直接复制运行不依赖额外项目。import hashlib from pathlib import Path def digest(path): h hashlib.sha256() with Path(path).open(rb) as f: for block in iter(lambda: f.read(1024 * 1024), b): h.update(block) return h.hexdigest() def verify(path, expected): if len(expected) ! 64: raise ValueError(expected must be a SHA256 hex digest) actual digest(path) if actual ! expected.lower(): raise ValueError(artifact mismatch) return actual if __name__ __main__: import sys print(verify(sys.argv[1], sys.argv[2]))命令为python3 manifest.py artifact.bin 预先记录的SHA256。摘要应来自可信构建记录不能在验收时从待验文件现算一份、再拿它和自己比较。哈希还需要与启动清单关联磁盘上校验通过的版本不一定就是当前常驻进程实际加载的版本。示例在macOS arm64、Python 3.9.6上用教学文件验证了“正确摘要通过、错误摘要失败”。这不是模型加载实验也没有验证供应链签名或运行中进程身份。数据把外传出口逐个画出来数据经过哪里要检查的边界原始日志到预处理是否包含令牌、个人信息谁能读取预处理到模型是否通过本地socket是否意外调用远端API模型到报告输出能否带回原始敏感片段调试与监控遥测、崩溃转储和日志上传是否另有出口“设备端运行”只说明推理的位置。它没有替你检查上传代理、目录权限、调试插件和报告接收者。若需求是禁出网应由系统网络策略限制并在目标环境核查实际连接不能只看模型应用的一个离线开关。资源映射、驻留与后端复制是三件事mmap建立虚拟地址映射。文件页什么时候进入内存、是否仍被回收、后端是否另建张量缓冲区不能从一次映射成功推出来。mmap手册观察对象可记录的证据模型文件大小、格式、哈希进程内存PSS、匿名区、文件映射及峰值运行时KV缓存、工作区、后端复制整机余量系统可用内存、其他业务、压力与温度同样mlock成功意味着相应页保持驻留代价是占用可回收余地还受权限和RLIMIT_MEMLOCK等条件约束。它既不是所有设备的必选项也不是所有设备都该禁止的选项。mlock手册图中四行是不同验收对象不是已经打通的生产链。对这个分类需求我会先设固定输入上限、并发上限和超时模型超时后保留原始事件并输出“未分类”不让主业务等待无限推理。回滚旧文件还在只完成了一半失败情形预定行为恢复时还需确认新权重无法加载新实例不接流量旧实例是否仍可服务新标签大量变成未知暂停扩大发布输入变化还是模型退化推理后端异常超时并保留事件队列是否重复处理回退到旧版本记录任务与版本旧配置是否兼容新记录本地方案、云端API和混合方案都能做可靠交付只是责任的位置不同。将上游依赖搬到设备上以后版本维护、漏洞修复、资源不足和恢复流程也转到了团队手里。先把这四张表写完整再决定部署在哪里。10月24日为文章排期。本文没有描述24日的新发布也没有给出设备吞吐、稳定运行时间或实机容量结论。配图均为概念示意。