87.4%：OpenAI 让模型写出 20 种语言 SQLite

封面大数字海报 深海蓝。「87.4%」是 GPT-6 Astra 在 MultiLangBench 上 20 种语言的平均测试通过率官方最大推理力度柱条与右侧 COBOL 迁移数字据官方数据绘制非 OpenAI 官方图。银行还在跑 COBOLOpenAI 为什么现在才专门写这篇全球不少网上银行系统后台仍是 COBOL。OpenAI 2026-10-19 这篇博客一开篇就甩出一组行业数字COBOL 支撑超过 40% 的网上银行系统、80% 的面对面信用卡交易、95% 的 ATM 交易Fortran 还用在天气预报和核反应堆安全分析里。这组「40% / 80% / 95%」不是 OpenAI 自己测出来的博客是引用行业背景IBM Think 的《What Is COBOL》一文用的是同一口径可作交叉核对。博客要讲的不是「老语言该不该死」而是另一件事这些语言公开代码和文档远少于 Python、JavaScript模型学得少企业客户却反复反馈——修 bug、迁语言时模型经常在这儿翻车。文档不全、原作者离职、业务规则只活在代码里这是维护现场的常态。OpenAI 为此做了两套互补评测MultiLangBench能不能在指定语言里从零写出一套 SQLite 兼容的数据库引擎。COBOL 迁移评测能不能把既有 COBOL 程序迁到另一种语言并且行为不变。[官方图] 博客页 SEO 配图标题旁标出 COBOL、OCaml、Fortran、Visual Basic。图源OpenAI 官方博客 Advancing coding in low-resource programming languages原文Advancing coding in low-resource programming languages作者 OpenAI2026-10-19。本文是要点解读加编者注观点归原作者文中评测数字以官方博客原文为准本号未重跑评测。下面先摆两张对比表再讲成本最后看官方自己划的边界。一张表20 种语言从零写 SQLite平均通过率从 26.8% 到 87.4%MultiLangBench 的任务很硬给定一种编程语言模型要组织代码库、管状态、处理错误、在保住已有功能的前提下加新功能最终交出一个 SQLite 兼容引擎。为了让 20 种语言能比评测用数据库文件当公共接口候选程序拿到初始库和一条 SQL吐出改过的库再用参考版 SQLite 检查内容对不对。测试改编自 SQLite 既有测试套件。报告的是测试通过率和 API 成本。最大推理力度下官方数字是指标GPT-5.6 SolGPT-6 AstraGPT-6 Luna20 语平均通过率26.8%87.4%40.3%COBOL10.9%72.1%17.1%OCaml25.6%85.8%34.1%Fortran21.4%83.5%31.4%Visual Basic27.5%89.4%41.6%Astra 在 20 种语言里有 19 种高于 83%COBOL 仍是最难的那一个约 72%。博客写明每种被测语言都有提升。[框架示意] 据 OpenAI 博客 §1 整理口径为最大推理力度下的测试通过率。本图由本号用 HTML 排版绘制。口径别混87.4% GPT-6 Astra、MultiLangBench、20 种语言平均测试通过率、最大推理力度。不是「随便写点 COBOL 就有八成把握上线」也不是COBOL 单语分数COBOL 是 72.1%。对照基线是GPT-5.6 Sol 的 26.8%不是别家报道里偶见的其它模型名。评测设置和测试套件已开源到 GitHub 仓库 openai/MultiLangBenchApache-2.0。README 写明目标是实现 SQLite3.40.1完整转换测试约 2.4 万条常规评测建议只用以00/01/02开头的272条。另一张表把 COBOL 迁走低推理档就从 5.4% 到 86.6%第二套评测更贴银行、保险里的真实活把 COBOL 程序迁到C、Java、Kotlin、Python 或 Rust且保住原程序做什么。博客举了定点运算的例子COBOL 默认丢掉多余小数位除非你显式要求舍入。改写如果擅自四舍五入程序可能「跑得通」账却对不上。所以他们用隐藏测试卡可观察输出的逐字节一致全部通过才算迁成功。官方数字档位模型准确率成本口径低推理力度GPT-5.6 Sol5.4%对照基线低推理力度GPT-6.1 Sol86.6%约为旧模型 API 成本的61%摘要写作便宜约39%更高推理力度GPT-6.1 Sol97.9%官方称接近评测饱和「39% less」和「61% of the API cost」是同一件事的两种写法都来自官方博客。[框架示意] 据 OpenAI 博客 §2准确率 全部隐藏测试通过。本图由本号用 HTML 排版绘制。97.9% 的口径GPT-6.1 Sol、更高推理力度、该 COBOL 迁移评测上的准确率。它几乎顶到评测天花板不等于「迁完就能切生产流量」。博客接着写了一句硬边界这类行为保持能力对维护和现代化有用但应用到生产软件仍需专家审查并对照该系统的业务规则与依赖做测试。花钱更少也能涨GPT-6 Luna 大约便宜 78%适合谁先试不是每家都要一上来就打满推理、打满 Astra。博客给了低成本档 GPT-6 Luna 的数MultiLangBench 平均通过率40.3%仍高于 Sol 的 26.8%且每种语言都有提升估计平均 API 成本约$0.77 / sample对照 Sol 约$3.48大约低78%低资源语种上 Luna 的涨幅更「温和」COBOL 10.9%→17.1%Fortran 21.4%→31.4%Visual Basic 27.5%→41.6%[框架示意] 据 OpenAI 博客 §1 的估计 API 成本与通过率。本图由本号用 HTML 排版绘制。读法可以很朴素先用 Luna 在非核心路径上试「读懂仓库、改小补丁、出迁移草稿」关键账务路径再加推理力度或换更强档并留下人工复核闸门。评测不等于上生产官方自己强调要专家复核业务规则两张表看完更重要的是分寸。我们把博客说了什么和没说什么摊开[框架示意] 对照 OpenAI 博客全文与 openai/MultiLangBench README「没说」一项亦对照 AiLookout 跟进报道。本图由本号整理。说了两套评测的任务定义、主要数字、成本对比MultiLangBench 开源方便外人核对测什么、每种语言差在哪上生产要专家审查 对照业务规则与依赖测试没说至少这篇里没有COBOL 迁移集有多少程序、多长、从哪来有没有开源该迁移评测集目前只见 MultiLangBench 开源任何银行核心 / ATM 上线案例「一键替换」核心账务系统这类承诺评测分能不能直接当验收标准所以这篇更适合当成「能力曲线往上走了」的证据而不是「下周切掉主机」的施工图。编者注1. 数字要带尺子。对外转述时建议写成「MultiLangBench 上GPT-6 Astra 在最大推理力度下20 种语言平均测试通过率 87.4%对照 GPT-5.6 Sol 26.8%」COBOL 单语写 72.1%迁移写清「低推理 86.6% / 高推理 97.9%模型是 GPT-6.1 Sol」。少一个限定词意思就飘。2. 评测任务 ≠ 银行核心改造任务。MultiLangBench 考的是从零实现 SQLite 兼容引擎迁移评测考的是隐藏测试上的输出对齐。真实核心系统还有联机事务、批处理窗口、监管报表、周边组装语言与中间件。分数高只说明「在这些尺子上变强了」。3. 定点运算那条提醒值得贴在迁移检查单上。博客用 COBOL 舍入规则举例表面跑通、财务结果不同。企业侧至少要单列金额舍入、缺省记录、编码页、日期与假期日历、对账差额处理。4. 开源的是尺子不是迁移题库。openai/MultiLangBench 可复现「从零写库」这条线COBOL 迁移集的规模与样本未公布。跟进报道 AiLookout 也指出这一点。拿第三方复现分数对比时先确认是不是同一套测试。5. 国内团队怎么落地这篇没写但边界清楚。能立刻做的是用开源 MultiLangBench 看自家模型/代理在遗留语言上的短板把「AI 出草稿 → 资深 COBOL/Fortran 工程师审 → 对照业务用例与对账」写成流程。不能做的是把 97.9% 写进立项材料当成「可免人工验收」。6. 行业 40%/80%/95% 是背景不是 OpenAI 的实验结果。引用时写「行业常用口径 / IBM 等来源复述」别写成「OpenAI 测出来银行有 40% 跑 COBOL」。维护老系统的团队可以看什么、创业团队可以先跳过适合谁 / 不适合谁适合读、适合拿去内部对齐的人银行、保险、清算、政务里还在养 COBOL / 主机应用的架构与工程负责人用两张表对齐「模型进步了多少」用「专家复核」原话对齐风险话术。做遗留现代化、代码迁移工具的团队关注逐字节对齐与定点运算这类易踩坑点。科学计算 / 气象 / 能源里还在写 Fortran 的小组看 MultiLangBench 里 Fortran 从 21.4% 到 83.5% 的相对进步再决定要不要开内部试点。不适合 / 先别用这篇当行动令的场合不适合把 87.4% 或 97.9% 理解成「可以一键替换核心银行系统」。不建议创业团队若当前栈全是 Python/TypeScript、也没有遗留包袱就为这篇专门立项——优先级更低扫一眼数字即可。先别用公开评测分替代你们自己的业务验收集官方也没把评测当成生产验收。使用建议对内汇报先写口径表平均分 / 单语分 / 迁移低档 / 迁移高档 / 成本五列分开避免标题党式合并。试点选非核心路径只读分析、文档回填、测试生成、迁移草稿比直接改联机账务更合适。保留人工闸门金额、舍入、对账、监管字段必须有懂业务规则的人签字。想核对尺子去看 openai/MultiLangBench 的测试说明与推荐的 272 条子集迁移题库未开源就不要假装能复现 97.9%。