人工智能到底是什么？机器学习与深度学习的底层逻辑

这个系列的第一期我想聊聊最基础也最容易被误解的问题我们天天挂在嘴边的“智能”到底是什么在真正动手写代码、调参数、训练模型之前如果没把AI这个看似玄学的概念用自己的逻辑理顺后面学再多工具都只是搬砖。作为长期在一线做算法落地的人我在这个系列里计划用几篇文章把人工智能的内核拆开揉碎讲清楚不堆公式、不抄论文、不制造焦虑就用大白话把原理说透。这一篇先解决认知层面的东西什么是智能、AI为什么现在才爆发、它和机器学习深度学习到底是什么关系、以及普通人怎么正确调用这些能力。后面几期再逐层深入到训练实操、数据工程和部署上线整个系列的目的只有一个就是让看我文章的人不会被概念唬住也不会被烂大街的自媒体带偏。1. 内容整体设计与思路拆解1.1 为什么科普要从“重新定义智能”开始先问一个问题什么叫智能你可能会说能思考、能学习、能解决新问题就是智能。这个回答没错但它太模糊没法用来指导工程实践。我在跟团队里新人聊的时候发现很多人对AI的第一印象停留在科幻片那个层面觉得智能就是个无所不能的意识体。带着这种预期去学技术落差感极大遇到一点失败就会怀疑自己是不是哪里搞错了。做这个系列科普时我给自己定了几条硬规矩也是我理解中科普内容必须守住的核心。第一条只讲能被验证的内容。任何概念如果不能在具体例子里被观察、被操作、被复现我就不写。比如“机器是否具备意识”这种哲学问题偶尔聊聊可以但它不是工程实践里能处理的东西放入科普对读者没有实际帮助。第二条用生活中的比喻降低理解门槛但必须明确比喻的边界在哪里。把神经网络比作人脑很方便但两者差异巨大。靠类比建立直觉很有用靠类比套用结论就会翻车这是我的亲身体会。第三条每条核心知识点都匹配一个现实应用场景。让读者知道这个原理能拿去做什么能解决什么问题避免学完之后觉得“懂了但没用”的空虚感。按照这个思路本篇正文的核心逻辑线是这样的先把智能拆解成可操作的三个组成层次再讲现代AI的主流路径为什么科学且有效然后用一个具体到可以直接上手的图像识别例子把刚才说的抽象概念落到地面最后集中回应普通人最常问我的一批疑问。1.2 为什么“智能”可以被工程化地拆解很多科普文上来就跟你讲神经网络、讲反向传播、讲各种数学公式信息量虽大但最大的问题是读者还没建立“为什么需要这些东西”的宏观认知就直接掉进了细节的海洋。正确的打开方式正好相反先把智能拆成一个可操作的框架再逐层往里填充技术细节这样学到的知识才不是散点而是串成了一条线。我常用的拆解方式是参考一个被广泛接受的认知层次模型它把智能分为三层感知层负责获取信息认知层负责处理信息行动层负责根据处理结果做出反馈。感知层智能系统类比人的五官负责接收外界的原始输入。图像识别里的像素点、语音识别里的声波、机器翻译里的文本序列都属于这一层。认知层对感知层送进来的信息进行加工、总结、判断。这一层最接近我们平常理解的“思考”也是目前各类智能算法投入最多的环节。行动层把认知层的结论转变为一个具体输出可能是文字回复、也可能是机械臂的动作指令。这个三层结构最大的价值是告诉你一件重要的事AI系统与人不同它不追求全面的通用智能现代AI几乎都是只做某一层或某几层中部分流程的专用智能。知道了这一点你以后再看各种产品宣传就不会被“全知全能”这种话术给迷惑了。1.3 系列内容的编排逻辑与读者预期管理第一期文章我刻意避开深入的代码实操先建立全局认识这并不代表实操不重要。相反先建立骨架再填血肉后续写代码时才不会被细节带偏。我遇到过太多只用过现成工具、对底层机制一问三不知的人他们换了个场景就不知道如何排查问题。这类人缺的恰恰就是今天这期要讲的底层认知。同时我也必须管理你的预期。读这篇文章不会让你立刻变成大模型专家但你会比那些天天刷短视频、只记住一堆名词的人强得多。因为你会掌握一套自己的判断方法哪些话术是故弄玄虚哪些是技术事实哪些应用是放卫星哪些是真正能落地的这些比多记住几个专用名词有用得多。2. 核心细节解析主流的智能实现路径到底在做什么2.1 从“规则驱动”到“数据驱动”的转变人工智能这个名词从上世纪中期就开始用了。早期研究者的思路是一个在今天看来相当有吸引力的方法把专家的经验总结成一条一条规则然后让计算机按照规则执行。比如做一个诊断系统就把“如果体温高于某数值且伴随某某症状则判定为某种疾病”这样的规则写进程序。这个思路自然、直观早期也确实解决了一部分问题。但很快它就碰到了顶棚。现实世界太复杂了规则之间互相冲突例外情况层层叠叠。想靠人手写规则覆盖所有可能性写出来的规则数量会爆炸而且维护成本高到不可接受。我自己早年接手过类似的规则引擎项目当时的体会极其深刻程序里塞了两千多条规则新人接手后完全不敢动了牵一发动全身这就是基于规则的系统最痛苦的死穴。后来行业集体转向了完全不同的路线这段历程对我个人理解AI起到了决定性作用不手写规则而是通过数据自动总结规律。这条路线的核心思想说起来极其简单你给计算机喂大量例子让它自己找出例子背后的模式。这个过程就是机器学习。现代人工智能的主体是建立在机器学习基础上的而不是建立在“人工编写规则”基础上的理解了这一点你就抓住了理解AI的关键。2.2 数据、特征、模型与预测的闭环机器学习这套逻辑拆开来看就四个核心组件把它们彻底理解清楚就能看懂市面上90%的AI产品在做什么数据也就是例子比如一批已经标明“是猫”或“不是猫”的图片。特征数据中那个你决定让机器关注的维度比如图片里的颜色、纹理、轮廓。模型机器从数据里学到的那套判断规则只是它不用人类语言表达而是用一堆数学参数表达。预测给模型一个没见过的输入它根据已学到的规则输出一个判断结果。这套流程可以和你熟悉的传统编程对比一下。传统编程输入数据加写好的规则程序输出答案。机器学习输入数据加答案标签输出规则模型。这个对比我在给新人培训的时候一定会写出来因为它是理解AI世界最关键的一次思维切换。一旦想通了这件事你就知道为什么数据被称为新时代的重要资源模型的规模、数据的质量与覆盖面直接决定了这套系统的能力上限。2.3 三个最能解释日常AI产品的学习范式机器学习的“学”方式并不只有一种。了解它们之间的区别有助于你理解为什么有些场景用这种方法效果好换个场景又完全行不通。第一种叫监督学习。这是目前商业应用最成功、占比最大的范式。它就是喂给机器成对的输入输出样本让它学着建立两者间的映射关系。比如给它看一万张标了“猫”的图片和一万张标了“狗”的图片让它学会区分没见过的新图片。垃圾邮件识别、用户流失预警、房屋价格评估都是监督学习的经典应用场景。第二种叫无监督学习。它的特点是数据没有标签机器需要自己发现数据中隐藏的结构和规律。比如电商平台为什么能把用户分成好几个特征明显的群体就是先用无监督学习把用户自动聚成了几类再人工给这几类贴标签。它像自己摸索整理房间的思路不必有人提前告诉你每件物品的类别。第三种叫强化学习。它的学习方式更像训练宠物机器通过不断尝试动作根据环境给出的奖励和惩罚来调整自己的策略目标是把长期累计的奖励最大化。下棋程序、游戏对战、机器人路径规划都是这一类方法的典型舞台。它不是按照“标准答案”来学而是在与环境的反复互动中进化出应对现实的能力。2.4 深度学习深度在哪里理解了机器学习再来看深度学习就轻松多了。深度学习是机器学习的一个子集它特殊在使用了多个层级结构来处理特征。这个“深度”指的就是层级多。举一个直观的例子假设用深度学习识别一张人脸图片第一层可能只识别边缘和横线第二层把这些边缘组合成眼睛、鼻子、嘴等局部器官第三层再把器官组合成整张脸。每一层都在前一层的基础上做更高层次的抽象。这种自动替你分层提炼特征的能力是深度学习最大的优势。在它出现之前传统机器学习需要人工设计特征也就是由人来告诉机器应该看图片的哪个部位。深度学习把这个过程自动化了人只负责设计网络结构和训练策略机器自己去学习应该提取什么特征。不过强大的代价也很明显。深度学习对数据量的需求极其庞大对计算资源的需求也是水涨船高。市面上你看那些效果惊艳的模型背后往往有海量的数据和高性能显卡堆出来的训练成本。总有人说深度学习是个黑箱确实有一定道理因为网络内部数百万甚至数十亿个参数协同作用人类很难逐条解释它凭什么做出某个决定。3. 实操过程与核心环节实现3.1 经典任务实操训练一个能认手写数字的小模型概念说得再多不如动手做一个极简项目。这一节我用一个深经典的任务——手写数字识别——来演示上述说法的完整落地过程。为什么要选它因为这个任务足够小、足够纯粹不需要清洗海量数据也不依赖超强计算资源一台普通电脑就能完成全部流程但麻雀虽小五脏俱全数据准备、模型构建、训练评估、预测部署的思路它全都包含。我要做一个什么样的东西呢给它一张手写数字图片它能够告诉我这个数字是几。看起来很简单但背后的流程和做一个大规模图像分类系统一模一样。第一步准备数据。这里用到的是一个非常经典的公开手写数字数据集里面包含了大量前人写好的0到9的手写数字图片及对应的正确标签。在使用前要对数据做预处理把每张图统一缩放到相同尺寸把像素值做标准化处理让数值范围更适合模型学习。数据准备阶段是无聊但重要的体力活真实项目里这个环节通常要占掉项目周期的六到七成时间新手往往低估这一步的工作量。第二步划分数据集。把准备好的数据分成三份训练集用来让模型学习验证集用来调整参数和选模型测试集用来最终评估模型效果。这几个集合不能混在一起使用否则评估结果会虚高。我见过有人把所有数据都用来训练然后宣称准确率高得惊人这种自欺欺人的做法在正规项目中是要淘汰的。第三步搭建模型。这里有个不需要自己去发明网络结构的技巧直接调用现成的模型结构比如多层卷积网络。说实话对于初学者乃至大多数工程应用从头设计模型结构几乎都是一件收益很低的事行业里经过大量实践沉淀下来的经典结构在大多数情况下都比你自己拍脑袋设计的要好用得多。第四步训练模型。这是最直观的“学习”阶段。训练过程的核心逻辑是一个循环把训练数据一批一批喂给模型模型做出预测后计算预测结果与真实标签之间的差距这个差距用一个指标来衡量叫损失值数值越大说明错得越多。接下来模型会根据这个差距反向调整内部的参数让下次预测结果更接近真实标签。这个过程不断重复直到损失值降低到一个可接受的范围。为了直观理解训练效果我建议每隔几次迭代就输出一次当前损失值并抽样看几个预测结果。你会看到一个明显的变化曲线损失值前期下降快后期趋缓最终逐渐收敛。这个时候模型基本学成了。第五步用测试集评估。把训练好的模型放到它完全没见过的数据上做预测计算准确率。这一步才是真正检验模型是否学到了泛化规律的时刻。如果测试集上的效果好说明这个模型是真的能用如果训练集效果很好、测试集效果很差那就要警惕一种叫过拟合的情况可以理解成模型把训练数据死记硬背下来了并没有真正掌握底层规律。过拟合的常规处理办法包括增加数据量、简化模型结构、使用正则化方法等。第六步部署使用。把保存下来的模型封装成一个简单接口接收新图片输出预测数字。到了这一步这个手写数字识别系统就可以投入实际使用了。3.2 参数选择时你是怎么决定的实操过程中有几个关键参数的选择直接影响最终效果这也是新人最容易迷茫的地方。学习率这个参数决定了模型每次调整参数的幅度。步子迈得太大容易在最优解附近来回震荡甚至直接越过它步子迈得太小训练收敛速度极其缓慢白白浪费计算时间。实操里我习惯先设一个常规值然后观察损失曲线的变化如果损失震荡剧烈不下降就往小调如果下降太慢就往大调一点点。批次大小决定每次往模型里塞多少个样本。这个参数受显存限制在显存允许范围内选大一些有时能加速训练但不是越大越好极端大的批次可能让模型走向某种退化导致效果反而变差。稳妥的办法是在常见取值范围内做几次小规模对比实验选效果最稳的那个。训练轮数决定完整跑多少遍训练集。轮数太少学不到位太多则可能过拟合。判断标准是盯住验证集效果一旦验证集效果不再上升甚至开始下降就该考虑停止训练了。这个操作叫早停实操里能帮你省掉大量时间。这些参数之间是耦合的调一个往往会牵动另外几个跟着变。我的建议是不要指望一次到位先固定其他参数只调一个变量记录对比效果再逐步调整下一个。就跟做实验一样变量控制得越单一你的判断就越有依据。3.3 实操现场记录与效果观察我自己做这个经典Demo时第一次跑通的场景至今印象很深。训练刚启动的时候损失值在那里纹丝不动心里还挺慌的怀疑自己是不是哪里搭错了。等到十几轮之后损失值开始肉眼可见地往下掉到几十轮的时候已经稳定在很低的水平。用测试集一评估准确率超过了98%。但在高兴之余我还做了一件新手极易忽略的事专门挑了几张歪歪扭扭、人一眼都很难辨认的数字出来测试。这些在训练集里难得一见的写法模型竟然也蒙对了大半。这个实验让我对机器学习有了一个比较本质的体会它学到的不是某个具体字形的死记硬背而是一种更靠向规律层面的特征组合。当然也有翻车的时候。有一次我把训练数据和预测数据的预处理方式写得不一致训练时做了数值标准化预测时却忘了做。结果模型面对输入数据时的状态和训练完全不一致准确率直接崩到惨不忍睹。查了很久才发现是这么个细节问题。这个教训后来被我写进了团队的代码检查清单里训练与推理的使用方式必须完全对齐这是AI工程化落地最容易踩的坑之一。4. 常见问题与排查技巧实录4.1 九成新人最容易踩的认知坑科普做了这么久我发现好些问题是所有人都会问一遍的整理出来集中解答一次能帮你少走大量弯路。第一个问题AI是不是真的在“思考”从我工程实践的角度看更合适的说法是它在做极其复杂的模式匹配和概率计算。它输出的每个词、每个判断本质上是根据输入内容计算出来的最合理的下一个结果。我用一个相对的表述来总结“它没有在思考但它的计算方式在某种程度上模拟了思考的功能。理解这个区别是你正确评估AI能力边界的关键。”第二个问题为什么AI有时会“一本正经地胡说八道”这通常是因为模型在训练中学到的大多是相关性而不是严格的因果逻辑。当它遇到一个没见过的输入时会按概率组合出一个听起来合理但没有事实依据的回答。所以你把AI当成一个博闻强识但偶尔会自信胡说的助手心态会健康很多。在重要事情上永远记得核查它的输出。第三个问题AI会不会很快取代我的工作我的观点是AI取代的不是人而是“不掌握AI工具的人”与“掌握了AI工具的人”之间的差距被拉大了。凡是高度重复、模式固定的工作内容被自动化替代的风险一定更高凡是需要复杂决策、深度沟通、创造性解决问题的岗位短期内只会被AI增强而不是替代。第四个问题窄智能和通用智能的差别是什么现在的AI几乎都是窄智能也就是只能在某个特定领域超越人类比如下棋、识别图片、写文章。所谓通用智能是指能在各种不同领域像人一样灵活适应这东西目前还不存在。凡是跟你宣称马上要造出通用智能的你都要多打几个问号。第五个问题是不是数据越多模型就一定越强数据量很重要但数据质量和数据的覆盖度同样关键。如果你喂给模型的数据全是同一个来源或者某些类别占了绝大多数学出来的模型就会有系统性偏见。真实项目里提升数据质量往往比无脑加量性价比更高。4.2 一句话回答更多高频疑问什么是API一句话别人把模型能力包装成按次或按量计费的服务接口你在自己的代码里调用它就能获得AI能力而不用自己搭建整套系统。什么是参数你可以把模型内部用来做预测的那些可调数值理解成它的“记忆”和“倾向”训练过程从根本上说就是在不停微调这些数值。什么是模型开源把训练好的模型文件或训练代码公开出来让别人可以基于它继续做应用或二次开发。开源不等于免费商用要具体看清它的许可以及使用条款。为什么同一个AI工具不同人用出来效果差异巨大因为真正决定产出质量的是你怎么向它提问、怎么组织上下文、怎么筛选和复核结果。工具本身只是起点使用工具的人才是关键变量。4.3 新手入门时的排查黄金法则这个建议几乎适用一切AI学习路上的疑难杂症先确认数据没问题再确认预处理方式没问题然后检查训练和推理路径是否一致最后再怀疑模型的代码和参数设置。这四个检查点按顺序走一遍能解决我见过的大多数“玄学问题”。还有一个小技巧特别适合模型训练调参阶段先把目标设置得极简单跑通一个极小的流程再逐步增加难度。比如先用100张图、训练几轮确认全流程能走通再去大规模跑。这样做的好处是每次报错都能迅速定位到具体环节不会被庞大的数据和漫长的训练时间拖住排查脚步。4.4 科普中常被误解的几个专业术语大模型不是神秘的黑魔法。它的本质依然是机器学习模型只是在参数规模和数据规模上达到了一个新的量级从而涌现出许多小型模型不具备的能力。但核心的训练逻辑和推理逻辑没有跳出我们前面讲的那套框架。神经网络不是对大脑结构的真实模拟它只是受到神经元连接方式的启发设计出的一种数学计算结构。用“受启发”来理解它的起源比用“等同于”来理解它的能力要准确得多。人脸识别、语音助手这类产品表面看起来像是同一个AI在服务你实际上背后往往是多个不同模型的分工协作先有一个模型负责检测有没有人脸另一个负责提取特征还有一个负责比对身份用户感知到的是一个整体背后是系统工程的默契配合。5. 如何正确看待AI场景思维与边界意识5.1 场景思维让你永远不被忽悠说了这么多原理最终要落到怎么用。这里我都推荐一个自己验证过特别实用的思维方式场景思维。场景思维的要点是在评价任何一个AI能力之前先强制自己回答三个问题这个AI服务的具体输入是什么是文本、图片、语音、还是传感器数据它输出的具体结果是什么是一个分类标签、一段生成文本、还是一个控制指令它将被用在什么地方解决谁的什么问题出错了会有什么后果把这三个问题想清楚你就能够判断一个AI能力是不是真的适合这个场景。比如说“用AI写周报”这个场景就非常具体输入是本周工作记录的要点输出是结构完整的周报文本用错了场合最多重写一份风险可控这就很适合让AI来做。可是如果你问“用AI来诊断罕见病”输入是病历和检查数据输出是诊断结论一旦出错后果极重这就涉及责任归属和验证机制的问题直接套用通用对话模型显然是不靠谱的。场景思维帮我挡过许多本不该交的学费。每次看到有人将同一套AI方案硬塞给完全不同的场景我就知道这样的人还没建立起对AI能力边界的正确感知。5.2 用概率眼光理解AI的结果判断在这套技术体系里模型在绝大多数情况下并不是“精确判断”而是“概率估算”。它给出的答案是在它见过的海量样本里这个特征组合大概率对应哪个结果。理解对我评估AI输出质量帮助很大。当我看到模型的判断结果时我会问这个判断的置信度有多高如果置信度一般那这个输出只能作为辅助参考而不能作为定论。合理的做法是把高置信度的部分直接用把低置信度的部分留给人工复核。这才是对AI负责任的使用姿势。5.3 对待炒作一词的定力我的习惯是听到一个让人心潮澎湃的概念时先冷静十秒想一想这个能力背后到底有没有真实可靠的技术支撑它有没有在某个具体场景里被反复验证过如果两个答案都是否定或含糊的那么它就更接近叙事而不是事实。不过度迷信也不全盘否定是我希望每一位读者读完这个系列后拥有的心态。新事物刚出来的时候声音一定是嘈杂的有人把它吹上天有人把它踩下地只有你自己掌握了判断工具才能在噪声里找到真正有价值的东西。6. 写在最后这期内容从认知层面把“智能”这个大家既熟悉又陌生的概念拆成了可以有效操作的框架也带大家一步步走完一个小型的图像识别项目流程顺带解答了一堆我在一线被追问过的高频问题。做科普这件事最怕的就是把简单问题复杂化用术语轰炸来制造一种虚假的深度。我写这个系列的核心诉求就是希望用大白话把这些看似神秘的东西翻译成每个人都能理解、能使用、能判断的知识。下一期我计划把焦点转向大模型这个领域聊聊它为什么突然成了整个行业的主角、它背后最核心的技术演进路径是什么、以及普通人如何正确判断一个基于大模型的应用到底靠不靠谱。如果你看完这一期有任何疑问或者有特别想让我掰开讲透的话题欢迎在评论区告诉我我会按照大家关心的热度来安排后续内容。做科普最大的乐趣就是看到有人因为你的文章而对某个技术产生真实的好奇心这是我持续写下去的最大动力。