机器学习基础

和传统编程的区别

传统编程是程序员写下规则，机器执行。比如"如果邮件包含'中奖'二字就放进垃圾箱"。规则是手写的，遇到例外就要改代码。

机器学习反过来：程序员不写规则，而是给机器一大堆"输入-正确输出"的例子（叫训练数据），让机器自己找规律。学到的规律以一组数字（参数）的形式存在模型里。

三类主要任务

• 监督学习：每个训练样本都标好了正确答案。用于分类（垃圾邮件识别）、回归（房价预测）。
• 无监督学习：没有标签，让模型自己发现数据里的结构。常见用途是聚类（把相似用户归为一组）。
• 强化学习：模型在环境中尝试行动，根据奖惩信号调整策略。AlphaGo 走哪步棋、机器人怎么抓杯子，都属于这一类。

大语言模型训练用的是监督学习 + 强化学习的组合：先用海量文本做"下一个字预测"（监督），再针对具体任务让人工评分员给回答打分，让模型调整（强化）。

训练和推理是两件不同的事

训练是让模型从数据里学规律，过程耗时、耗算力、耗电，需要大量 GPU。一轮训练可能要花几周到几个月。

推理是用训练好的模型来回答问题，每次回答都是一次推理。推理远比训练便宜，但请求量大了之后总开销也不小。

这也是为什么 API 调用是按"千个 token"收费——成本就来自推理阶段的算力。

模型为什么需要那么多数据

模型的参数量越大，能记住的模式越多，但需要的数据量也按比例增长。如果数据不够，模型会把训练集里的细节背下来（过拟合），遇到新数据就表现差。这就像一个学生只背答案，不理解原理——考试遇到原题能拿分，遇到变形题就不行。

所以今天训练一个高质量模型，瓶颈往往不是算法，而是数据质量和算力规模。