特征工程完整指南：从数据清洗到特征选择的实战方法与代码

特征工程是机器学习里最容易忽略、但影响最大的一环。很多同学把大量时间花在调模型、试算法上结果效果上不去回头一看问题往往出在喂给模型的特征上。今天这篇我们就把特征工程完整拆开它到底是什么、在机器学习流程里处于什么位置、每一步具体怎么做、用什么代码落地、怎么判断特征工程有没有做对。这不是一篇概念科普而是可以直接对照着写代码、跑实验的实操笔记。适合正在学机器学习原理、准备做项目实战、或者做完基线模型想提分的读者。下面直接进入正题。1. 特征工程核心能力速览模块作用常用方法典型工具数据清洗处理缺失值、异常值、重复值删除、填充、截尾、分箱pandas, numpy特征变换统一尺度、改善分布标准化、归一化、Box-Cox、离散化scikit-learn, scipy特征编码把类别文本转成数值One-Hot、Label、Target Encodingpandas, category_encoders特征构造从原始数据衍生新特征聚合、组合、统计、时间窗口pandas, featuretools特征选择去掉无关和冗余特征过滤式、包裹式、嵌入式scikit-learn, mlxtend特征降维压缩特征空间保留主要信息PCA、LDA、t-SNEscikit-learn特征工程不是某一个单独步骤而是覆盖“原始数据变干净、变可用、变有效”整个过程的方法集合。它的核心目的只有一个让模型更容易学到数据中的规律。2. 特征工程在机器学习流程中的位置先看一条完整的机器学习应用流程数据采集数据清洗特征工程数据集划分模型训练模型评估模型部署与监控特征工程处于“数据清洗”和“模型训练”之间起到承上启下的作用。前面接的是原始数据后面接的是模型输入。从项目管理的角度看特征工程通常占整个项目 50% 到 70% 的时间。这不是夸张因为原始数据几乎不可能直接喂给模型。比如表格里有中文文本分类模型不认识字符串数值特征量纲差异巨大有的列是 0 到 1有的列是几千到几万类别特征有几十个取值直接映射成整数会让模型误以为存在大小关系缺失值不处理部分算法直接报错树模型虽能处理但会引入偏差特征数量过多训练慢、过拟合风险高解释性也差。这些问题的解决都靠特征工程。3. 数据清洗是特征工程的前提特征工程的第一步不是构造新特征而是把现有数据弄干净。原始数据通常存在三种典型问题缺失值、异常值、重复值。3.1 缺失值处理缺失值的处理方式取决于缺失比例和数据含义缺失比例低于 5%可以直接删除对应行数值型特征可用均值、中位数、众数填充类别型特征可用众数填充或新增一个“缺失”类别时间序列数据可用前向填充或插值重要特征缺失较多可以先预测填充即用其他特征训练一个小模型来估计缺失值。下面是 pandas 和 scikit-learn 的常用写法import pandas as pd import numpy as np from sklearn.impute import SimpleImputer df pd.DataFrame({ age: [25, np.nan, 30, 42, np.nan, 36], income: [5000, 8000, np.nan, 12000, 9000, np.nan], city: [北京, 上海, np.nan, 北京, 上海, 广州] }) print(缺失量统计) print(df.isnull().sum())from sklearn.impute import SimpleImputer num_cols [age, income] imputer_mean SimpleImputer(strategymedian) df[num_cols] imputer_mean.fit_transform(df[num_cols]) cat_cols [city] imputer_mode SimpleImputer(strategymost_frequent) df[cat_cols] imputer_mode.fit_transform(df[cat_cols])判断成功的标准填充后没有 NaN且数值分布没有被严重扭曲。最好在填充前画出特征分布填充后再画一次观察形状变化。3.2 异常值处理异常值会让线性模型、KNN、SVM 这类对尺度敏感模型产生较大偏差。常见检测方式有基于统计量用 Z-Score 判断偏离均值多少个标准差基于分位数用 IQR四分位距找出超出上下边缘的点基于业务规则比如年龄大于 120 或小于 0直接判定为异常基于模型用 Isolation Forest 或 DBSCAN 辅助标记。对于异常值可以删除也可以用上下分位数截尾。要注意异常值不一定是噪声有时是真正值得关注的事件比如交易风控里的欺诈行为。所以处理前先分析业务含义。def cap_outliers(series, lower_quantile0.01, upper_quantile0.99): lower series.quantile(lower_quantile) upper series.quantile(upper_quantile) return series.clip(lower, upper) df[income] cap_outliers(df[income])3.3 重复值处理重复数据会让训练集里某些样本被过度加权。用df.duplicated()检查用df.drop_duplicates()删除。对于部分重复即某些关键列相同但其他列不同则需要根据业务决定是否保留。4. 特征变换让数据更符合模型假设特征变换解决的是“尺度不一致”和“分布偏斜”两个问题。4.1 标准化与归一化标准化Standardization将特征转换为均值为 0、方差为 1 的分布适合线性回归、逻辑回归、SVM、KNN、PCA 等算法。from sklearn.preprocessing import StandardScaler, MinMaxScaler import pandas as pd data pd.DataFrame({ age: [25, 30, 35, 40, 45, 50], income: [5000, 8000, 11000, 15000, 20000, 30000] }) scaler_std StandardScaler() data_scaled scaler_std.fit_transform(data) data_scaled pd.DataFrame(data_scaled, columnsdata.columns) print(标准化后均值, data_scaled.mean().round(2)) print(标准化后方差, data_scaled.var().round(2))归一化MinMaxScaler将特征缩放到 0 到 1 之间适合图像像素值、需要固定取值范围的场景。选择原则如果算法假设特征服从正态分布则用标准化如果算法不依赖分布假设只关心范围则用归一化。树模型不需要标准化。4.2 处理偏态分布很多特征呈现长尾分布直接输入模型会影响训练效果。常见做法是取对数np.log1p(x)对于偏态明显的正数特征尤其有效。对于包含零或负值的特征可以考虑 Box-Cox 变换。import numpy as np from scipy import stats # 模拟一个偏态特征 skewed_data np.random.exponential(scale2, size1000) log_transformed np.log1p(skewed_data) # 打印变换前后的偏度 print(变换前偏度, stats.skew(skewed_data).round(3)) print(变换后偏度, stats.skew(log_transformed).round(3))偏度越接近 0分布越对称。这是判断变换是否有效的直观指标。4.3 离散化离散化就是把连续值切成区间比如把年龄分为“青年 / 中年 / 老年”。好处是增强模型稳定性、降低过拟合但也会丢失部分信息使用时需要权衡。import pandas as pd ages pd.Series([18, 22, 25, 35, 38, 45, 55, 60, 70]) age_bins pd.cut(ages, bins[0, 30, 50, 100], labels[young, middle, senior]) print(age_bins)5. 特征编码把类别特征变成数值大部分机器学习算法只接受数值输入所以类别特征必须编码。5.1 无序类别用 One-Hot 编码职业、城市、颜色这类没有大小关系的类别适合 One-Hot。sklearn 的实现是 OneHotEncoderpandas 可以用 get_dummies。import pandas as pd from sklearn.preprocessing import OneHotEncoder df pd.DataFrame({ city: [北京, 上海, 广州, 北京, 深圳] }) encoder OneHotEncoder(sparse_outputFalse) encoded encoder.fit_transform(df[[city]]) new_df pd.DataFrame(encoded, columnsencoder.get_feature_names_out([city])) print(new_df)注意类别数过多时One-Hot 会导致特征维度爆炸比如“地区 商品类目 用户 ID”组合出几百上千列。这时要考虑其他编码方式或降维处理。5.2 有序类别用 Label Encoding学历小学 / 初中 / 高中 / 本科 / 硕士本身有顺序可以映射为整数。但如果类别没有顺序直接映射整数会让模型误以为数值距离有意义例如“北京0上海1广州2”模型会认为广州离北京比上海远这没有实际意义。education_map {小学: 0, 初中: 1, 高中: 2, 本科: 3, 硕士: 4} df[education_level] df[education].map(education_map)5.3 高基数类别用 Target Encoding当类别数量很多且属于有序场景时可以用目标编码用该类别下目标变量的均值作为编码值。它有信息压缩能力但容易过拟合需要配合交叉验证使用。# 示意代码实际应放在交叉验证中计算避免data leakage df[city_encoded] df.groupby(city)[target].transform(mean)使用时要特别小心直接用全量数据计算目标均值会造成标签泄漏。正确方式是只在训练集折内计算。6. 特征构造从原始数据中找增量信息特征工程最有创造力的部分是特征构造。好的新特征往往比复杂模型更能提升效果。6.1 统计聚合特征针对每个用户、每个商品、每个时间段计算均值、最大值、最小值、标准差、计数、唯一值数量等。# 假设是电商订单表 order_stats orders.groupby(user_id).agg({ amount: [sum, mean, max, min, count], order_id: nunique }) order_stats.columns [total_amount, avg_amount, max_amount, min_amount, order_count, unique_items] order_stats order_stats.reset_index()这类特征在风控、推荐、用户增长场景极其常见。6.2 时间特征从时间戳中提取年、月、日、星期几、是否为周末、是否为节假日、小时、时间段等。比如“星期几”对电商销量和交通流量有显著影响。df[order_time] pd.to_datetime(df[order_time]) df[hour] df[order_time].dt.hour df[weekday] df[order_time].dt.weekday df[is_weekend] df[weekday].isin([5, 6]).astype(int) df[month] df[order_time].dt.month6.3 交叉组合特征把两个或多个特征组合起来捕捉单个特征无法表达的规律。比如“性别 x 年龄段”、在推荐场景常见的“用户 x 商品类目”交叉。df[gender_age_group] df[gender].astype(str) _ df[age_group].astype(str)6.4 差值特征与比例特征适合用数值规律建模的场景。例如 A、B 两个特征之间的差值x - y或者比值x / y。在金融风控里收入与负债的比值往往比单独的收入更有区分度。7. 特征选择做减法去掉没用的特征特征不是越多越好。特征过多会带来维度灾难、过拟合、训练变慢和可解释性下降。特征选择分为三类。7.1 过滤式Filter与模型无关先根据统计指标筛选。常见指标有相关系数、卡方检验、互信息、方差。from sklearn.feature_selection import VarianceThreshold # 删除方差过低的特征即几乎不变的列 selector VarianceThreshold(threshold0.1) X_selected selector.fit_transform(X)优点计算快。缺点不考虑特征组合的交互关系。7.2 包裹式Wrapper把模型性能作为评价指标反复选择特征子集来迭代训练。常见方法有递归特征消除RFE。效果通常比过滤式好但计算开销大。from sklearn.feature_selection import RFE from sklearn.linear_model import LogisticRegression model LogisticRegression(max_iter1000) rfe RFE(model, n_features_to_select5) rfe.fit(X, y) print(选中的特征, X.columns[rfe.support_])7.3 嵌入式Embedded特征选择内嵌在模型训练过程中。典型代表是 L1 正则化Lasso和树模型的特征重要性。from sklearn.ensemble import RandomForestClassifier rf RandomForestClassifier(n_estimators100, random_state42) rf.fit(X, y) importance_df pd.DataFrame({ feature: X.columns, importance: rf.feature_importances_ }).sort_values(importance, ascendingFalse) print(importance_df)筛选原则特征重要性很低的列可以删除但要注意两个本身重要但高度相关的特征树模型会把重要性分散到两者之间直接看单个重要性可能产生误判。8. 特征降维压缩而不是丢弃信息特征选择和降维不同。特征选择是直接从原特征里挑降维是将原特征投影到低维空间。最常用的是 PCA。8.1 PCA 主成分分析PCA 通过线性变换把高维数据映射到低维同时尽可能保留方差。注意PCA 对特征尺度敏感使用前必须标准化。from sklearn.decomposition import PCA from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_scaled scaler.fit_transform(X) pca PCA(n_components0.95) # 保留95%的方差 X_pca pca.fit_transform(X_scaled) print(降维后维度, X_pca.shape[1])判断降维效果查看explained_variance_ratio_累计解释方差达到 80% 到 95% 通常可接受。8.2 LDA 有监督降维如果数据有标签LDA 比 PCA 更适合分类任务因为它寻找的是最利于区分类别的方向。不过 LDA 假设各类别协方差相同实际数据不一定满足。8.3 t-SNE 用于可视化t-SNE 适合将高维数据降到 2 维或 3 维做可视化探索不适合作为模型训练前的主要降维手段因为结果有随机性且难以还原。9. 特征工程对模型效果的提升如何验证做完特征工程后要用实验来验证提升而不是凭感觉说“效果变好”。9.1 实验设计基线原始数据直接训练模型实验一只做数据清洗和特征变换实验二清洗 变换 特征构造实验三清洗 变换 特征构造 特征选择。每组采用相同的模型和相同的交叉验证方式保持唯一变量是特征工程内容。9.2 评估指标回归问题看 RMSE、MAE、R²分类问题看准确率、精确率、召回率、F1、AUC。对于不平衡数据不要只看准确率。9.3 判断特征工程是否有效的标准验证集指标提升而不是只在训练集上提升训练和验证的差距缩小说明泛化能力增强模型训练时间下降说明冗余特征减少特征重要性分布更集中说明有效信号被保留。10. 特征工程常用工具与代码模板这里给出一套可以直接改用的最小代码流程包含清洗、变换、编码、构造、选择五个环节。import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler, OneHotEncoder from sklearn.impute import SimpleImputer from sklearn.feature_selection import SelectKBest, f_classif from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import accuracy_score # 1. 加载数据 df pd.read_csv(your_data.csv) # 2. 清洗补缺失、去重复 df df.drop_duplicates() df df.dropna(subset[target_column]) # 3. 分离特征与标签 X df.drop(target_column, axis1) y df[target_column] # 4. 切分数据集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) # 5. 数值特征处理 num_cols X.select_dtypes(includenp.number).columns.tolist() imputer_num SimpleImputer(strategymedian) X_train_num imputer_num.fit_transform(X_train[num_cols]) X_test_num imputer_num.transform(X_test[num_cols]) scaler StandardScaler() X_train_num scaler.fit_transform(X_train_num) X_test_num scaler.transform(X_test_num) # 6. 类别特征处理 cat_cols X.select_dtypes(includeobject).columns.tolist() encoder OneHotEncoder(handle_unknownignore) X_train_cat encoder.fit_transform(X_train[cat_cols]) X_test_cat encoder.transform(X_test[cat_cols]) # 7. 合并特征 from scipy.sparse import hstack X_train_all hstack([X_train_num, X_train_cat]) X_test_all hstack([X_test_num, X_test_cat]) # 8. 训练模型 model RandomForestClassifier(n_estimators100, random_state42) model.fit(X_train_all, y_train) # 9. 评估 y_pred model.predict(X_test_all) print(Accuracy:, accuracy_score(y_test, y_pred).round(4))注意所有基于训练集计算得到的填充值、标准化参数、编码映射都必须用同一个对象直接 transform 测试集不能在测试集上重新 fit否则会导致数据泄漏。11. 特征工程常见问题与排查方法问题现象可能原因排查方式解决方案模型训练报错提示无法处理字符串类别特征没有编码打印X.dtypes查看类型对 object 列做 One-Hot 或 Label Encoding特征量纲差异大模型不收敛未做标准化或归一化查看特征 mean/std应用 StandardScaler 或 MinMaxScaler训练集效果好测试集效果差特征工程导致过拟合对比训练集和测试集指标差距减少高基数编码特征增加正则化多做交叉验证类别特征过多One-Hot 后维度爆炸高基数类别未处理查看编码后X.shape改用 Target Encoding、Frequency Encoding 或 Embedding特征重要性波动很大特征间存在强相关性计算相关系数矩阵删除冗余特征或用 PCA 降维缺失值填充后分布严重偏移填充策略不合适对比填充前后的describe()改换中位数或使用预测填充加了很多特征但效果不升反降引入了噪声特征做特征选择或看重要性排名去掉低重要性列简化特征集数据泄漏导致线下指标虚高在训练前用了全量数据做编码或缩放检查数据流向所有统计操作只在训练集上做测试集用同一参数 transform11.1 关于数据泄漏的补充提醒数据泄漏是特征工程中最隐蔽的坑。常见泄漏源包括用全量数据计算缺失值填充用到测试集信息用全量数据做 Target Encoding 时把标签信息带入特征对时间序列数据做标准化时用了未来的均值和方差在特征选择时用了测试集去选特征。预防办法构建独立的训练集、验证集、测试集所有需要拟合的操作都放在训练集中完成然后用训练好的对象转换其他数据。12. 最佳实践与使用建议12.1 先从简单特征开始不要一上来就构造几十个交互特征。先做缺失值、编码、标准化这些基础处理训练一个基线模型再逐步加特征观察每一步对验证集的影响。12.2 建立特征文档记录每个特征的名称、含义、来源、数据类型、缺失比例、处理方法、构造逻辑。项目后期特征文档能节省大量返工时间。12.3 特征和模型分开评估同样的特征集合在不同模型下表现可能不同。建议在逻辑回归、随机森林、XGBoost 三个典型模型上分别评估看特征的鲁棒性而不是只跟随某一个模型调特征。12.4 保留可复用的处理流水线用 scikit-learn 的 Pipeline 把特征处理封装起来避免在不同数据集上重复写代码也能减少测试集误用训练参数的泄漏风险。from sklearn.pipeline import Pipeline from sklearn.compose import ColumnTransformer preprocessor ColumnTransformer( transformers[ (num, Pipeline([ (imputer, SimpleImputer(strategymedian)), (scaler, StandardScaler()) ]), num_cols), (cat, OneHotEncoder(handle_unknownignore), cat_cols) ] ) pipeline Pipeline([ (preprocess, preprocessor), (model, RandomForestClassifier(n_estimators100, random_state42)) ])12.5 关注特征的可解释性在金融、医疗等场景模型解释性与模型性能同等重要。优先选择业务含义清晰的特征避免使用难以解释的复杂组合特征否则业务方很难信任结果。13. 总结与下一步特征工程最值得投入的环节是数据清洗和特征构造。数据清洗决定模型能不能稳定训练特征构造决定模型能不能突破效果瓶颈。最容易踩的坑是数据泄漏和高基数类别编码处理不当这两类问题会直接导致线上效果与线下实验不一致。本篇实际实现了一个从 pandas 清洗到 sklearn 建模的完整特征工程流程读者可以直接将它套用在自己的项目数据上。下一步建议按这样的顺序进阶找一个公开数据集比如销量预测、信贷违约、用户流失亲手把本文的流程完整走一遍尝试增加时间特征、聚合特征和交叉特征记录每一步对验证集指标的影响学习 XGBoost、LightGBM 中的特征重要性分析和特征依赖把特征工程与特征筛选结合着用在掌握基础方法后再研究自动化特征工程工具并注意评估它们生成特征的业务可解释性。推荐把本文的建议流程保存下来作为后续机器学习建模工作的基础操作模板。遇到效果不理想时先检查数据再检查特征最后再调模型这个顺序能解决大部分实战问题。