6、机器学习开发全流程指南

机器学习开发全流程指南

1. 数据工程

数据工程的目标是确保数据集能代表真实的机器学习问题，并具备适合机器学习模型训练的格式。通常会运用统计技术对数据集进行采样、平衡和缩放，同时处理数据集中的缺失值和异常值。

1.1 数据采样与平衡

• 数据采样 ：是一种统计分析技术，用于在较大的数据集中选择、处理和分析具有代表性的子集。采样时需避免引入偏差因素。更多详情可参考：https://developers.google.com/machine - learning/data - prep/construct/sampling - splitting/sampling。
• 数据集平衡 ：分类数据集中存在多数类和少数类。当数据集的类别比例失衡时，即少数类的比例显著低于多数类，就需要使用降采样和加权技术来平衡数据集。例如，在一个欺诈检测数据集中，有 1 个正样本和 200 个负样本，模型训练无法反映真实问题。此时需分两步处理数据集：
  • 降采样 ：从主导类中提取数据示例以平衡类别。若降采样因子为 50，降采样后比例将变为 40:1。
  • 加权 ：在机器学习模型训练期间，将主导类的权重增加相同的因子（这里是 50）。

部分机器学习库提供了内置功能以简化此过程。更多技术详情及操作原因可参考：https://developers.google.com/machine - learning/data -