Line Data Forum

原始数据提炼是每个人在进入分析阶段之前都应该采取的重要步骤。跳过这一步意味着您的数据团队将陷入未分类、分散且通常不相关的信息池中。当然，您不应该过度这样做，以免丢掉有价值的信息。

然而，并非每家企业都拥有自行完善数据所需的资源。在这种情况下，获取已完善的数据集可能是最佳选择，可带来高价值且维护成本低。

什么是精炼数据？
顾名思义，精炼数据（由于数据科学界缺乏统一的术语，也称为干净数据或过滤数据）是原始数据的处理版本。它不再包含异常值、风格代码标签、低值记录或其他不需要的元素。精炼过程还 电子邮件数据 涉及删除重复项并标准化所有值。

从广义上讲，精炼数据与原始数据相反，原始数据是由“加工”而来的。为了更好地说明差异，让我们将两者并排比较一下。

特征 原始数据 精炼数据
过滤 所有记录 完整、去重复的记录
标准化 不 是的
文本字段清理 不 无代码标签、特殊字符或尾随字符、双倍空格
数据点 未改变 由于过滤导致数据点减少
从上表可以看出，数据细化量决定了新数据库的清洁度和精简度。从业务角度来看，处理时想要保存的数据越多，处理这些数据所需的资源就越多。另一方面，切碎而不是切片可能会带来误导性的结果。

数据细化过程
数据提炼是一个漫长而繁琐的过程，涉及多个步骤，其中一些步骤可能需要重复才能获得收益。其核心目标是将原始数据转换为数据分析师可以使用的可理解和相关的信息。

各个行业中步骤的数量和名称各不相同，但以下步骤几乎在每个来源中都有出现，并且是完成数据细化过程所必需的。

1.删​​除不相关和重复的数据
第一步需要你决定你真正需要什么数据。假设你的产品面向大型企业，那么你首先要忽略所有员工人数少于 250 人的企业。这使得包括分析在内的所有后续步骤都变得更加轻松和快捷。

然后，您可能需要删除 HTML 标签、特殊字符、双空格、重复项和不完整的记录。然而，这也是您可能会丢失重要信息的步骤，因此如果您不想在分析阶段没有结果后从头开始，请仔细检查。