数据准备

在数据科学界，数据准备通常被称为 工程特性. 尽管数据准备和特征工程可以互换使用, 与标准的数据准备过程相比，特征工程依赖于特定领域的知识. 特征工程为特定的机器学习算法创建“特征”, 而数据准备则是为了传播大众消费的数据.

数据准备和特征工程都是最耗时和最关键的过程 数据挖掘. 正确准备数据可以提高结果的准确性. 然而，数据准备活动往往是常规的、乏味的和耗时的.

数据转换 一直是ETL过程的“T”——提取、转换和加载.  ETL开发人员, 最后是数据工程师, 将数据转换为更大的, 更复杂的过程, 为了标记数据准备好进行分析.  数据转换是这些高技术团队的领域的一个原因是，传统数据仓库或市场中的目标结构非常复杂.g. 星型和雪花型模式.

在Hadoop和数据湖时代，数据工程师和分析师都被迫处理在多样性和格式方面更为复杂的数据.  这个时代的BI工具还不具备处理此类数据的能力.  市场上出现了早期的数据准备工具，使将复杂数据转换为可供BI工具使用的分析就绪格式变得更加容易.  最终，BI工具开始在它们的套件中引入它们自己的数据准备.

从概念上讲，数据准备和数据转换是相似的.  云数据仓库的引入和新的ELT处理模型引入了一个主要的区别——数据准备工具使用自己的处理引擎(Spark), 等.), 而数据转换工具则依赖于可扩展的现代云数据仓库(如Snowflake)的处理能力.

许多数据准备工具被设计为分析师和数据科学家的自助服务, 具有无需编写代码即可转换数据的方法.  ELT堆栈中的初始数据转换工具(如dbt)侧重于使用SQL编码作为转换数据的主要手段, 将领域推回更技术性的领域, 编程经验的员工.

下一代数据转换工具(如Datameer)还通过以下方式促进数据准备:

• 针对非技术团队成员的自助服务原则, 首先介绍了数据准备工具,
• 需要支持多个角色(技术的和非技术的)以及这些角色之间的协作, 和
• 与云数据仓库(如Snowflake)集成，以增强其处理能力.

Datameer是一个强大的 SaaS数据转换 运行在雪花上的平台——你的现代, 可扩展的云数据仓库——结合起来提供高度可扩展和灵活的环境，将数据转换为有意义的分析.  使用Datameer，您可以:

• 允许非技术分析团队成员处理复杂数据，而无需使用Datameer的无代码和低代码数据转换接口编写代码,
• 在技术和非技术团队成员之间进行协作，以构建数据模型和数据转换流，以实现这些模型, 每个人都运用他们的技能和知识
• 充分丰富分析数据集，使用各种图形公式和函数为您的分析添加更多风味,
• 生成丰富的文档并添加用户提供的属性, 评论, 标签, 更多的是在整个分析社区中分享关于您的数据的可搜索知识,
• 使用类似目录的文档特性将您的数据治理流程众包，以实现更大的数据民主化和数据素养,
• 维护社区如何转换和使用数据的完整审计跟踪，以进一步支持您的治理和遵从性流程,
• 在Snowflake中直接部署和执行数据转换模型，以在保持较低的计算和存储成本的同时，获得对大量数据所需的可伸缩性.

Datameer的自助式excel界面, 丰富的类似目录的数据文档, 数据概要分析, 通过图形公式构建器提供的丰富函数数组允许您的分析团队快速执行数据准备.  他们还可以在数据工程师从原始数据构建基础模型的过程中与更多的技术数据工程师合作来实现这一点, 然后，分析人员根据他们的具体需求塑造和组织数据.

Datameer支持数据准备的所有关键方面，包括:

• 数据清理-删除不良记录的功能, 替换无效值或空白值, 重复数据删除,
• 数据混合-连接和联合功能，将不同的数据集混合成一个公共的，标准化的视图。
• 高级转换-旋转, 编码, 日期和时间, 转换, 使用列表, 解析函数,
• 数据丰富-功能，以创建增值列，包括数学, 统计, 三角, 矿业, 道路建设,
• 数据分组和组织——更复杂的分组方式, 总, 还有幻灯片和骰子数据, 包括数据透视表, sessionization, 定制的装箱, 时间窗口, 统计分组, 算法分组,
• 特定于数据科学的-用于数据科学模型的one-hot，日期/时间和分类编码功能.

Datameer可以为您的所有数据转换需求提供通用工具, 数据工程, 分析工程, 以及分析师或数据科学家的数据准备, 并促进所有这些功能之间的编目和协作.