Azure 中的云规模分析数据产品

数据产品 是作为产品进行交付的数据，由支持多种数据库类型的持久性服务进行计算、保存和提供，某些使用场景可能需要这些数据。 创建和提供数据产品的过程可能需要 数据登陆区域 核心服务中不包含的服务和技术。 例如，满足特定要求的报告，例如合规性和税务报告。

设计注意事项

数据登陆区可以支持多个数据产品，这些数据产品是通过从同一个数据登陆区内或跨越多个数据登陆区引入数据而创建的。 下图显示了这种情况。

上面的示例显示了：

• 区域内数据消耗：
  • 数据产品 B 使用数据产品 A 中的数据和其他数据或数据产品，这些数据或数据产品存在于其自己的登陆区域中。
  • 数据产品 C 和 D 仅在各自的数据登陆区域中使用数据。
• 区域间数据消耗：
  • 数据产品 B 还使用数据产品 C 中的数据以及登陆区域 3 的数据湖中的数据。

数据产品的资源组包括创建和维护数据产品所需的所有服务。 我们可以将此资源组称为 数据应用程序。 可能属于数据应用程序的服务示例包括 Azure Functions、Azure 应用服务、逻辑应用、Azure Analysis Services、Azure AI 服务、Azure 机器学习、Azure SQL 数据库、Azure Database for MySQL 和 Azure Cosmos DB。

数据产品具有来自 READ 数据源并已进行某些数据转换的数据。 示例可能是新策划的数据集或 BI 报表。

设计建议

遵循允许数据治理实现可扩展性的设计原则，在数据登陆区内构建数据产品。 以下部分提供设计建议，帮助你规划数据应用程序生态系统。

部署多个资源组

每个数据应用程序都是一个资源组。 由于数据应用程序是计算服务、polyglot 持久性服务或两者，因此只能根据某些用例要求它们。 因此，它们被视为可选的数据登陆区域组件。 如果需要数据应用程序，按数据应用程序创建多个资源组，如下图所示。

设置护栏

Azure Policy 驱动数据登陆区域中服务的默认配置。 将运营分析视为数据产品团队可以从标准服务目录请求的多个资源组。 使用 Azure Policy，可以配置安全边界和所需的功能集。

从多个来源获取数据

数据应用程序管理、组织和理解来自多个数据资产的数据，并呈现获得的任何见解。 数据产品是数据登陆区域中一个或多个数据应用程序的数据的结果。 允许数据应用程序在必要时访问来自多个和各种源的数据。

根据需要缩放

构成数据应用程序的服务以增量方式部署到数据降落区。 根据需要扩展数据应用程序。

启用数据发现

在数据目录中自动注册数据产品，例如 Microsoft Purview 以允许数据扫描。

识别您的数据产品

开始规划数据登陆区域时，请根据需要确定尽可能多的数据产品（以及输出和维护数据应用程序的数据应用程序），以帮助驱动数据产品应用程序体系结构。 在决策过程中，实现平台治理的合规性应发挥最大作用。

专注于您的数据应用程序如何作为数据生成者和消费者，为其他人提供服务。 例如，假设你已标识生成和使用数据的一组数据产品（A、B、C 和 D）。 您需要数据产品 A 和 D 作为数据应用程序 B 中数据源的数据产品 B。数据产品 B 是从数据应用程序 B 从数据产品 A 和 D 使用的数据创建的。数据应用程序 B 充当数据生成者本身，并生成数据产品 C 的数据。

使用基础结构即代码控制数据应用程序环境

治理和基础结构即代码应控制数据产品生态系统中的数据应用程序环境，如上图中所示。

发布数据模型

数据产品团队应在建模存储库中发布其数据模型。

设定数据产品用户预期

使用关于数据产品的服务级别协议和认证来更新您的数据共享协议，以便向数据产品的潜在用户传达清晰的期望。

捕获世系

如果数据产品 B 是从来自数据产品 A 和 D 的数据创建的，则必须从 A 和 D 捕获到 B。还应为数据产品 C 捕获进一步世系，因为它是使用数据产品 B 中的数据创建的。更新的世系应在数据世系应用程序中捕获，然后再发布数据产品。

定义数据应用程序体系结构

必须为每个数据产品创建一个详细体系结构，以便完全定义其与其他数据产品的关系、其依赖项及其访问要求。

后续步骤

数据应用程序（源对齐）