Поделиться через

Что такое каталоги в Azure Databricks?

Каталог — это основная единица организации данных в модели управления данными каталога Azure Databricks Unity. В этой статье приведены общие сведения о каталогах в каталоге Unity и о том, как лучше их использовать.

Каталоги — это первый уровень в трехуровневом пространстве имен каталога Unity (catalog.schema.table-etc). Они содержат схемы, которые, в свою очередь, могут содержать таблицы, представления данных, объемы, модели и функции. Каталоги регистрируются в хранилище метаданных каталога Unity в учетной записи Azure Databricks.

Схема объектной модели каталога Unity, ориентированная на каталог

Как мне упорядочить данные по каталогам?

При разработке модели управления данными следует тщательно думать о создаваемых каталогах. В качестве самого высокого уровня в модели управления данными вашей организации каждый каталог должен представлять логическую единицу изоляции данных и категорию доступа к данным, позволяя эффективной иерархии разрешений передаваться к схемам и объектам данных, которые они содержат. Поэтому каталоги часто отражают организационные подразделения или области жизненного цикла разработки программного обеспечения. Например, можно выбрать каталог для рабочих данных и каталог для данных разработки, или каталог для данных, не относящихся к клиентам, и один для конфиденциальных данных клиентов.

Изоляция данных с помощью каталогов

Каждый каталог обычно имеет собственное управляемое место хранения для хранения управляемых таблиц и томов, обеспечивая изоляцию физических данных на уровне каталога. Вы также можете хранить данные на уровне хранилища метаданных, предоставляя расположение хранилища по умолчанию для каталогов, у которых нет собственного управляемого хранилища. Вы можете добавить хранилище на уровне схемы для более детальной изоляции данных.

Так как у вашей учетной записи Azure Databricks есть одно хранилище метаданных для каждого региона, каталоги по сути изолированы по регионам.

Дополнительные сведения см. в разделе "Что такое объекты базы данных в Azure Databricks?",а также каталоги и схемы.

Привилегии уровня каталога

Так как гранты на любой объект каталога Unity наследуются дочерними элементами этого объекта, владение каталогом или наличие широких привилегий на каталог очень мощны. Например, владельцы каталогов имеют все привилегии для каталога и объектов в каталоге, и они могут предоставить доступ к любому объекту в каталоге. Пользователи с правами SELECT для каталога могут читать любую таблицу в каталоге. Пользователи с CREATE TABLE на каталоге вправе создавать таблицу в любой схеме в каталоге.

Чтобы применить принцип наименьших привилегий, при котором пользователи имеют минимальный доступ, необходимый для выполнения своих задач, обычно предоставляется доступ только к конкретным объектам или уровням иерархии, к которым нужен доступ пользователю. Но привилегии уровня каталога позволяют владельцу каталога управлять тем, какие владельцы объектов нижнего уровня имеют возможность предоставлять. Даже если пользователю предоставлен доступ к объекту данных низкого уровня, например таблице, этот пользователь не может получить доступ к этой таблице, если у него нет USE CATALOG прав в каталоге, который содержит таблицу.

Дополнительные сведения см. в разделе "Управление владением объектами каталога Unity " и справочником по привилегиям каталога Unity.

Типы каталогов

При создании каталога у вас есть два варианта:

  • Стандартный каталог: типичный каталог, используемый в качестве основной единицы для упорядочивания объектов данных в Unity Catalog. Это тип каталога, который рассматривается в этой статье.
  • Внешний каталог: объект каталога Unity, используемый только в сценариях Lakehouse Federation. Внешний каталог отражает базу данных во внешней системе данных, что позволяет выполнять запросы только для чтения в этой системе данных в рабочей области Azure Databricks. См. статью "Что такое Федерация Lakehouse?".

Помимо этих двух типов каталогов Azure Databricks подготавливает следующие каталоги автоматически при создании новой рабочей области:

  • hive_metastore каталог. Это репозиторий всех данных, управляемых устаревшим хранилищем метаданных Hive в рабочих областях Azure Databricks. При преобразовании существующей рабочей области, не являющейся рабочей областью каталога Unity, в каталог Unity, все объекты, зарегистрированные в устаревшем хранилище метаданных Hive, отображаются в каталоге Unity hive_metastore. Сведения о работе с хранилищем метаданных Hive вместе с каталогом Unity см. в статье "Работа с устаревшим хранилищем метаданных Hive вместе с каталогом Unity". Хранилище метаданных Hive устарело, и все рабочие области Azure Databricks должны перенестися в каталог Unity.
  • Каталог рабочей области: во всех новых рабочих областях этот каталог создается по умолчанию. Как правило, его имя совпадает с именем вашей рабочей области. Если этот каталог существует, все пользователи рабочей области (и только ваша рабочая область) имеют доступ к ней по умолчанию, что делает его удобным местом для пользователей, чтобы попробовать процесс создания и доступа к объектам данных в каталоге Unity. См. шаг 1: Убедитесь, что рабочая область включена для каталога Unity.

Каталог по умолчанию

По умолчанию настраивается каталог для каждой рабочей области, для которой активирован Unity Catalog. Каталог по умолчанию позволяет выполнять операции с данными без указания каталога. Если при выполнении операций с данными не указано имя верхнеуровневого каталога, предполагается, что используется каталог по умолчанию.

Если рабочая область была включена для каталога Unity автоматически, предварительно подготовленный каталог рабочей области указывается в качестве каталога по умолчанию. Администратор рабочей области может изменить каталог по умолчанию по мере необходимости.

Дополнительные сведения см. в разделе "Управление каталогом по умолчанию".

Привязка каталога задач рабочей области

При использовании рабочих областей для изоляции доступа к данным пользователей может потребоваться использовать привязки каталога рабочей области. Привязки каталога рабочей области позволяют ограничить доступ к каталогам по границам рабочей области. Например, вы можете убедиться, что администраторы рабочей области и пользователи могут получить доступ только к производственным данным из prod_catalog среды рабочей области для производства, prod_workspace. Каталоги совместно используются для всех рабочих областей, подключенных к текущему метахранилищу, если только вы не указали привязку. Ознакомьтесь с изоляцией среды с помощью привязки каталога рабочей области и ограничения доступа к определенным рабочим областям.

Если ваша рабочая область включена для каталога Unity автоматически, предварительно подготовленный каталог рабочей области привязан к рабочей области по умолчанию.

Дополнительные сведения

  • Last updated on