Что такое Microsoft Fabric?

Microsoft Fabric — это платформа аналитики, которая поддерживает комплексные рабочие процессы данных, включая прием данных, преобразование, потоковую обработку в режиме реального времени, аналитику и отчеты. Она предоставляет интегрированные возможности, такие как проектирование данных, фабрика данных, обработка и анализ данных, аналитика в режиме реального времени, Data Warehouse и базы данных, которые работают над общей моделью вычислений и хранилища.

Fabric предоставляется как платформа SaaS и использует OneLake в качестве централизованного логического озера данных для хранения и доступа к данным во всех рабочих нагрузках. В тандеме с OneLake каталог OneLake предоставляет централизованный интерфейс для обнаружения, изучения и управления артефактами аналитики и данных в клиенте. Возможности искусственного интеллекта встроены на платформу для поддержки подготовки, анализа и разработки данных, снижения необходимости интеграции служб вручную и обеспечения эффективного анализа крупномасштабных данных.

Возможности Fabric

Microsoft Fabric предоставляет несколько интегрированных возможностей:

• Role-specific workloads: Fabric предлагает различные рабочие нагрузки для инженеров данных, учёных данных, бизнес-аналитиков и администраторов баз данных. Каждая рабочая нагрузка предоставляет средства, API и пользовательские интерфейсы, оптимизированные для распространенных задач, таких как прием данных, преобразование, моделирование, запросы и отчеты. Они также могут объединяться в одном решении для поддержки комплексных сценариев.

• OneLake (storage): все рабочие нагрузки Fabric работают через OneLake, единое логическое озеро данных, созданное на основе Azure Data Lake Storage. OneLake обеспечивает общий доступ к данным между рабочими нагрузками, не требуя перемещения или дублирования данных.

• Copilot support: Fabric включает Copilot функции, которые помогают выполнять такие задачи, как создание запросов, конвейеров и кода, создание сводок и аналитических сведений, а также ускорение распространенных рабочих процессов разработки и анализа.

• Microsoft 365 integration: Fabric интегрируется с приложениями Microsoft 365, что позволяет анализировать и использовать данные в таких средствах, как Excel, и делиться ими на платформах для совместной работы, таких как Microsoft Teams.

• Интеграция Майкрософт Foundry: Fabric интегрируется с Майкрософт Foundry и обеспечивает использование предварительно созданных моделей и инструментария для сценариев машинного обучения и искусственного интеллекта, включая разработку моделей, развертывание и инференцию.

• Интегрированное управление данными и политиками: Fabric предоставляет централизованные возможности обнаружения данных, управления доступом и политиками, что помогает организациям последовательно управлять доступом к данным, совместному использованию и соответствием требованиям во всех рабочих нагрузках.

архитектура Microsoft Fabric

На следующей схеме показано, как Microsoft Fabric построена на платформе SaaS, которая объединяет несколько аналитических возможностей в одной среде.

В верхней части схемы находятся основные рабочие нагрузки Fabric, такие как фабрика данных, аналитика, базы данных, аналитика в режиме реального времени, IQ и Power BI. Каждая рабочая нагрузка предоставляет специализированные возможности, адаптированные к различным задачам аналитики, но все рабочие нагрузки работают в одной среде Fabric и могут совместно использовать данные и артефакты без дублирования.

Под этими рабочими нагрузками находится уровень платформы Fabric, который предоставляет общие службы, которые используются согласованно в различных интерфейсах:

• OneLake — это централизованное логическое озеро данных для Fabric. Все рабочие процессы хранят и получают доступ к данным через OneLake, что позволяет использовать паттерны доступа без копирования и сохранять данные в исходном расположении при повторном использовании в различных интерфейсах.

• Copilot предоставляет помощь искусственного интеллекта, внедренную непосредственно в рабочие нагрузки Fabric, чтобы помочь в разработке, изучении и выполнении стандартных задач разработки, при этом соблюдая границы разрешений клиента, данных и разрешений.

• Управление представляет централизованное администрирование и управление данными, включая разрешения, метки конфиденциальности и аудит. Эти элементы управления применяются автоматически и наследуются между элементами Fabric. Управление осуществляется с помощью Purview, встроенного в Fabric. Управление на основе Purview распространяется на данные, передаваемые между арендаторами через общий доступ к данным OneLake, поэтому метки конфиденциальности, политики доступа и элементы управления соответствием остаются примененными независимо от того, где потребляются общие данные. Microsoft Fabric централизует возможности управления и обнаружения в каталоге OneLake, который служит как единый центр для поиска, исследования, защиты и использования необходимых элементов Fabric, а также управления вашими данными. Вы можете оценить состояние управления, получить рекомендуемые действия и повысить доверие к данным и соответствие требованиям в рабочих областях и доменах. Дополнительные сведения см. в разделе "Что такое каталог OneLake?".

Эта основа SaaS позволяет выполнять комплексные сценарии аналитики, такие как прием данных с помощью фабрики данных, обработка их с помощью рабочих нагрузок в режиме реального времени и визуализация их в Power BI без ручной интеграции отдельных служб или управления базовой инфраструктурой. Fabric централизует обнаружение данных, администрирование и управление данными, с интеграцией Microsoft Purview для обеспечения согласованной безопасности и соответствия требованиям на платформе.

Компоненты Microsoft Fabric

Microsoft Fabric предлагает следующие рабочие нагрузки, настроенные для определенной роли и задачи:

• Power BI — Power BI позволяет подключаться к источникам данных, создавать интерактивные диаграммы и панели мониторинга и обмениваться аналитическими сведениями в организации. Это позволяет владельцам бизнеса получать доступ ко всем данным в Fabric быстро и эффективно, что позволяет лучше принимать решения, ориентированные на данные. Дополнительные сведения см. в разделе Что такое Power BI?

• Databases — базы данных в Fabric — это удобная для разработчика транзакционная база данных, например База данных SQL Azure, которая позволяет легко создавать операционную базу данных в Fabric. С помощью возможности зеркального отображения можно объединить данные из различных систем в OneLake. Вы можете непрерывно реплицировать существующие данные вашей инфраструктуры непосредственно в OneLake от Fabric, включая данные из База данных SQL Azure, Azure Cosmos DB, Azure Databricks, Snowflake и базы данных SQL Fabric. Дополнительные сведения см. в разделе SQL базы данных Microsoft Fabric и Что такое зеркалирование в Fabric?

• Фабрика данных. Фабрика данных предоставляет современный опыт интеграции данных для приема, подготовки и преобразования информации из широкого набора источников данных. Он включает простоту Power Query, и вы можете использовать более 200 собственных соединителей для подключения к источникам данных в локальной среде и в облаке. Дополнительные сведения см. в разделе Что такое Data Factory в Microsoft Fabric?

• Industry Solutions — Fabric предоставляет отраслевые решения для обработки данных, которые решают уникальные отраслевые потребности и проблемы, а также включают управление данными, аналитику и принятие решений. Дополнительные сведения см. в разделе Решения для отраслей в Microsoft Fabric.

• Аналитика в реальном времени анализирует данные по мере их поступления, такие как показания датчиков Интернета вещей, журналы приложений или кликстримы веб-сайтов. Это позволяет извлекать аналитические сведения, визуализацию и действие для данных в движении, обрабатывая прием данных, преобразование, хранение, моделирование, аналитику, визуализацию, отслеживание, ИИ и действия в режиме реального времени. Концентратор Real-Time в Real-Time Intelligence предоставляет широкий спектр соединителей без кода, конвергентный в каталог данных организации, защищенных, управляемых и интегрированных в Fabric. Дополнительные сведения см. в статье Что такое Real-Time Intelligence в Fabric?.

• Data Engineering — Fabric Data Engineering предоставляет Apache Spark для обработки больших наборов данных с записными книжками и инструментами для записи и планирования заданий преобразования данных. Она позволяет создавать, управлять и оптимизировать инфраструктуру для сбора, хранения, обработки и анализа больших объемов данных. интеграция Spark с Фабрикой данных Fabric позволяет планировать и оркестрировать записные книжки и задания Spark. Дополнительные сведения см. в разделе Что такое инжиниринг данных в Microsoft Fabric.

• Fabric Data Science — Fabric Data Science позволяет создавать, развертывать и внедрять модели машинного обучения из Fabric. Он интегрируется с Машинное обучение Azure для обеспечения встроенного отслеживания экспериментов и реестра моделей. Специалисты по обработке и анализу данных могут расширить организационные данные с помощью прогнозов и бизнес-аналитиков, которые могут интегрировать эти прогнозы в свои отчеты бизнес-аналитики, что позволяет перейти от описательных к прогнозной аналитике. Для получения дополнительной информации см. статью Что такое наука о данных в Microsoft Fabric?

• Fabric Data Warehouse — Fabric Data Warehouse обеспечивает ведущие в отрасли показатели производительности и масштабирования SQL. Он отделяет вычислительные ресурсы от хранилища, обеспечивая независимое масштабирование обоих компонентов. Кроме того, он изначально сохраняет данные в открытом формате Delta Lake. Дополнительные сведения см. в разделе Что такое хранение данных в Microsoft Fabric?

• Fabric IQ (предварительная версия) — Fabric IQ (предварительная версия) — это новая рабочая нагрузка для объединения бизнес-семантики между данными, моделями и системами. Он включает в себя элементы онтологии, плана, графа Fabric, агента данных, агента операций и семантических моделей. Fabric IQ обеспечивает согласованные решения, многократно используемые метрики и автоматизацию с учетом контекста на платформе Fabric. Для получения дополнительной информации см. Что такое Fabric IQ (предварительная версия)?

Fabric помогает организациям и отдельным лицам анализировать свои данные и создавать отчеты, панели мониторинга и модели машинного обучения. Она реализует архитектуру сетки данных. Дополнительные сведения см. в разделе Что такое сетка данных?

OneLake: объединение лейкхаусов

Платформа Microsoft Fabric объединяет архитектуру OneLake и Lakehouse на предприятии.

OneLake

Озеро данных является основой для всех Fabric рабочих нагрузок. В Fabric это озеро называется OneLake. OneLake встроен в платформу и служит одним хранилищем для всех данных организации.

OneLake основан на ADLS (Azure Data Lake Storage) 2-го поколения. Он предоставляет единый интерфейс SaaS и хранилище на уровне клиента для данных, которые служат как профессиональным, так и гражданским разработчикам. Это упрощает взаимодействие с пользователем, удаляя необходимость понимать сложные сведения о инфраструктуре, такие как группы ресурсов, RBAC, Azure Resource Manager, избыточность или регионы. Для использования Fabric не требуется учетная запись Azure.

OneLake предотвращает использование силосов данных, предлагая единую систему хранения, которая упрощает обнаружение данных, совместное использование и согласованное применение политик. Дополнительные сведения см. в разделе Что такое OneLake?

OneLake также поддерживает совместное использование данных между клиентами, что позволяет совместно использовать динамические наборы данных с внешними организациями через границы клиента Microsoft Entra без копирования данных. Получатели получают доступ непосредственно к общим данным, а управляющие политики продолжают действовать на уровне источника. Дополнительные сведения см. в разделе о совместном доступе к внешним данным.

Иерархия данных OneLake и Lakehouse

Иерархическая структура OneLake упрощает управление на уровне организации. Fabric включает OneLake по умолчанию, поэтому предварительная настройка не требуется. Каждый клиент получает один унифицированный OneLake с одним пространством имен файловой системы, которое охватывает пользователей, регионы и облака. OneLake упорядочивает данные в контейнеры для простой обработки. Клиент сопоставляется с корнем OneLake и находится на верхнем уровне иерархии. В клиенте можно создать несколько рабочих областей (например, папок).

На следующем рисунке показано, как Fabric хранит данные в OneLake. Для каждого арендатора может быть несколько рабочих пространств, и в каждом из них — несколько озерных домов. Lakehouse — это коллекция файлов, папок и таблиц, которая выступает в качестве базы данных в озере данных. Чтобы узнать больше, см. Что такое lakehouse?.

Каждый разработчик и бизнес-подразделение в арендаторе создают собственные рабочие области в OneLake. Они получают данные в озерах и начинают обработку, анализ и совместную работу с данными, например использование OneDrive в Microsoft Office.

Real-Time концентратор: объединение потоков данных

Центр Real-Time — это основное место для потоковых данных. Он предоставляет единый интерфейс SaaS и логическое место для потоковой передачи данных на уровне клиента. Он перечисляет данные из каждого источника, позволяя пользователям обнаруживать, получать, управлять и реагировать на них. Он содержит как потоки, так и таблицы базы данных KQL . Потоки включают Data streams, источники Майкрософт (например: Центры событий Azure, Центр Интернета вещей Azure, База данных SQL Azure (DB) Change Data Capture (CDC), Azure Cosmos DB CDC, Azure Data Explorer и PostgreSQL DB CDC), события Fabric (события элементов рабочей области, события OneLake и события заданий), и события Azure, включая события Хранилище BLOB-объектов Azure и внешние события из Microsoft 365 или других облачных служб.

Центр Real-Time упрощает обнаружение, прием, управление и использование данных из различных источников для совместной работы и разработки приложений потоковой передачи в одном месте. Дополнительные сведения см. в разделе Что такое центр Real-Time?

Фабрика вычислительных машин

Все вычислительные функции Microsoft Fabric предварительно настроены с OneLake, подобно тому, как приложения Office автоматически используют организационный OneDrive. Такие возможности, как инженерия данных, хранилище данных, фабрика данных, Power BI и интеллект в реальном времени используют OneLake в качестве собственного хранилища без дополнительной настройки.

OneLake позволяет мгновенно подключить существующие учетные записи хранилищ PaaS с помощью функции Ярлык. Ярлыки предоставляют доступ без копирования к внешним источникам данных, таким как Azure Data Lake Storage, Amazon S3 и Google Cloud Storage, без процессов ETL или миграции данных. Вы также можете создавать сочетания клавиш в других системах хранения, позволяя анализировать данные между облаками с помощью интеллектуального кэширования, что снижает затраты на исходящий трафик и приближает данные к вычислениям.

решения Fabric для независимых поставщиков программного обеспечения

Если вы являетесь независимым поставщиком программного обеспечения (ISV) и желаете интегрировать свои решения с Microsoft Fabric, то можете выбрать один из следующих путей в зависимости от желаемого уровня интеграции.

• Interop . Интеграция решения с OneLake Foundation и создание основных подключений и взаимодействия с Fabric.
• Разрабатывайте на платформе Fabric — создавайте решение на основе платформы Fabric или без проблем встраивайте функции Fabric в существующие приложения. С помощью этого параметра можно легко использовать возможности Fabric.
• Создание рабочей нагрузки в Fabric - Создавайте настраиваемые рабочие нагрузки и опыт в Fabric, адаптируя ваши предложения для их максимальной эффективности в экосистеме Fabric.

Независимые поставщики программного обеспечения (ISV) могут также использовать ярлыки OneLake и управляемое совместное использование данных между арендаторами для безопасного доступа и интеграции данных клиентов между границами арендаторов без их дублирования.

Дополнительные сведения см. в экосистеме партнеров ISV для Fabric.

Связанное содержимое

• терминология Microsoft Fabric
• создание рабочей области
• Перейдите к вашим элементам на домашней странице Microsoft Fabric
• Сквозные руководства в Microsoft Fabric