Создание и использование потоков данных в Microsoft Power Platform

Использование потоков данных с Microsoft Power Platform упрощает подготовку данных и позволяет повторно использовать подготовку данных в последующих отчетах, приложениях и моделях.

В мире постоянно расширяющихся данных подготовка данных может быть сложной и дорогой. Он может потреблять до 60–80 процентов времени и затрат на типичный проект аналитики. Для таких проектов могут потребоваться фрагментированные и неполные данные, сложная интеграция системы, данные со структурными несоответствиями и высокий барьер набора навыков.

Чтобы упростить подготовку данных и повысить ценность данных, были созданы потоки данных Power Query и Power Platform.

С помощью dataflows корпорация Майкрософт внедряет возможности самостоятельной подготовки данных с использованием Power Query в веб-службы Power BI и Power Apps, расширяя существующие возможности следующим образом:

• Самостоятельная подготовка данных для больших данных с потоками данных: Потоки данных можно использовать для легкого приема, очистки, преобразования, интеграции, обогащения и создания схем данных из большого и постоянно растущего массива транзакционных и наблюдательных источников, охватывающего всю логику подготовки данных. Ранее логика извлечения, преобразования, загрузки (ETL) могла быть включена только в семантические модели в Power BI, скопирована между семантических моделей и привязана к параметрам управления семантической моделью.

  При использовании потоков данных логика ETL повышается до артефакта первого класса в службах Microsoft Power Platform и включает выделенные возможности разработки и управления. Бизнес-аналитики, специалисты бизнес-аналитики и специалисты по обработке и анализу данных могут использовать потоки данных, чтобы справиться с самыми сложными проблемами подготовки данных и опираться на работу друг друга благодаря революционному механизму вычислений на основе модели. Этот механизм заботится обо всех преобразованиях и логике зависимостей, что позволяет сократить время, затраты и потребность в опыте до малой доли того, что традиционно требовалось для выполнения этих задач. Вы можете создавать потоки данных, используя хорошо известный, самостоятельный интерфейс подготовки данных в Power Query. Потоки данных создаются и легко управляются в рабочих областях приложений или средах в Power BI или Power Apps соответственно, наслаждаясь всеми возможностями этих служб, такими как управление разрешениями и запланированные обновления.

• Загрузка данных в Dataverse или Azure Data Lake Storage. В зависимости от вашего варианта использования можно хранить данные, подготовленные потоками данных Power Platform в Dataverse или учетной записи Azure Data Lake Storage вашей организации:

  • Dataverse позволяет безопасно хранить и управлять данными, которые используются бизнес-приложениями. Данные в Dataverse хранятся в наборе таблиц. Таблица — это набор строк (прежнее название — записи) и столбцы (ранее называемые полями или атрибутами). Каждый столбец в таблице предназначен для хранения определенных типов данных, например имени, возраста, заработной платы и т. д. Dataverse включает базовый набор стандартных таблиц, охватывающих типичные сценарии, но вы также можете создавать пользовательские таблицы, относящиеся к вашей организации, и заполнять их данными с помощью потоков данных. Затем разработчики приложений могут использовать Power Apps и Power Automate для создания расширенных приложений, использующих эти данные.

  • Azure Data Lake Storage позволяет совместно работать с людьми в организации с помощью Power BI, Azure Data и служб ИИ или с помощью настраиваемых бизнес-приложений, которые считывают данные из озера. Потоки данных, загружающие данные в учетную запись Azure Data Lake Storage, сохраняют их в папках Common Data Model. Общие папки модели данных содержат схемизированные данные и метаданные в стандартизованном формате, чтобы упростить обмен данными и обеспечить полное взаимодействие между службами, которые создают или используют данные, хранящиеся в учетной записи Azure Data Lake Storage организации в качестве общего уровня хранения.

• Расширенная аналитика и искусственный интеллект с помощью Azure: потоки данных Power Platform хранят данные в Dataverse или Azure Data Lake Storage. Это означает, что данные, полученные через потоки данных, теперь доступны инженерам данных и специалистам по обработке и анализу данных для применения полной мощности служб данных Azure, таких как Машинное обучение Azure, Azure Databricks и Azure Synapse Analytics для расширенной аналитики и искусственного интеллекта. Эта доступность позволяет бизнес-аналитикам, инженерам и специалистам по обработке и анализу данных совместно работать с теми же данными в своей организации.

• Поддержка common Data Model: Common Data Model — это набор стандартных схем данных и системы метаданных для обеспечения согласованности данных и его значения в приложениях и бизнес-процессах. Потоки данных поддерживают общую модель данных, предлагая простое сопоставление из любых данных в любой форме в стандартных таблицах модели общих данных, таких как учетная запись и контакт. Потоки данных также помещают данные как в стандартные, так и пользовательские таблицы в схематизированной форме Common Data Model. Бизнес-аналитики могут воспользоваться стандартной схемой и ее семантической согласованности или настроить их таблицы на основе уникальных потребностей. Общая модель данных продолжает развиваться в рамках инициативы Open Data.

Возможности потока данных в службах Microsoft Power Platform

Большинство возможностей потока данных доступны как в Power Apps, так и в Power BI. Потоки данных доступны в рамках планов этих служб. Некоторые функции потока данных относятся либо к продуктам, либо доступны в различных планах продуктов. В следующей таблице описываются функции потока данных и их доступность.

Известные ограничения

• Копирование потоков данных в рамках операции резервного копирования и восстановления сред не поддерживается.
• Копирование потоков данных как часть операции копирования сред Power Platform не сохраняет настройки уведомлений электронной почты.
• Изменение владельца потока данных с подключением и параметром запроса также изменит значение параметра на предыдущее значение (если такое значение было задано).

Дальнейшие шаги

Дополнительные сведения о потоках данных в Power Apps:

• Подготовка данных самообслуживания в Power Apps
• Создание и использование потоков данных в Power Apps
• Подключение Azure Data Lake Storage 2-го поколения к хранилищу потоков данных
• Добавление данных в таблицу в Dataverse с помощью Power Query
• Посетите сообщество потоков данных Power Apps и поделитесь тем, что вы делаете, задаете вопросы или отправляете новые идеи
• Посетите форум сообщества потоков данных Power Apps и поделитесь тем, что вы делаете, задаете вопросы или отправляете новые идеи

Дополнительные сведения о потоках данных в Power BI:

• Самостоятельная подготовка данных в Power BI
• Создание и использование потоков данных в Power BI
• Белая книга о потоках данных
• Подробное видео пошагового руководства по потокам данных
• Посетите сообщество потоков данных Power BI и поделитесь тем, что вы делаете, задаете вопросы или отправляете новые идеи

Дополнительные сведения о распространенных сценариях использования потоков данных см. в следующих статьях.

• Использование инкрементального обновления с потоками данных
• Создание вычисляемых таблиц в потоках данных
• Подключение к источникам данных для потоков данных
• Связывание таблиц между потоками данных

Для получения дополнительной информации о Common Data Model и стандарте папки Common Data Model, см. следующие статьи:

• Общие сведения о модели данных
• Общие папки модели данных
• Определение файла модели каталога Общей модели данных