Компоненты параллельного хранилища данных — система платформы аналитики

В этой статье объясняются программно-аппаратные средства и программные компоненты без аппаратной части в системе Analytics Platform System.

Программное обеспечение параллельного хранилища данных.

Программное обеспечение устройства — обработка запросов и хранилище данных пользователей

Узел управления

Подсистема MPP — это мозги системы массово параллельной обработки (MPP). Он выполняет следующие действия:

  • Создает параллельные планы запросов и координирует параллельное выполнение запросов на вычислительных узлах.

  • Хранит и координирует метаданные и данные конфигурации для всех баз данных.

  • Управляет проверкой подлинности и авторизацией базы данных параллельного хранилища данных SQL Server (PDW).

  • Отслеживает состояние оборудования и программного обеспечения.

Служба перемещения данных (DMS)

Служба перемещения данных (DMS) является частью "секретного соуса" PDW. Он выполняет следующие действия:

  • Переносит данные на узлы SQL Server PDW и с них.

  • Обрабатывает операции запроса, требующие передачи данных между узлами.

  • Повышает производительность запросов, оптимизируя скорость передачи данных.

Консоль администрирования

Консоль администрирования — это веб-приложение, представляющее сведения о состоянии устройства, работоспособности и производительности.

Диспетчер конфигураций

Configuration Manager (dwconfig.exe) — это средство, которое администраторы устройств используют для настройки системы платформы Аналитики.

Управление базами данных узлов

SQL Server управляет всеми базами данных на узле Control.

  • База данных Shell управляет метаданными для всех распределенных пользовательских баз данных.

  • TempDB содержит метаданные для всех временных таблиц пользователей на устройстве.

  • Master — это таблица для SQL Server на управляющем узле master.

Вычислительный узел

Вычислительные узлы — это параллельные единицы обработки и хранения данных. Они имеют прямое присоединенное хранилище и используют SQL Server для управления данными пользователей.

Служба перемещения данных (DMS)

Служба перемещения данных (DMS) выполняется на каждом вычислительном узле, чтобы выполнить следующие действия:

  • В процессе обработки параллельных запросов DMS передает данные на другие узлы компьютера и узел управления.

  • DMS, работающий на каждом вычислительном узле, получает нагрузку данных параллельно. Данные загружаются параллельно с сервера загрузки на вычислительные узлы

  • DMS передает данные из каждого вычислительного узла непосредственно на сервер резервного копирования.

  • Используя PolyBase, DMS передает данные в и из внешнего кластера Hadoop или Azure Blob Storage.

Базы данных вычислительных узлов

Каждый вычислительный узел запускает экземпляр SQL Server для обработки запросов и управления данными пользователей.

Структура устройства

Структура устройства предоставляет операционную систему, службы и сетевую инфраструктуру для устройства.

Контроллер домена

Доменные службы Active Directory (AD) (DS)
Система Analytics Platform System выполняет аутентификацию между узлами системы и управляет аутентификацией входов Windows для SQL Server PDW.

Служба DNS
Служба доменных имен Windows (DNS) разрешает доменные имена в IP-адреса для устройства платформы аналитической системы.

Служба развертывания Windows

Служба развертывания Windows (WDS) развертывает операционную систему Windows Server на устройстве. Он развертывается на каждом хосте и виртуальной машине в пределах устройства.

Служба DHCP создает IP-адреса, чтобы узлы в домене устройства могли присоединиться к сети устройства без предварительно настроенного IP-адреса.

Менеджер виртуальных машин

Система платформ аналитики использует виртуализацию для обеспечения высокой доступности. Virtual Machine Manager размещает System Center для развертывания операционной системы на физических узлах.

Windows Server Update Services (WSUS) для применения или удаления обновлений Windows на всех узлах и виртуальных машинах.

Windows Server

Все узлы и виртуальные машины на устройстве работают под управлением операционной системы Windows Server.

Кластеризация для обеспечения отказоустойчивости

Отказоустойчивая кластеризация Windows обеспечивает возможность перезапуска процессов на пассивном хосте, если хост выходит из строя.

Хранилища

Дисковые пространства Windows управляют данными пользователей в качестве пула носителей для небольшой группы вычислительных узлов. Если вычислительный узел выходит из строя, данные по-прежнему доступны через другой вычислительный узел в группе.

Hyper-V

Microsoft Hyper-V Server предоставляет простое и надежное решение виртуализации. Система платформы Аналитики использует виртуализации для балансировки ресурсов ЦП и обеспечения высокой доступности для узлов PDW и компонентов структуры устройства.

Нереляционные данные

Технология PolyBase интегрирует данные SQL Server PDW с внешними данными Hadoop. Данные Hadoop можно хранить в любом из следующих источников данных Hadoop:

  • Распределение Hortonworks Hadoop

  • Дистрибутив Cloudera для Hadoop

  • Данные HDInsight, хранящиеся в Azure Storage Blob

Средства запроса

Запросы записываются с использованием Transact-SQL, изменённого чтобы соответствовать MPP-характеру запросов. Все запросы отправляются на узел Control, который создает параллельный план запроса для запуска запроса на вычислительных узлах.

SQL Server Data Tools (SSDT)

SQL Server Data Tools выполняется в Visual Studio и является нашим рекомендуемом инструментом графического интерфейса для отправки запросов в SQL Server PDW. Это похоже на SQL Server Management Studio, позволяя перемещаться по обозревателе объектов.

Если у вас еще нет Visual Studio, вы можете скачать необходимые средства бесплатно.

инструмент командной строки для запросов sqlcmd

sqlcmd — это средство командной строки SQL Server для выполнения инструкций Transact-SQL и системных команд. Он работает с SQL Server PDW и является нашим рекомендуемом средством командной строки для запроса SQL Server PDW. С sqlcmd помощью инструкций Transact-SQL можно выполнять интерактивные инструкции из командной строки, в виде пакетного файла или из Windows PowerShell.

Услуги по интеграции

Интеграционные службы можно использовать для выполнения запросов к SQL Server PDW.

Связанный сервер

С помощью подключения к связанному серверу SQL Server можно использовать SQL Server для отправки Transact-SQL инструкций в SQL Server PDW.

Средства бизнес-аналитики

Analysis Services

SQL Server PDW — допустимый источник данных для баз данных Служб Analysis Services и моделей Excel PowerPivot. С помощью поставщика OLE DB можно настроить куб служб Analysis Services для использования многомерной интерактивной аналитической обработки (MOLAP) или реляционной интерактивной аналитической обработки (ROLAP).

Report Builder

Вы можете использовать SQL Server PDW в качестве источника данных SQL Server для отчетов, которые вы разрабатываете для служб Reporting Services с помощью построителя отчетов SQL Server. Вы также можете использовать SQL Server PDW в качестве источника SQL Server для моделей отчетов. С помощью диспетчера отчетов или API сервера отчетов можно создать модель из базы данных SQL Server PDW.

PowerPivot для Excel

Вы можете подключиться к SQL Server PDW с помощью PowerPivot для Excel, бесплатная загрузка, которая значительно расширяет возможности анализа данных Excel.

Загрузка инструментов

Услуги по интеграции

Установите адаптеры назначения, специфичные для системы Analytics Platform (PDW), которые позволяют использовать SQL Server Integration Services для загрузки данных в Analytics Platform System (PDW).

Загрузчик командной строки dwloader

dwloader — это средство загрузки командной строки, которое загружает данные параллельно с сервера загрузки на вычислительные узлы SQL Server PDW.

Интеграция PolyBase с Hadoop

С помощью технологии PolyBase можно загрузить нереляционные данные из кластера Hadoop в реляционную таблицу в SQL Server PDW. Данные Hadoop могут находиться во внешнем кластере Hadoop или в хранилище BLOB-объектов Azure.

Резервное копирование и восстановление базы данных

SQL Server PDW использует команды резервного копирования и восстановления базы данных Transact-SQL для резервного копирования и восстановления пользовательских баз данных параллельно и с сервера резервного копирования. SQL Server PDW записывает резервную копию в каталог в общей папке Windows, а затем также восстанавливает данные из общей папки Windows.

Дополнительные сведения см. в разделе "Обзор резервного копирования и загрузки оборудования" — Параллельное хранилище данных ирезервное копирование и восстановление

Удаленная копия таблицы

Функция "Копирование удаленных таблиц" позволяет копировать таблицы из баз данных PDW SQL Server в удаленные (не устройства) базы данных SMP SQL Server. Это обеспечивает сценарии работы по модели "hub and spoke" для SQL Server PDW.

Monitor

Система платформы аналитики имеет несколько способов мониторинга активности устройства. Дополнительные сведения о мониторинге см. в разделе "Мониторинг устройств".

Консоль администрирования

Консоль администрирования позволяет просматривать текущее состояние работоспособности устройства. Это выполняется как веб-приложение на узле control и доступно по протоколу https.

Дополнительные сведения см. в статье "Мониторинг устройства с помощью консоли администрирования — система платформы аналитики"

Системные представления

Консоль администрирования основана на запросах системного представления. Вы можете запрашивать системные представления по отдельности, чтобы получить необходимую информацию.

Дополнительные сведения см. в статье "Мониторинг устройства с помощью системных представлений — система платформы аналитики"

Диспетчер операций System Center

Существуют пакеты управления System Center Operations Manager для SQL Server PDW.

Для настройки устройства в System Center Operations Manager см. статью Мониторинг с помощью System Center Operations Manager — Платформа аналитической системы

Задачи управления

Ознакомьтесь с документацией и рекомендациями по общим задачам управления:

Поддержка T-SQL

Чтобы просмотреть справочные статьи T-SQL для PDW, выберите версию продукта "Система платформы аналитики" (PDW) в раскрывающемся списке версий.

Снимок экрана с сайта dori-uw-1.kuma-moon.com, показывающий селектор версий продукта.

Например, просмотрите версию APS документа «Сортировки и поддержка Юникода».

  • Last updated on