Управление корпоративными сведениями с помощью служб SSIS, MDS и DQS Together [руководство]

Управление информацией в организации обычно включает интеграцию данных из всей организации и за ее пределами, очистку данных, сопоставление данных для удаления повторяющихся данных, стандартизацию данных, обогащение данных, обеспечение соответствия данным требованиям к юридическим и нормативным требованиям, а затем хранение данных в централизованном расположении со всеми необходимыми параметрами безопасности.

SQL Server 2014 предоставляет все компоненты, необходимые для эффективного решения корпоративного управления информацией (EIM) в одном продукте. Ключевыми компонентами, помогающими создать решение EIM, являются:

• SQL Server Integration Services

• Службы качества данных SQL Server

• SQL Server Master Data Services

Службы SQL Server Integration Services (SSIS) предоставляют мощную расширяемую платформу для интеграции данных из различных источников в комплексное решение для извлечения, преобразования и загрузки (ETL), которое поддерживает бизнес-рабочие процессы, хранилище данных или управление главными данными. См. раздел Обзор служб Integration Services, чтобы быстро ознакомиться с возможностями и типичными применениями SSIS.

Службы качества данных SQL Server (DQS) позволяют очищать, сопоставлять, стандартизировать и дополнять данные, чтобы обеспечить надежную информацию для бизнес-аналитики, хранилища данных и рабочих нагрузок обработки транзакций. Ознакомьтесь с разделом "Общие сведения о службах качества данных", чтобы понять бизнес-необходимость DQS и о том, как DQS удовлетворяет эту необходимость.

Службы master Data Services SQL Server (MDS) предоставляют центральный концентратор данных, обеспечивающий целостность информации и согласованности данных в разных приложениях. Общие сведения о важных функциях MDS см. в разделе "Общие сведения о службах Master Data Services ".

Ознакомьтесь с инструкциями по очистке и сопоставлению основных данных с использованием технологий EIM и подробными рекомендациями по внедрению EIM-решения с помощью этих технологий Microsoft EIM. Посмотрите видео Управление корпоративной информацией (EIM): объединение SSIS, DQS и MDS для интересной демонстрации сценария EIM.

В этом руководстве вы узнаете, как использовать службы SSIS, MDS и DQS вместе для реализации примера решения Enterprise Information Management (EIM). Во-первых, вы используете DQS для создания базы знаний, содержащей знания о данных (метаданных), очистке данных в файле Excel с помощью базы знаний и сопоставления данных для выявления и удаления дубликатов в данных. Затем вы используете надстройку MDS для Excel для отправки очищенных и сопоставленных данных в MDS. Затем вы автоматизируете весь процесс с помощью решения SSIS. Решение SSIS в этом руководстве считывает входные данные из файла Excel, но его можно расширить для чтения из различных источников, таких как Oracle, Teradata, DB2 и База данных SQL Azure.

Предпосылки

1. Microsoft SQL Server 2012 со следующими компонентами.

   1. Интеграционные службы (SSIS)

   2. Службы Master Data Services (MDS)

   3. Службы качества данных (DQS)

   4. Инструменты работы с данными SQL Server

      Дополнительные сведения об установке продукта см. в руководстве по установке SQL Server 2012 .

2. Настройка MDS с помощью Диспетчера конфигурации служб Master Data Services

   Используйте Configuration Manager для создания и настройки базы данных Master Data Services. После создания базы данных MDS создайте веб-приложение для MDS на веб-сайте (например: https://localhost/MDS) и свяжите базу данных MDS с веб-приложением MDS. Обратите внимание, что для создания веб-приложения MDS на компьютере должна быть установлена служба IIS. Дополнительные сведения о предварительных требованиях для настройки базы данных и веб-приложения см. в статьях "Требования к веб-приложениям" (службы Master Data Services) и "Требования к базам данных Master Data Services" (Службы Master Data Services).

3. Установка и настройка DQS с помощью установщика сервера качества данных. Нажмите кнопку "Пуск", щелкните "Все программы", выберите Microsoft SQL Server 2014, щелкните "Службы качества данных" и выберите установщик сервера качества данных.

4. Microsoft Excel 2010 (32-разрядная версия предпочтительна).

5. Установите надстройку Master Data Services для Excel (32-разрядную или 64-разрядную версию в зависимости от установленной версии Excel на вашем компьютере) отсюда. Чтобы найти версию Excel, установленную на компьютере, запустите Excel, щелкните "Файл " в строке меню и щелкните "Справка ", чтобы просмотреть версию в правой области. Обратите внимание, что перед установкой надстройки Excel необходимо установить средства Visual Studio 2010 для среды выполнения Office.

6. (Необязательно) Создайте учетную запись в Azure Marketplace. Для одной из задач, описанных в руководстве, требуется учетная запись Azure Marketplace (первоначально именуемая Data Market). Эту задачу можно пропустить, если вы хотите и продолжить следующую задачу.

7. Скачайте файл Suppliers.xls из Центра загрузки Майкрософт.

8. DQS не позволяет экспортировать результаты очистки или сопоставления в файл Excel, если используется 64-разрядная версия Excel. Эта проблема известна. Чтобы обойти проблему, сделайте следующее:

   1. Запустите DQLInstaller.exe -upgrade. Если установлен экземпляр SQL Server по умолчанию, DQSInstaller.exe-файл доступен в C:\Program Files\Microsoft SQL Server\MSSQL12. MSSQLSERVER\MSSQL\Binn. Дважды щелкните файл DQSInstaller.exe.

   2. В Диспетчере конфигурации служб Master Data Services выберите базу данных, выберите существующую базу данных MDS и нажмите кнопку "Обновить".

Уроки

Дальнейшие шаги

Чтобы начать работу с руководством, перейдите к первому уроку: занятие 1. Создание базы знаний DQS поставщиков.