Быстрый старт: Создание задания по копированию файлов

Задачи копирования в Data Factory загружают данные без необходимости создания конвейера Fabric. Он объединяет различные шаблоны копирования, такие как массовая или пакетная, добавочная или непрерывная копия в унифицированном интерфейсе. Если вам нужно копировать данные только без преобразований, используйте задание копирования.

В этом кратком руководстве описано, как постепенно копировать данные из таблицы хранилища Fabric в таблицу Fabric Lakehouse с помощью задания копирования.

Дополнительные сведения о заданиях копирования в целом см. в следующем разделе:

• Поддерживаемые соединители
• Известные ограничения

Предпосылки

Перед началом работы выполните следующие предварительные требования:

• Клиент Microsoft Fabric с активной подпиской. Вы можете создать бесплатную учетную запись.

• Рабочая область Microsoft Fabric..

• Склад ткани.

• Таблица на складе, включающая инкрементный столбец, например, отметка времени или увеличивающийся целый столбец, который может служить меткой для обнаружения изменений. Этот скрипт можно также использовать для создания примера таблицы Employee:

  CREATE TABLE dbo.Employee 
  
  ( 
      EmployeeID INT NOT NULL, 
      FirstName VARCHAR(40), 
      LastName VARCHAR(40), 
      Position VARCHAR(60), 
      ModifiedDate DATETIME2(3) 
  ); 
  

  Вставка примеров данных:

  INSERT INTO dbo.Employee (EmployeeID, FirstName, LastName, Position, ModifiedDate) 
  VALUES  
  (1, 'Alice', 'Smith', 'Data Analyst', SYSDATETIME()), 
  (2, 'Bob', 'Johnson', 'Engineer', SYSDATETIME()), 
  (3, 'Carol', 'Lee', 'Manager', SYSDATETIME()), 
  (4, 'David', 'Wong', 'Data Scientist', SYSDATETIME()), 
  (5, 'Eve', 'Garcia', 'Product Owner', SYSDATETIME());
  

  

Создание задания копирования

1. В рабочей области Microsoft Fabric выберите +Создать элемент и в разделе "Получить данные " выберите "Копировать задание".

   

2. Присвойте заданию копирования имя и нажмите кнопку "Создать".

   

Настройка добавочного копирования

1. На странице "Выбор источника данных " мастера задания копирования выберите хранилище Fabric.

   

2. На странице "Выбор данных" выберите исходную таблицу Хранилища, содержащую добавочный столбец. Нажмите кнопку Далее.

   

3. На странице "Выбор назначения данных " выберите Lakehouse в разделе New Fabric.

   

4. Укажите имя нового Lakehouse и нажмите кнопку "Создать" и подключиться.

   

5. На странице "Карта с назначением " выберите "Таблицы", при необходимости переименуйте целевую таблицу и нажмите кнопку "Далее".

   

6. На шаге "Параметры" выберите добавочное копирование в качестве режима задания копирования. Выберите столбец, который служит добавочным столбцом. Для примера таблицы это ДатаИзменения.

   

Запуск и мониторинг задания копирования

1. На странице проверки и сохранения проверьте параметры. Оставьте параметр по умолчанию для немедленного запуска передачи данных и при необходимости установите задание копирования каждые 1 минуту для ускорения отслеживания изменений.

2. Сохраните задание копирования и запустите первое выполнение, нажав кнопку "Сохранить и запустить ".

   

3. После успешного сохранения элемента задания копирования он запускает первый запуск, чтобы перенести исходные данные из исходной таблицы.

4. Используйте панель "Копирование задания " или "Центр мониторинга ", чтобы отслеживать ход выполнения. Узнайте больше о мониторинге заданий копирования.

   

Имитация изменений с новыми данными

1. Если вы использовали пример таблицы, используйте следующий SQL-запрос для вставки новых строк в таблицу хранилища Source Fabric.

   INSERT INTO dbo.Employee (EmployeeID, FirstName, LastName, Position, ModifiedDate) VALUES (6, 'John', 'Miller', 'QA Engineer', SYSDATETIME()); 
   INSERT INTO dbo.Employee (EmployeeID, FirstName, LastName, Position, ModifiedDate) VALUES (7, 'Emily', 'Clark', 'Business Analyst', SYSDATETIME()); 
   INSERT INTO dbo.Employee (EmployeeID, FirstName, LastName, Position, ModifiedDate) VALUES (8, 'Michael', 'Brown', 'UX Designer', SYSDATETIME()); 
   

2. Задание копирования использует добавочный столбец для обнаружения этих строк во время следующего запланированного выполнения.

   

3. После следующего запуска запросите целевую таблицу Fabric Lakehouse, чтобы убедиться, что таблица была перемещена.

   

Связанный контент

• Что такое задание на копирование для Data Factory
• Как мониторить задание копирования в Data Factory
• CI/CD для задачи копирования в Data Factory