azdata bdc spark batch

Область применения: Azure Data CLI ()azdata

Замечание

Некоторые сценарии, которые ранее обрабатывались Azure Data CLI (azdata) теперь управляются с помощью расширений Azure CLI иazрабочих процессов на основе Azure Arc. Для всех azdata команд нет одной замены 1:1. В следующей таблице рассматриваются распространенные варианты Azure CLI, в которых они существуют.

azdata command area Расширение Azure CLI или группа команд Справочник по Azure CLI
azdata arc dc * az arcdata Справочник по интерфейсу командной строки данных Azure Arc
azdata arc sql mi * az arcdata sql mi Управление управляемым экземпляром SQL Azure с помощью CLI
azdata arc postgres * az arcdata postgres Управление сервером PostgreSQL с помощью CLI
azdata migrate * az datamigration Миграция с помощью интерфейса командной строки
azdata extension * az extension * Общие сведения о расширениях Azure CLI
azdata login az login az login
azdata sql shell / azdata sql query Нет эквивалента Azure CLI (использование sqlcmd, SSMS или другие средства SQL) служебная программа sqlcmd

SQL Server Management Studio

Для новых сценариев автоматизации и управления предпочитайте azure CLI (az), расширения Azure CLI и портал Azure Arc.

В следующей статье приводятся справочные сведения по командам sql в средстве azdata. Дополнительные сведения о других командах azdata см. в справочнике по azdata.

Команды

Command Описание
azdata bdc spark batch create Создайте пакет Spark.
azdata bdc spark batch list Список всех пакетов в Spark.
azdata bdc spark batch info Получение сведений об активном пакете Spark.
azdata bdc spark batch log Получение журналов выполнения для пакета Spark.
azdata bdc spark batch state Получение состояния выполнения для пакета Spark.
azdata bdc spark batch delete Удаление пакета Spark.

azdata bdc spark batch create

При этом создается новое пакетное задание Spark, которое выполняет предоставленный код.

azdata bdc spark batch create --file -f 
                              [--class-name -c]  
                              
[--arguments -a]  
                              
[--jar-files -j]  
                              
[--py-files -p]  
                              
[--files]  
                              
[--driver-memory]  
                              
[--driver-cores]  
                              
[--executor-memory]  
                              
[--executor-cores]  
                              
[--executor-count]  
                              
[--archives]  
                              
[--queue -q]  
                              
[--name -n]  
                              
[--config]

Примеры

Создайте пакет Spark.

azdata spark batch create --code "2+2"

Обязательные параметры

--file -f

Путь к файлу для выполнения.

Необязательные параметры

--class-name -c

Имя класса, выполняемого при передаче одного или нескольких JAR-файлов.

--arguments -a

Список аргументов. Чтобы передать в список json кодирование значений. Пример: "["entry1", "entry2"].

--jar-files -j

Список путей jar-файла. Чтобы передать в список json кодирование значений. Пример: "["entry1", "entry2"].

--py-files -p

Список путей к файлам Python. Чтобы передать в список json кодирование значений. Пример: "["entry1", "entry2"].

--files

Список путей к файлу. Чтобы передать в список json кодирование значений. Пример: "["entry1", "entry2"].

--driver-memory

Объем памяти, выделяемой драйверу. Укажите единицы в составе значения. Пример 512M или 2G.

--driver-cores

Количество ядер ЦП, выделяемых драйверу.

--executor-memory

Объем памяти, выделяемой исполнителям. Укажите единицы в составе значения. Пример 512M или 2G.

--executor-cores

Количество ядер ЦП, выделяемых исполнителям.

--executor-count

Количество экземпляров выполняющегося исполнителя.

--archives

Список путей архивов. Чтобы передать в список json кодирование значений. Пример: "["entry1", "entry2"].

--queue -q

Имя очереди Spark для выполнения сеанса.

--name -n

Имя сеанса Spark.

--config

Список пар значений имени, содержащих значения конфигурации Spark. Закодирован как словарь JSON. Пример: "{"name":"value", "name2":"value2"}.

Глобальные аргументы

--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--output -o

Формат вывода. Допустимые значения: json, jsonc, table, tsv. Значение по умолчанию: json.

--query -q

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

azdata bdc spark batch list

Список всех пакетов в Spark.

azdata bdc spark batch list

Примеры

Список всех активных пакетов.

azdata spark batch list

Глобальные аргументы

--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--output -o

Формат вывода. Допустимые значения: json, jsonc, table, tsv. Значение по умолчанию: json.

--query -q

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

azdata bdc spark batch info

Получает сведения для пакета Spark с заданным идентификатором. Идентификатор пакета возвращается из команды spark batch create.

azdata bdc spark batch info --batch-id -i

Примеры

Получение сведений о пакете для пакета с идентификатором 0.

azdata spark batch info --batch-id 0

Обязательные параметры

--batch-id -i

Номер пакета Spark.

Глобальные аргументы

--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--output -o

Формат вывода. Допустимые значения: json, jsonc, table, tsv. Значение по умолчанию: json.

--query -q

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

azdata bdc spark batch log

Получает записи журнала пакетной службы для пакета Spark с заданным идентификатором. Идентификатор пакета возвращается из команды spark batch create.

azdata bdc spark batch log --batch-id -i

Примеры

Получение пакетного журнала для пакета с идентификатором 0.

azdata spark batch log --batch-id 0

Обязательные параметры

--batch-id -i

Номер пакета Spark.

Глобальные аргументы

--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--output -o

Формат вывода. Допустимые значения: json, jsonc, table, tsv. Значение по умолчанию: json.

--query -q

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

azdata bdc spark batch state

Получает состояние пакетной службы для пакета Spark с заданным идентификатором. Идентификатор пакета возвращается из команды spark batch create.

azdata bdc spark batch state --batch-id -i

Примеры

Получение состояния пакетной службы для пакета с идентификатором 0.

azdata spark batch state --batch-id 0

Обязательные параметры

--batch-id -i

Номер пакета Spark.

Глобальные аргументы

--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--output -o

Формат вывода. Допустимые значения: json, jsonc, table, tsv. Значение по умолчанию: json.

--query -q

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

azdata bdc spark batch delete

При этом удаляется пакет Spark. Идентификатор пакета возвращается из команды spark batch create.

azdata bdc spark batch delete --batch-id -i

Примеры

Удаление пакета.

azdata spark batch delete --batch-id 0

Обязательные параметры

--batch-id -i

Номер пакета Spark.

Глобальные аргументы

--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--output -o

Формат вывода. Допустимые значения: json, jsonc, table, tsv. Значение по умолчанию: json.

--query -q

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Дальнейшие действия

Дополнительные сведения о других командах azdata см. в справочнике по azdata.

Дополнительные сведения об установке средства azdata см. в разделе Установка azdata.

  • Last updated on