Introducción a Azure Data Lake Analytics mediante la CLI de Azure

Importante

Las nuevas cuentas de Azure Data Lake Analytics ya no se pueden crear a menos que se haya habilitado la suscripción. Si necesita habilitar la suscripción póngase en contacto con el de soporte técnico y proporcione su escenario empresarial.

Si ya usa Azure Data Lake Analytics, deberá crear un plan de migración de a Azure Synapse Analytics para su organización el 29 de febrero de 2024.

En este artículo se describe cómo usar la interfaz de la línea de comandos de la CLI de Azure para crear cuentas de Azure Data Lake Analytics, enviar trabajos USQL y catálogos. El trabajo lee un archivo de valores separados por tabulaciones (TSV) y lo convierte en un archivo de valores separados por comas (CSV).

Prerrequisitos

Antes de comenzar, necesita los siguientes elementos:

Una suscripción de Azure. Consulte Obtención de una versión de evaluación gratuita.
Este artículo requiere que ejecute la VERSIÓN 2.0 o posterior de la CLI de Azure. Si necesita instalarla o actualizarla, vea Instalación de la CLI de Azure.

Para iniciar sesión en la suscripción de Azure:

az login

Se le pedirá que vaya a una dirección URL y escriba un código de autenticación. Y, a continuación, siga las instrucciones para escribir sus credenciales.

Una vez que haya iniciado sesión, el comando login enumera las suscripciones.

Para usar una suscripción específica:

az account set --subscription <subscription id>

Creación de una cuenta de Data Lake Analytics

Necesita una cuenta de Data Lake Analytics para poder ejecutar cualquier trabajo. Para crear una cuenta de Data Lake Analytics, debe especificar los siguientes elementos:

grupo de recursos de Azure. Se debe crear una cuenta de Data Lake Analytics en un grupo de recursos de Azure. Azure Resource Manager permite trabajar con los recursos de la aplicación como un grupo. Puede implementar, actualizar o eliminar todos los recursos de la aplicación en una sola operación coordinada.

Para enumerar los grupos de recursos existentes en la suscripción:

az group list

Para crear un nuevo grupo de recursos:

az group create --name "<Resource Group Name>" --location "<Azure Location>"

Nombre de la cuenta de Data Lake Analytics. Cada cuenta de Data Lake Analytics tiene un nombre.
Ubicación. Use uno de los centros de datos de Azure que admite Data Lake Analytics.
Cuenta predeterminada de Data Lake Store: cada cuenta de Data Lake Analytics tiene una cuenta predeterminada de Data Lake Store.

Para enumerar la cuenta existente de Data Lake Store:

az dls account list

Para crear una nueva cuenta de Data Lake Store:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Use la sintaxis siguiente para crear una cuenta de Data Lake Analytics:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

Después de crear una cuenta, puede usar los siguientes comandos para enumerar las cuentas y mostrar los detalles de la cuenta:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Carga de datos en Data Lake Store

En este tutorial, vas a procesar algunos registros de búsqueda. El registro de búsqueda se puede almacenar en Data Lake Store o en Azure Blob Storage.

Azure Portal proporciona una interfaz de usuario para copiar algunos archivos de datos de ejemplo en la cuenta predeterminada de Data Lake Store, que incluye un archivo de registro de búsqueda. Consulte Preparación de los datos de origen para cargar los datos en la cuenta predeterminada de Data Lake Store.

Para cargar archivos mediante la CLI de Azure, use los siguientes comandos:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Data Lake Analytics también puede acceder a Azure Blob Storage. Para cargar datos en Azure Blob Storage, consulte Uso de la CLI de Azure con Azure Storage.

Envío de trabajos de Data Lake Analytics

Los trabajos de Data Lake Analytics se escriben en el lenguaje U-SQL. Para más información sobre U-SQL, consulte Introducción al lenguaje U-SQL y referencia del lenguaje U-SQL.

Para crear un script de trabajo de Data Lake Analytics

Cree un archivo de texto con el siguiente script U-SQL y guarde el archivo de texto en la estación de trabajo:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Este script U-SQL lee el archivo de datos de origen mediante Extractors.Tsv()y, a continuación, crea un archivo CSV mediante Outputters.Csv().

No modifique las dos rutas de acceso a menos que copie el archivo de origen en una ubicación diferente. Data Lake Analytics crea la carpeta de salida si no existe.

Es más sencillo usar rutas de acceso relativas para los archivos almacenados en cuentas predeterminadas de Data Lake Store. Puede usar rutas absolutas también. Por ejemplo:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

Debe usar rutas de acceso absolutas para acceder a los archivos de las cuentas de almacenamiento vinculadas. La sintaxis de los archivos almacenados en la cuenta de Azure Storage vinculada es:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Nota:

No se admite un contenedor de blobs de Azure que contenga blobs públicos. No se admiten los contenedores de Blob de Azure que contienen contenedores públicos.

Para enviar trabajos

Use la sintaxis siguiente para enviar un trabajo.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Por ejemplo:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

Para enumerar trabajos y mostrar los detalles del trabajo

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Para cancelar trabajos

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Recuperación de los resultados del trabajo

Una vez completado un trabajo, puede usar los siguientes comandos para enumerar los archivos de salida y descargar los archivos:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"