Compartir a través de


HDInsightCompute Clase

Administra un destino de proceso de clúster de HDInsight en Azure Machine Learning.

Azure HDInsight es una plataforma popular para el análisis de macrodatos. La plataforma proporciona Apache Spark, que se puede usar para entrenar el modelo. Para más información, consulte ¿Qué son los destinos de proceso en Azure Machine Learning?

Constructor ComputeTarget de clase.

Recupere una representación en la nube de un objeto Compute asociado al área de trabajo proporcionada. Devuelve una instancia de una clase secundaria correspondiente al tipo específico del objeto Compute recuperado.

Constructor

HDInsightCompute(workspace, name)

Parámetros

Nombre Description
workspace
Requerido

Objeto de área de trabajo que contiene el objeto HDInsightCompute que se va a recuperar.

name
Requerido
str

Nombre del objeto HDInsightCompute que se va a recuperar.

workspace
Requerido

Objeto de área de trabajo que contiene el objeto Compute que se va a recuperar.

name
Requerido
str

Nombre del objeto Compute que se va a recuperar.

Comentarios

En el ejemplo siguiente se muestra cómo crear un clúster de Spark para HDInsight en Azure.


   from azureml.core.compute import ComputeTarget, HDInsightCompute
   from azureml.exceptions import ComputeTargetException
   import os

   try:
   # If you want to connect using SSH key instead of username/password you can provide parameters private_key_file and private_key_passphrase

   # Attaching a HDInsight cluster using the public address of the HDInsight cluster is no longer supported.
   # Instead, use resourceId of the HDInsight cluster.
   # The resourceId of the HDInsight Cluster can be constructed using the following string format:
   # /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>.
   # You can also use subscription_id, resource_group and cluster_name without constructing resourceId.
       attach_config = HDInsightCompute.attach_configuration(resource_id='<resource_id>',
                                                             ssh_port=22,
                                                             username=os.environ.get('hdiusername', '<ssh_username>'),
                                                             password=os.environ.get('hdipassword', '<my_password>'))

       hdi_compute = ComputeTarget.attach(workspace=ws,
                                          name='myhdi',
                                          attach_configuration=attach_config)

   except ComputeTargetException as e:
       print("Caught = {}".format(e.message))


   hdi_compute.wait_for_completion(show_output=True)

El ejemplo completo está disponible en https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/training/train-in-spark/train-in-spark.ipynb

Métodos

attach

OBSOLESCENTE. Use el attach_configuration método en su lugar.

Asocie un recurso HDI existente al área de trabajo proporcionada.

attach_configuration

Cree un objeto de configuración para asociar un destino de proceso de HDInsight.

Ya no se admite la asociación de un clúster de HDInsight mediante la dirección pública del clúster de HDInsight. En su lugar, use resourceId del clúster de HDInsight. El resourceId del clúster de HDInsight se puede construir con el siguiente formato de cadena: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>".

También puede usar subscription_id, resource_group y cluster_name sin construir resourceId. Para obtener más información: https://aka.ms/azureml-compute-hdi

delete

La eliminación no se admite para el objeto HDInsightCompute. En su lugar, use detach.

deserialize

Convierta un objeto JSON en un objeto HDInsightCompute.

detach

Desasocia el objeto HDInsightCompute de su área de trabajo asociada.

Los objetos en la nube subyacentes no se eliminan, solo se quita la asociación.

get_credentials

Recupere las credenciales del destino HDInsightCompute.

refresh_state

Realice una actualización local de las propiedades del objeto .

Este método actualiza las propiedades en función del estado actual del objeto de nube correspondiente. Esto se usa principalmente para el sondeo manual del estado de proceso.

serialize

Convierta este objeto HDInsightCompute en un diccionario serializado JSON.

attach

OBSOLESCENTE. Use el attach_configuration método en su lugar.

Asocie un recurso HDI existente al área de trabajo proporcionada.

static attach(workspace, name, username, address, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Parámetros

Nombre Description
workspace
Requerido

Objeto de área de trabajo al que se va a asociar el recurso de proceso.

name
Requerido
str

Nombre que se va a asociar al recurso de proceso dentro del área de trabajo proporcionada. No tiene que coincidir con el nombre del recurso de proceso que se va a asociar.

username
Requerido
str

Nombre de usuario necesario para acceder al recurso.

address
Requerido
str

Dirección del recurso que se va a adjuntar.

ssh_port
int

Puerto expuesto para el recurso. El valor predeterminado es 22.

Valor predeterminado: 22
password
Requerido
str

Contraseña necesaria para acceder al recurso.

private_key_file
Requerido
str

Ruta de acceso a un archivo que contiene la clave privada del recurso.

private_key_passphrase
Requerido
str

Frase de clave privada necesaria para acceder al recurso.

Devoluciones

Tipo Description

Representación de objeto HDInsightCompute del objeto compute.

Excepciones

Tipo Description

attach_configuration

Cree un objeto de configuración para asociar un destino de proceso de HDInsight.

Ya no se admite la asociación de un clúster de HDInsight mediante la dirección pública del clúster de HDInsight. En su lugar, use resourceId del clúster de HDInsight. El resourceId del clúster de HDInsight se puede construir con el siguiente formato de cadena: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>".

También puede usar subscription_id, resource_group y cluster_name sin construir resourceId. Para obtener más información: https://aka.ms/azureml-compute-hdi

static attach_configuration(username, subscription_id=None, resource_group=None, cluster_name=None, resource_id=None, address=None, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Parámetros

Nombre Description
username
Requerido
str

Nombre de usuario necesario para acceder al recurso.

subscription_id
str

Identificador de suscripción de Azure

Valor predeterminado: None
resource_group
str

Nombre del grupo de recursos en el que se encuentra el clúster de HDI.

Valor predeterminado: None
cluster_name
str

El nombre del clúster de HDI

Valor predeterminado: None
resource_id
str

Identificador de recurso de Azure Resource Manager (ARM) para el recurso que se va a asociar.

Valor predeterminado: None
address
str

Dirección del recurso que se va a adjuntar.

Valor predeterminado: None
ssh_port
int

Puerto expuesto para el recurso. El valor predeterminado es 22.

Valor predeterminado: 22
password
Requerido
str

Contraseña necesaria para acceder al recurso.

private_key_file
Requerido
str

Ruta de acceso a un archivo que contiene la clave privada del recurso.

private_key_passphrase
Requerido
str

Frase de clave privada necesaria para acceder al recurso.

Devoluciones

Tipo Description

Objeto de configuración que se va a usar al adjuntar un objeto Compute.

delete

La eliminación no se admite para el objeto HDInsightCompute. En su lugar, use detach.

delete()

Excepciones

Tipo Description

deserialize

Convierta un objeto JSON en un objeto HDInsightCompute.

static deserialize(workspace, object_dict)

Parámetros

Nombre Description
workspace
Requerido

Objeto de área de trabajo al que está asociado el objeto HDInsightCompute.

object_dict
Requerido

Objeto JSON que se va a convertir en un objeto HDInsightCompute.

Devoluciones

Tipo Description

Representación de HDInsightCompute del objeto JSON proporcionado.

Excepciones

Tipo Description

Comentarios

Genera un ComputeTargetException si el área de trabajo proporcionada no es el área de trabajo a la que está asociado el proceso.

detach

Desasocia el objeto HDInsightCompute de su área de trabajo asociada.

Los objetos en la nube subyacentes no se eliminan, solo se quita la asociación.

detach()

Excepciones

Tipo Description

get_credentials

Recupere las credenciales del destino HDInsightCompute.

get_credentials()

Devoluciones

Tipo Description

Credenciales para el destino de HDInsightCompute

Excepciones

Tipo Description

refresh_state

Realice una actualización local de las propiedades del objeto .

Este método actualiza las propiedades en función del estado actual del objeto de nube correspondiente. Esto se usa principalmente para el sondeo manual del estado de proceso.

refresh_state()

serialize

Convierta este objeto HDInsightCompute en un diccionario serializado JSON.

serialize()

Devoluciones

Tipo Description

Representación JSON de este objeto HDICompute.