PyTorch Clase

Representa un estimador para el entrenamiento en experimentos de PyTorch.

OBSOLESCENTE. Use el ScriptRunConfig objeto con su propio entorno definido o uno de los entornos seleccionados de Azure ML PyTorch. Para obtener una introducción a la configuración de ejecuciones de experimentos de PyTorch con ScriptRunConfig, consulte Entrenamiento de modelos de PyTorch a escala con Azure Machine Learning.

Versiones compatibles: 1.0, 1.1, 1.2, 1.3, 1.4, 1.5, 1.6

Inicialice un estimador de PyTorch.

Referencia de ejecución de Docker. :type shm_size: str :p aram resume_from: la ruta de acceso de datos que contiene los archivos de punto de control o modelo desde los que reanudar el experimento. :type resume_from: azureml.data.datapath.DataPath :p aram max_run_duration_seconds: el tiempo máximo permitido para la ejecución. Azure ML intentará realizar automáticamente

cancele la ejecución si tarda más de este valor.

Constructor

PyTorch(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)

Parámetros

Nombre	Description
source_directory Requerido	str Directorio local que contiene archivos de configuración del experimento.
compute_target Requerido	AbstractComputeTarget o str Destino de proceso donde se realizará el entrenamiento. Puede ser un objeto o la cadena "local".
vm_size Requerido	str Tamaño de máquina virtual del destino de proceso que se creará para el entrenamiento. Valores admitidos: cualquier tamaño de máquina virtual de Azure.
vm_priority Requerido	str Prioridad de máquina virtual del destino de proceso que se creará para el entrenamiento. Si no se especifica, se usa 'dedicated'. Valores admitidos: "dedicated" y "lowpriority". Esto solo surte efecto cuando `vm_size param` se especifica en la entrada.
entry_script Requerido	str Ruta de acceso relativa al archivo que contiene el script de entrenamiento.
script_params Requerido	dict Diccionario de argumentos de línea de comandos que se van a pasar al script de entrenamiento especificado en `entry_script`.
node_count Requerido	int Número de nodos del destino de proceso que se usa para el entrenamiento. Si es mayor que 1, se ejecutará un trabajo distribuido de MPI. Solo se admite el AmlCompute destino para trabajos distribuidos.
process_count_per_node Requerido	int Número de procesos por nodo. Si es mayor que 1, se ejecutará un trabajo distribuido de MPI. Solo se admite el AmlCompute destino para trabajos distribuidos.
distributed_backend Requerido	str Back-end de comunicación para el entrenamiento distribuido. OBSOLESCENTE. Utilice el parámetro `distributed_training`. Valores admitidos: 'mpi', 'gloo' y 'nccl'. 'mpi': MPI/Horovod 'gloo', 'nccl': Aprendizaje distribuido nativo de PyTorch Este parámetro es necesario cuando `node_count` o `process_count_per_node`> 1. Cuando `node_count` == 1 y `process_count_per_node` == 1, no se usará ningún back-end a menos que el back-end se establezca explícitamente. Solo se admite el AmlCompute destino para el entrenamiento distribuido.
distributed_training Requerido	Mpi o Gloo o Nccl Parámetros para ejecutar un trabajo de entrenamiento distribuido. Para ejecutar un trabajo distribuido con back-end de MPI, use el Mpi objeto para especificar `process_count_per_node`. Para ejecutar un trabajo distribuido con back-end gloo, use Gloo. Para ejecutar un trabajo distribuido con el back-end nccl, use Nccl.
use_gpu Requerido	bool Especifica si el entorno para ejecutar el experimento debe admitir GPU. Si es true, se usará una imagen de Docker predeterminada basada en GPU en el entorno. Si es false, se usará una imagen basada en CPU. Las imágenes de Docker predeterminadas (CPU o GPU) solo se usarán si el `custom_docker_image` parámetro no está establecido. Esta configuración solo se usa en destinos de proceso habilitados para Docker.
use_docker Requerido	bool Especifica si el entorno para ejecutar el experimento debe estar basado en Docker.
custom_docker_base_image Requerido	str Nombre de la imagen de Docker a partir de la que se compilará la imagen que se va a usar para el entrenamiento. OBSOLESCENTE. Utilice el parámetro `custom_docker_image`. Si no se establece, se usará una imagen predeterminada basada en CPU como imagen base.
custom_docker_image Requerido	str Nombre de la imagen de Docker a partir de la que se compilará la imagen que se va a usar para el entrenamiento. Si no se establece, se usará una imagen predeterminada basada en CPU como imagen base.
image_registry_details Requerido	ContainerRegistry Detalles del registro de imágenes de Docker.
user_managed Requerido	bool Especifica si Azure ML reutiliza un entorno de Python existente. Si es false, Azure ML creará un entorno de Python en función de la especificación de dependencias de Conda.
conda_packages Requerido	list Lista de cadenas que representan paquetes de Conda que se van a agregar al entorno de Python para el experimento.
pip_packages Requerido	list Lista de cadenas que representan paquetes pip que se van a agregar al entorno de Python para el experimento.
conda_dependencies_file_path Requerido	str Ruta de acceso relativa al archivo yaml de dependencias de conda. Si se especifica, Azure ML no instalará ningún paquete relacionado con el marco. OBSOLESCENTE. Utilice el parámetro `conda_dependencies_file`.
pip_requirements_file_path Requerido	str Ruta de acceso relativa al archivo de texto de requisitos de pip. Esto se puede proporcionar en combinación con el `pip_packages` parámetro . OBSOLESCENTE. Utilice el parámetro `pip_requirements_file`.
conda_dependencies_file Requerido	str Ruta de acceso relativa al archivo yaml de dependencias de conda. Si se especifica, Azure ML no instalará ningún paquete relacionado con el marco.
pip_requirements_file Requerido	str Ruta de acceso relativa al archivo de texto de requisitos de pip. Esto se puede proporcionar en combinación con el `pip_packages` parámetro .
environment_variables Requerido	dict Diccionario de nombres y valores de variables de entorno. Estas variables de entorno se establecen en el proceso en el que se ejecuta el script de usuario.
environment_definition Requerido	Environment Definición del entorno para el experimento. Incluye PythonSection, DockerSection y variables de entorno. Cualquier opción de entorno que no se exponga directamente a través de otros parámetros a la construcción del estimador se puede establecer mediante este parámetro. Si se especifica este parámetro, tendrá prioridad sobre otros parámetros relacionados con el entorno, como `use_gpu`, `custom_docker_image`, `conda_packages`o `pip_packages`. Los errores se notificarán en combinaciones no válidas de parámetros.
inputs Requerido	list Lista de DataReference objetos o DatasetConsumptionConfig que se van a usar como entrada.
source_directory_data_store Requerido	Datastore Almacén de datos de respaldo para el recurso compartido del proyecto.
shm_size Requerido	str Tamaño del bloque de memoria compartida del contenedor de Docker. Si no se establece, se usa el azureml.core.environment._DEFAULT_SHM_SIZE predeterminado. Para más información, consulte Referencia de ejecución de Docker.
resume_from Requerido	DataPath Ruta de acceso de datos que contiene los archivos de punto de control o modelo desde los que reanudar el experimento.
max_run_duration_seconds Requerido	int Tiempo máximo permitido para la ejecución. Azure ML intentará cancelar automáticamente la ejecución si tarda más de este valor.
framework_version Requerido	str Versión de PyTorch que se va a usar para ejecutar código de entrenamiento. `PyTorch.get_supported_versions()` devuelve una lista de las versiones admitidas por el SDK actual.
source_directory Requerido	str Directorio local que contiene archivos de configuración del experimento.
compute_target Requerido	AbstractComputeTarget o str Destino de proceso donde se realizará el entrenamiento. Puede ser un objeto o la cadena "local".
vm_size Requerido	str Tamaño de máquina virtual del destino de proceso que se creará para el entrenamiento. Valores admitidos: cualquier tamaño de máquina virtual de Azure.
vm_priority Requerido	str Prioridad de máquina virtual del destino de proceso que se creará para el entrenamiento. Si no se especifica, se usa 'dedicated'. Valores admitidos: "dedicated" y "lowpriority". Esto solo surte efecto cuando `vm_size param` se especifica en la entrada.
entry_script Requerido	str Ruta de acceso relativa al archivo que contiene el script de entrenamiento.
script_params Requerido	dict Diccionario de argumentos de línea de comandos que se van a pasar al script de entrenamiento especificado en `entry_script`.
node_count Requerido	int Número de nodos del destino de proceso que se usa para el entrenamiento. Si es mayor que 1, se ejecutará el trabajo distribuido de mpi. Solo se admite el destino azureml.core.compute.AmlCompute para trabajos distribuidos.
process_count_per_node Requerido	int Número de procesos por nodo. Si es mayor que 1, se ejecutará un trabajo distribuido de MPI. Solo se admite el AmlCompute destino para trabajos distribuidos.
distributed_backend Requerido	str Back-end de comunicación para el entrenamiento distribuido. OBSOLESCENTE. Utilice el parámetro `distributed_training`. Valores admitidos: 'mpi', 'gloo' y 'nccl'. 'mpi': MPI/Horovod 'gloo', 'nccl': Aprendizaje distribuido nativo de PyTorch Este parámetro es necesario cuando `node_count` o `process_count_per_node`> 1. Cuando `node_count` == 1 y `process_count_per_node` == 1, no se usará ningún back-end a menos que el back-end se establezca explícitamente. Solo se admite el AmlCompute destino para el entrenamiento distribuido.
distributed_training Requerido	Mpi o Gloo o Nccl Parámetros para ejecutar un trabajo de entrenamiento distribuido. Para ejecutar un trabajo distribuido con back-end de MPI, use el Mpi objeto para especificar `process_count_per_node`. Para ejecutar un trabajo distribuido con back-end gloo, use Gloo. Para ejecutar un trabajo distribuido con el back-end nccl, use Nccl.
use_gpu Requerido	bool Especifica si el entorno para ejecutar el experimento debe admitir GPU. Si es true, se usará una imagen de Docker predeterminada basada en GPU en el entorno. Si es false, se usará una imagen basada en CPU. Las imágenes de Docker predeterminadas (CPU o GPU) solo se usarán si el `custom_docker_image` parámetro no está establecido. Esta configuración solo se usa en destinos de proceso habilitados para Docker.
use_docker Requerido	bool Especifica si el entorno para ejecutar el experimento debe estar basado en Docker.
custom_docker_base_image Requerido	str Nombre de la imagen de Docker a partir de la que se compilará la imagen que se va a usar para el entrenamiento. OBSOLESCENTE. Utilice el parámetro `custom_docker_image`. Si no se establece, se usará una imagen predeterminada basada en CPU como imagen base.
custom_docker_image Requerido	str Nombre de la imagen de Docker a partir de la que se compilará la imagen que se va a usar para el entrenamiento. Si no se establece, se usará una imagen predeterminada basada en CPU como imagen base.
image_registry_details Requerido	ContainerRegistry Detalles del registro de imágenes de Docker.
user_managed Requerido	bool Especifica si Azure ML reutiliza un entorno de Python existente. Si es false, Azure ML creará un entorno de Python en función de la especificación de dependencias de Conda.
conda_packages Requerido	list Lista de cadenas que representan paquetes de Conda que se van a agregar al entorno de Python para el experimento.
pip_packages Requerido	list Lista de cadenas que representan paquetes pip que se van a agregar al entorno de Python para el experimento.
conda_dependencies_file_path Requerido	str Ruta de acceso relativa al archivo yaml de dependencias de conda. Si se especifica, Azure ML no instalará ningún paquete relacionado con el marco. OBSOLESCENTE. Utilice el parámetro `conda_dependencies_file`.
pip_requirements_file_path Requerido	str Ruta de acceso relativa al archivo de texto de requisitos de pip. Esto se puede proporcionar en combinación con el `pip_packages` parámetro . OBSOLESCENTE. Utilice el parámetro `pip_requirements_file`.
conda_dependencies_file Requerido	str Ruta de acceso relativa al archivo yaml de dependencias de conda. Si se especifica, Azure ML no instalará ningún paquete relacionado con el marco.
pip_requirements_file Requerido	str Ruta de acceso relativa al archivo de texto de requisitos de pip. Esto se puede proporcionar en combinación con el `pip_packages` parámetro .
environment_variables Requerido	dict Diccionario de nombres y valores de variables de entorno. Estas variables de entorno se establecen en el proceso en el que se ejecuta el script de usuario.
environment_definition Requerido	Environment Definición del entorno para el experimento. Incluye PythonSection, DockerSection y variables de entorno. Cualquier opción de entorno que no se exponga directamente a través de otros parámetros a la construcción del estimador se puede establecer mediante este parámetro. Si se especifica este parámetro, tendrá prioridad sobre otros parámetros relacionados con el entorno, como `use_gpu`, `custom_docker_image`, `conda_packages`o `pip_packages`. Los errores se notificarán en combinaciones no válidas.
inputs Requerido	list Lista de azureml.data.data_reference. Objetos DataReference que se van a usar como entrada.
source_directory_data_store Requerido	Datastore Almacén de datos de respaldo para el recurso compartido del proyecto.
shm_size Requerido	Tamaño del bloque de memoria compartida del contenedor de Docker. Si no se establece, se usa el azureml.core.environment._DEFAULT_SHM_SIZE predeterminado. Para obtener más información, consulta
framework_version Requerido	str Versión de PyTorch que se va a usar para ejecutar código de entrenamiento. `PyTorch.get_supported_versions()` devuelve una lista de las versiones admitidas por el SDK actual.
_enable_optimized_mode Requerido	bool Habilite la compilación incremental del entorno con imágenes de marco precompiladas para una preparación más rápida del entorno. Una imagen de marco precompilado se basa en imágenes base de CPU y GPU predeterminadas de Azure ML con dependencias del marco preinstaladas.
_disable_validation Requerido	bool Deshabilite la validación del script antes de ejecutar el envío. El valor predeterminado es True.
_show_lint_warnings Requerido	bool Mostrar advertencias de linting de script. El valor predeterminado es False.
_show_package_warnings Requerido	bool Mostrar advertencias de validación de paquetes. El valor predeterminado es False.

Comentarios

Al enviar un trabajo de entrenamiento, Azure ML ejecuta el script en un entorno de Conda dentro de un contenedor de Docker. Los contenedores de PyTorch tienen instaladas las siguientes dependencias.

Dependencias | PyTorch 1.0/1.1/1.2/1.3/ | PyTorch 1.4/1.5/1.6 | ———————- | —————– | ————- | Python | 3.6.2 | 3.6.2 | CUDA (solo imagen de GPU) | 10.0 | 10.1 | cuDNN (solo imagen de GPU) | 7.6.3 | 7.6.3 | NCCL (solo imagen de GPU) | 2.4.8 | 2.4.8 | azureml-defaults | Más reciente | Más reciente | OpenMpi | 3.1.2 | 3.1.2 | horovod | 0.18.1 | 0.18.1/0.19.1/0.19.5 | miniconda | 4.5.11 | 4.5.11 | torch | 1.0/1.1/1.2/1.3.1 | 1.4.0/1.5.0/1.6.0 | torchvision | 0.4.1 | 0.5.0 | git | 2.7.4 | 2.7.4 | tensorboard | 1.14 | 1.14 | future | 0.17.1 | 0.17.1 |

Las imágenes de Docker amplían Ubuntu 16.04.

Para instalar dependencias adicionales, puede usar el pip_packages parámetro o conda_packages . O bien, puede especificar el pip_requirements_file parámetro o conda_dependencies_file . Como alternativa, puede compilar su propia imagen y pasar el custom_docker_image parámetro al constructor estimador.

Para obtener más información sobre los contenedores de Docker usados en el entrenamiento de PyTorch, consulte https://github.com/Azure/AzureML-Containers.

El estimador de PyTorch admite el entrenamiento distribuido entre clústeres de CPU y GPU mediante Horovod, un marco de código abierto, todo ello para reducir el entrenamiento distribuido. Para obtener ejemplos y más información sobre el uso de PyTorch en el entrenamiento distribuido, consulte el tutorial Entrenamiento y registro de modelos de PyTorch a escala con Azure Machine Learning.

Atributos

DEFAULT_VERSION

DEFAULT_VERSION = '1.4'

FRAMEWORK_NAME

FRAMEWORK_NAME = 'PyTorch'

Comentarios

¿Le ha resultado útil esta página?

Compartir a través de

PyTorch Clase

Constructor

Parámetros

Comentarios

Atributos

DEFAULT_VERSION

FRAMEWORK_NAME

Comentarios