New-AzSynapseSparkPool
创建 Synapse Analytics Spark 池。
语法
CreateByNameAndEnableAutoScaleParameterSet (默认值)
New-AzSynapseSparkPool
-WorkspaceName <String>
-Name <String>
-NodeSize <String>
-AutoScaleMinNodeCount <Int32>
-AutoScaleMaxNodeCount <Int32>
-SparkVersion <String>
[-ResourceGroupName <String>]
[-Tag <Hashtable>]
[-EnableIsolatedCompute]
[-EnableAutoPause]
[-AutoPauseDelayInMinute <Int32>]
[-EnableDynamicExecutorAllocation]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
[-SparkConfiguration <PSSparkConfigurationResource>]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
CreateByNameAndDisableAutoScaleParameterSet
New-AzSynapseSparkPool
-WorkspaceName <String>
-Name <String>
-NodeCount <Int32>
-NodeSize <String>
-SparkVersion <String>
[-ResourceGroupName <String>]
[-Tag <Hashtable>]
[-EnableIsolatedCompute]
[-EnableAutoPause]
[-AutoPauseDelayInMinute <Int32>]
[-EnableDynamicExecutorAllocation]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
[-SparkConfiguration <PSSparkConfigurationResource>]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
CreateByParentObjectAndEnableAutoScaleParameterSet
New-AzSynapseSparkPool
-WorkspaceObject <PSSynapseWorkspace>
-Name <String>
-NodeSize <String>
-AutoScaleMinNodeCount <Int32>
-AutoScaleMaxNodeCount <Int32>
-SparkVersion <String>
[-Tag <Hashtable>]
[-EnableIsolatedCompute]
[-EnableAutoPause]
[-AutoPauseDelayInMinute <Int32>]
[-EnableDynamicExecutorAllocation]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
[-SparkConfiguration <PSSparkConfigurationResource>]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
CreateByParentObjectAndDisableAutoScaleParameterSet
New-AzSynapseSparkPool
-WorkspaceObject <PSSynapseWorkspace>
-Name <String>
-NodeCount <Int32>
-NodeSize <String>
-SparkVersion <String>
[-Tag <Hashtable>]
[-EnableIsolatedCompute]
[-EnableAutoPause]
[-AutoPauseDelayInMinute <Int32>]
[-EnableDynamicExecutorAllocation]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
[-SparkConfiguration <PSSparkConfigurationResource>]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
说明
New-AzSynapseSparkPool cmdlet 创建Azure Synapse Analytics Spark 池。
示例
示例 1
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small
此命令将创建Azure Synapse Analytics Spark 池。
示例 2
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small
此命令创建启用了自动缩放的 Azure Synapse Analytics Spark 池。
示例 3
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation -MinExecutorCount 1 -MaxExecutorCount 4 -NodeCount 10 -SparkVersion 2.4 -NodeSize Small
此命令创建启用了动态执行程序分配的 Azure Synapse Analytics Spark 池,并指定最小执行程序计数和最大执行程序计数。
示例 4
$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small -SparkConfiguration $config
此命令创建Azure Synapse Analytics Spark 池并指定 Spark 池的 Spark 配置。
示例 5
$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small
此命令通过管道创建Azure Synapse Analytics Spark 池。
示例 6
$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small
此命令创建通过管道启用自动缩放的 Azure Synapse Analytics Spark 池。
示例 7
$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -EnableIsolatedCompute -NodeSize XXXLarge -NodeCount 3 -SparkVersion 2.4
此命令创建一个Azure Synapse Analytics Spark 池,该池通过管道启用独立计算。
参数
-AsJob
在后台运行 cmdlet
参数属性
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-AutoPauseDelayInMinute
空闲分钟数。 启用自动暂停时,可以指定此参数。 如果未手动指定默认值,则默认值为 [15]。
参数属性
| 类型: | Int32
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-AutoScaleMaxNodeCount
在指定的 Spark 池中分配的最大节点数。
启用自动缩放时必须指定此参数。
参数属性
| 类型: | Int32
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
CreateByNameAndEnableAutoScaleParameterSet
| Position: | Named |
| 必需: | True |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
CreateByParentObjectAndEnableAutoScaleParameterSet
| Position: | Named |
| 必需: | True |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-AutoScaleMinNodeCount
在指定的 Spark 池中分配的最小节点数。
启用自动缩放时必须指定此参数。
参数属性
| 类型: | Int32
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
CreateByNameAndEnableAutoScaleParameterSet
| Position: | Named |
| 必需: | True |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
CreateByParentObjectAndEnableAutoScaleParameterSet
| Position: | Named |
| 必需: | True |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-Confirm
在运行 cmdlet 之前,提示你进行确认。
参数属性
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-DefaultProfile
用于与Azure通信的凭据、帐户、租户和订阅。
参数属性
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-EnableAutoPause
指示是否应启用自动暂停。
参数属性
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-EnableDynamicExecutorAllocation
指示是否应启用动态执行程序分配。
参数属性
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-EnableIsolatedCompute
隔离计算选项仅适用于 XXXLarge(80 vCPU/504 GB)节点大小。 启用此选项可为不受信任的服务的 Apache Spark 计算提供隔离。 独立计算成本与大小相同的非隔离 VM 相同。 如果希望为 Spark 池启用独立计算,请确保在独立的计算支持区域中创建 Synapse 工作区,请参阅本文档了解更多详细信息: https://dori-uw-1.kuma-moon.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute
参数属性
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-MaxExecutorCount
在指定的 Spark 池中分配的最大执行程序数。 启用 DynamicExecutorAllocation 时,可以指定此参数。 该值应介于 1(非独占)和 maximumNodeCount(独占)之间。 如果未手动指定,则默认值为 2。
参数属性
| 类型: | Int32
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-MinExecutorCount
在指定的 Spark 池中分配的最小执行程序数。 启用 DynamicExecutorAllocation 时,可以指定此参数。 该值应介于 1(含)和 maxExecutors(独占)之间。 如果未手动指定,则默认值为 1。
参数属性
| 类型: | Int32
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-Name
Synapse Spark 池的名称。
参数属性
| 类型: | String
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
| 别名: | SparkPoolName |
参数集
(All)
| Position: | Named |
| 必需: | True |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-NodeCount
在指定的 Spark 池中分配的节点数。
参数属性
| 类型: | Int32
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
CreateByNameAndDisableAutoScaleParameterSet
| Position: | Named |
| 必需: | True |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
CreateByParentObjectAndDisableAutoScaleParameterSet
| Position: | Named |
| 必需: | True |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-NodeSize
要用于指定 Spark 池中分配的节点的核心和内存数。
禁用自动缩放时必须指定此参数
参数属性
| 类型: | String
|
| 默认值: | None |
| 接受的值: | Small, Medium, Large, XLarge, XXLarge, XXXLarge |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | True |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-ResourceGroupName
资源组名称。
参数属性
| 类型: | String
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
CreateByNameAndEnableAutoScaleParameterSet
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
CreateByNameAndDisableAutoScaleParameterSet
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-SparkConfiguration
Apache Spark 配置。 将作业提交到池时,将引用所选配置中指定的属性。
参数属性
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-SparkVersion
Apache Spark 版本。
允许的值:2.4
参数属性
| 类型: | String
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | True |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-Tag
与资源关联的标记的字符串字符串字典。
参数属性
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-WhatIf
显示 cmdlet 运行时会发生什么情况。
命令脚本未运行。
参数属性
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-WorkspaceName
Synapse 工作区的名称。
参数属性
| 类型: | String
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
CreateByNameAndEnableAutoScaleParameterSet
| Position: | Named |
| 必需: | True |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
CreateByNameAndDisableAutoScaleParameterSet
| Position: | Named |
| 必需: | True |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-WorkspaceObject
工作区输入对象,通常通过管道传递。
参数属性
参数集
CreateByParentObjectAndEnableAutoScaleParameterSet
| Position: | Named |
| 必需: | True |
| 来自管道的值: | True |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
CreateByParentObjectAndDisableAutoScaleParameterSet
| Position: | Named |
| 必需: | True |
| 来自管道的值: | True |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
CommonParameters
此 cmdlet 支持通用参数:-Debug、-ErrorAction、-ErrorVariable、-InformationAction、-InformationVariable、-OutBuffer、-OutVariable、-PipelineVariable、-ProgressAction、-Verbose、-WarningAction 和 -WarningVariable。 有关详细信息,请参阅 about_CommonParameters。
输出