通过


你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

New-AzSynapseSparkPool

创建 Synapse Analytics Spark 池。

语法

CreateByNameAndEnableAutoScaleParameterSet (默认值)

New-AzSynapseSparkPool
    -WorkspaceName <String>
    -Name <String>
    -NodeSize <String>
    -AutoScaleMinNodeCount <Int32>
    -AutoScaleMaxNodeCount <Int32>
    -SparkVersion <String>
    [-ResourceGroupName <String>]
    [-Tag <Hashtable>]
    [-EnableIsolatedCompute]
    [-EnableAutoPause]
    [-AutoPauseDelayInMinute <Int32>]
    [-EnableDynamicExecutorAllocation]
    [-MinExecutorCount <Int32>]
    [-MaxExecutorCount <Int32>]
    [-SparkConfiguration <PSSparkConfigurationResource>]
    [-AsJob]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

CreateByNameAndDisableAutoScaleParameterSet

New-AzSynapseSparkPool
    -WorkspaceName <String>
    -Name <String>
    -NodeCount <Int32>
    -NodeSize <String>
    -SparkVersion <String>
    [-ResourceGroupName <String>]
    [-Tag <Hashtable>]
    [-EnableIsolatedCompute]
    [-EnableAutoPause]
    [-AutoPauseDelayInMinute <Int32>]
    [-EnableDynamicExecutorAllocation]
    [-MinExecutorCount <Int32>]
    [-MaxExecutorCount <Int32>]
    [-SparkConfiguration <PSSparkConfigurationResource>]
    [-AsJob]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

CreateByParentObjectAndEnableAutoScaleParameterSet

New-AzSynapseSparkPool
    -WorkspaceObject <PSSynapseWorkspace>
    -Name <String>
    -NodeSize <String>
    -AutoScaleMinNodeCount <Int32>
    -AutoScaleMaxNodeCount <Int32>
    -SparkVersion <String>
    [-Tag <Hashtable>]
    [-EnableIsolatedCompute]
    [-EnableAutoPause]
    [-AutoPauseDelayInMinute <Int32>]
    [-EnableDynamicExecutorAllocation]
    [-MinExecutorCount <Int32>]
    [-MaxExecutorCount <Int32>]
    [-SparkConfiguration <PSSparkConfigurationResource>]
    [-AsJob]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

CreateByParentObjectAndDisableAutoScaleParameterSet

New-AzSynapseSparkPool
    -WorkspaceObject <PSSynapseWorkspace>
    -Name <String>
    -NodeCount <Int32>
    -NodeSize <String>
    -SparkVersion <String>
    [-Tag <Hashtable>]
    [-EnableIsolatedCompute]
    [-EnableAutoPause]
    [-AutoPauseDelayInMinute <Int32>]
    [-EnableDynamicExecutorAllocation]
    [-MinExecutorCount <Int32>]
    [-MaxExecutorCount <Int32>]
    [-SparkConfiguration <PSSparkConfigurationResource>]
    [-AsJob]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

说明

New-AzSynapseSparkPool cmdlet 创建Azure Synapse Analytics Spark 池。

示例

示例 1

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

此命令将创建Azure Synapse Analytics Spark 池。

示例 2

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

此命令创建启用了自动缩放的 Azure Synapse Analytics Spark 池。

示例 3

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation -MinExecutorCount 1 -MaxExecutorCount 4  -NodeCount 10 -SparkVersion 2.4 -NodeSize Small

此命令创建启用了动态执行程序分配的 Azure Synapse Analytics Spark 池,并指定最小执行程序计数和最大执行程序计数。

示例 4

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small -SparkConfiguration $config

此命令创建Azure Synapse Analytics Spark 池并指定 Spark 池的 Spark 配置。

示例 5

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

此命令通过管道创建Azure Synapse Analytics Spark 池。

示例 6

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

此命令创建通过管道启用自动缩放的 Azure Synapse Analytics Spark 池。

示例 7

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -EnableIsolatedCompute -NodeSize XXXLarge -NodeCount 3 -SparkVersion 2.4

此命令创建一个Azure Synapse Analytics Spark 池,该池通过管道启用独立计算。

参数

-AsJob

在后台运行 cmdlet

参数属性

类型:SwitchParameter
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-AutoPauseDelayInMinute

空闲分钟数。 启用自动暂停时,可以指定此参数。 如果未手动指定默认值,则默认值为 [15]。

参数属性

类型:Int32
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-AutoScaleMaxNodeCount

在指定的 Spark 池中分配的最大节点数。 启用自动缩放时必须指定此参数。

参数属性

类型:Int32
默认值:None
支持通配符:False
不显示:False

参数集

CreateByNameAndEnableAutoScaleParameterSet
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False
CreateByParentObjectAndEnableAutoScaleParameterSet
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-AutoScaleMinNodeCount

在指定的 Spark 池中分配的最小节点数。 启用自动缩放时必须指定此参数。

参数属性

类型:Int32
默认值:None
支持通配符:False
不显示:False

参数集

CreateByNameAndEnableAutoScaleParameterSet
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False
CreateByParentObjectAndEnableAutoScaleParameterSet
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-Confirm

在运行 cmdlet 之前,提示你进行确认。

参数属性

类型:SwitchParameter
默认值:None
支持通配符:False
不显示:False
别名:Cf

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-DefaultProfile

用于与Azure通信的凭据、帐户、租户和订阅。

参数属性

类型:IAzureContextContainer
默认值:None
支持通配符:False
不显示:False
别名:AzContext, AzureRmContext, AzureCredential

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-EnableAutoPause

指示是否应启用自动暂停。

参数属性

类型:SwitchParameter
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-EnableDynamicExecutorAllocation

指示是否应启用动态执行程序分配。

参数属性

类型:SwitchParameter
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-EnableIsolatedCompute

隔离计算选项仅适用于 XXXLarge(80 vCPU/504 GB)节点大小。 启用此选项可为不受信任的服务的 Apache Spark 计算提供隔离。 独立计算成本与大小相同的非隔离 VM 相同。 如果希望为 Spark 池启用独立计算,请确保在独立的计算支持区域中创建 Synapse 工作区,请参阅本文档了解更多详细信息: https://dori-uw-1.kuma-moon.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute

参数属性

类型:SwitchParameter
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-MaxExecutorCount

在指定的 Spark 池中分配的最大执行程序数。 启用 DynamicExecutorAllocation 时,可以指定此参数。 该值应介于 1(非独占)和 maximumNodeCount(独占)之间。 如果未手动指定,则默认值为 2。

参数属性

类型:Int32
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-MinExecutorCount

在指定的 Spark 池中分配的最小执行程序数。 启用 DynamicExecutorAllocation 时,可以指定此参数。 该值应介于 1(含)和 maxExecutors(独占)之间。 如果未手动指定,则默认值为 1。

参数属性

类型:Int32
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-Name

Synapse Spark 池的名称。

参数属性

类型:String
默认值:None
支持通配符:False
不显示:False
别名:SparkPoolName

参数集

(All)
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-NodeCount

在指定的 Spark 池中分配的节点数。

参数属性

类型:Int32
默认值:None
支持通配符:False
不显示:False

参数集

CreateByNameAndDisableAutoScaleParameterSet
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False
CreateByParentObjectAndDisableAutoScaleParameterSet
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-NodeSize

要用于指定 Spark 池中分配的节点的核心和内存数。 禁用自动缩放时必须指定此参数

参数属性

类型:String
默认值:None
接受的值:Small, Medium, Large, XLarge, XXLarge, XXXLarge
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-ResourceGroupName

资源组名称。

参数属性

类型:String
默认值:None
支持通配符:False
不显示:False

参数集

CreateByNameAndEnableAutoScaleParameterSet
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False
CreateByNameAndDisableAutoScaleParameterSet
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-SparkConfiguration

Apache Spark 配置。 将作业提交到池时,将引用所选配置中指定的属性。

参数属性

类型:PSSparkConfigurationResource
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-SparkVersion

Apache Spark 版本。 允许的值:2.4

参数属性

类型:String
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-Tag

与资源关联的标记的字符串字符串字典。

参数属性

类型:Hashtable
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-WhatIf

显示 cmdlet 运行时会发生什么情况。 命令脚本未运行。

参数属性

类型:SwitchParameter
默认值:None
支持通配符:False
不显示:False
别名:无线

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-WorkspaceName

Synapse 工作区的名称。

参数属性

类型:String
默认值:None
支持通配符:False
不显示:False

参数集

CreateByNameAndEnableAutoScaleParameterSet
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False
CreateByNameAndDisableAutoScaleParameterSet
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-WorkspaceObject

工作区输入对象,通常通过管道传递。

参数属性

类型:PSSynapseWorkspace
默认值:None
支持通配符:False
不显示:False

参数集

CreateByParentObjectAndEnableAutoScaleParameterSet
Position:Named
必需:True
来自管道的值:True
来自管道的值(按属性名称):False
来自剩余参数的值:False
CreateByParentObjectAndDisableAutoScaleParameterSet
Position:Named
必需:True
来自管道的值:True
来自管道的值(按属性名称):False
来自剩余参数的值:False

CommonParameters

此 cmdlet 支持通用参数:-Debug、-ErrorAction、-ErrorVariable、-InformationAction、-InformationVariable、-OutBuffer、-OutVariable、-PipelineVariable、-ProgressAction、-Verbose、-WarningAction 和 -WarningVariable。 有关详细信息,请参阅 about_CommonParameters

输入

PSSynapseWorkspace

输出

PSSynapseSparkPool