Compartir a través de

Spark Session - Create Spark Session

Servicio:
Synapse
Versión de la API:
2020-12-01

Cree una nueva sesión de Spark.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/sessions
Con parámetros opcionales: 
POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/sessions?detailed={detailed}

Parámetros de identificador URI

Nombre En Requerido Tipo Description
endpoint
 path True

string

El punto de conexión de desarrollo del área de trabajo, por ejemplo, https://myworkspace.dev.azuresynapse.net.
livyApiVersion
 path True

string

Versión de API válida para la solicitud.
sparkPoolName
 path True

string

Nombre del grupo de Spark.
detailed
 query

boolean

Parámetro de consulta opcional que especifica si se devuelve una respuesta detallada más allá de livy sin formato.

Cuerpo de la solicitud

Nombre Requerido Tipo Description
name True

string

archives

string[]

args

string[]

artifactId

string

className

string

conf

object

driverCores

integer (int32)

driverMemory

string

executorCores

integer (int32)

executorMemory

string

file

string

files

string[]

jars

string[]

numExecutors

integer (int32)

pyFiles

string[]

tags

object

Respuestas

Nombre Tipo Description
200 OK

SparkSession

Éxito

Ejemplos

Create new spark session.

Solicitud de ejemplo

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/sessions?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 2,
  "numExecutors": 2
}

Respuesta de muestra

status code:
200 
{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkSession",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Definiciones

Nombre Description
LivyStates

Estado del lote
PluginCurrentState
SchedulerCurrentState
SparkErrorSource
SparkJobType

Tipo de trabajo.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin
SparkSession
SparkSessionOptions
SparkSessionResultType
SparkSessionState

LivyStates

Enumeración

Estado del lote

Valor Description
not_started
starting
idle
busy
shutting_down
error
dead
killed
success
running
recovering

PluginCurrentState

Enumeración
Valor Description
Preparation
ResourceAcquisition
Queued
Submission
Monitoring
Cleanup
Ended

SchedulerCurrentState

Enumeración
Valor Description
Queued
Scheduled
Ended

SparkErrorSource

Enumeración
Valor Description
System
User
Unknown
Dependency

SparkJobType

Enumeración

Tipo de trabajo.

Valor Description
SparkBatch
SparkSession

SparkRequest

Object
Nombre Tipo Description
archives

string[]

args

string[]

className

string

conf

object

driverCores

integer (int32)

driverMemory

string

executorCores

integer (int32)

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer (int32)

pyFiles

string[]

SparkScheduler

Object
Nombre Tipo Description
cancellationRequestedAt

string (date-time)

currentState

SchedulerCurrentState

endedAt

string (date-time)

scheduledAt

string (date-time)

submittedAt

string (date-time)

SparkServiceError

Object
Nombre Tipo Description
errorCode

string

message

string

source

SparkErrorSource

SparkServicePlugin

Object
Nombre Tipo Description
cleanupStartedAt

string (date-time)

currentState

PluginCurrentState

monitoringStartedAt

string (date-time)

preparationStartedAt

string (date-time)

resourceAcquisitionStartedAt

string (date-time)

submissionStartedAt

string (date-time)

SparkSession

Object
Nombre Tipo Description
appId

string

appInfo

object

artifactId

string

errorInfo

SparkServiceError[]

id

integer (int32)

jobType

SparkJobType

livyInfo

SparkSessionState

log

string[]

name

string

pluginInfo

SparkServicePlugin

result

SparkSessionResultType

schedulerInfo

SparkScheduler

sparkPoolName

string

state

LivyStates

Estado de sesión.
submitterId

string

submitterName

string

tags

object

workspaceName

string

SparkSessionOptions

Object
Nombre Tipo Description
archives

string[]

args

string[]

artifactId

string

className

string

conf

object

driverCores

integer (int32)

driverMemory

string

executorCores

integer (int32)

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer (int32)

pyFiles

string[]

tags

object

SparkSessionResultType

Enumeración
Valor Description
Uncertain
Succeeded
Failed
Cancelled

SparkSessionState

Object
Nombre Tipo Description
busyAt

string (date-time)

currentState

string

deadAt

string (date-time)

errorAt

string (date-time)

idleAt

string (date-time)

jobCreationRequest

SparkRequest

killedAt

string (date-time)

notStartedAt

string (date-time)

recoveringAt

string (date-time)

shuttingDownAt

string (date-time)

startingAt

string (date-time)