Compartilhar via


Bibliotecas do espaço de trabalho (legado)

Importante

Esta documentação foi desativada e pode não estar atualizada. Não há mais suporte para os produtos, serviços ou tecnologias mencionados neste conteúdo. Consulte bibliotecas com escopo de computação.

Observação

As bibliotecas do espaço de trabalho foram preteridas e não devem ser usadas. Entretanto, armazenar bibliotecas como arquivos de espaço de trabalho é diferente das bibliotecas de espaço de trabalho e ainda é totalmente suportado. Você pode instalar bibliotecas armazenadas como arquivos de espaço de trabalho diretamente em tarefas de computação ou de execução.

Bibliotecas de workspace servem como repositório local do qual você cria bibliotecas instaladas em cluster. Uma biblioteca de workspace pode ser um código personalizado criado pela sua organização ou pode ser uma versão específica de uma biblioteca de software livre na qual sua organização tenha se padronizado.

Você deve instalar uma biblioteca de workspace em um cluster antes que ela possa ser usada em um notebook ou trabalho. Consulte Instalar uma biblioteca de espaço de trabalho em um cluster.

As bibliotecas de workspace na pasta compartilhada estão disponíveis para todos os usuários em um workspace, enquanto as bibliotecas de workspace em uma pasta de usuário estão disponíveis somente para esse usuário.

Importante

As bibliotecas podem ser instaladas a partir do DBFS ao usar o Databricks Runtime 14.3 LTS e inferior. Porém, qualquer usuário do espaço de trabalho pode modificar os arquivos de biblioteca armazenados no DBFS. Para melhorar a segurança das bibliotecas em um workspace Azure Databricks, o armazenamento de arquivos de biblioteca na raiz do DBFS está preterido e desabilitado por padrão no Databricks Runtime 15.1 ou superior. Consulte O armazenamento de bibliotecas na raiz do DBFS é preterido e desabilitado por padrão.

Em vez disso, o Databricks recomenda carregar todas as bibliotecas, incluindo bibliotecas Python, arquivos JAR e conectores Spark, nos arquivos de workspace ou volumes do Catálogo do Unity ou usando repositórios de pacotes de biblioteca. Se sua carga de trabalho não der suporte a esses padrões, você também poderá usar bibliotecas armazenadas no armazenamento de objetos de nuvem.

Como as bibliotecas do espaço de trabalho diferem das bibliotecas armazenadas com os arquivos do espaço de trabalho?

O termo "bibliotecas do espaço de trabalho" se refere a qualquer biblioteca registrada em um espaço de trabalho. As bibliotecas do espaço de trabalho são exibidas junto com os notebooks e arquivos do espaço de trabalho e seguem as regras de ACL do diretório que as contém.

O termo "arquivos do espaço de trabalho" se refere a qualquer arquivo arbitrário armazenado no espaço de trabalho. Você pode armazenar Python pacotes .whl como arquivos de workspace e registrá-los como bibliotecas de workspace. Consulte O que são Arquivos de workspace?.

Você pode carregar bibliotecas como arquivos do espaço de trabalho. Consulte Uso básico dos arquivos do espaço de trabalho

Embora você possa carregar muitos tipos de arquivo nos arquivos do workspace, somente arquivos .whl Python podem ser instalados usando arquivos do workspace. Consulte bibliotecas com escopo de computação.

No Databricks Runtime 13.3 LTS e posteriores, você pode usar %pip para instalar arquivos de roda Python armazenados como arquivos de workspace. Veja Instalar um pacote armazenado como um arquivo de área de trabalho com %pip.

Criar uma biblioteca de workspace

Aviso

Essa funcionalidade não está mais disponível. Veja A criação e instalação de bibliotecas de espaço de trabalho não estão mais acessíveis.

  1. Clique com o botão direito do mouse na pasta do workspace onde você deseja armazenar a biblioteca.
  2. Selecione Criar > Biblioteca. A caixa de diálogo Criar biblioteca é exibida.
  3. Selecione a Fonte da biblioteca e siga o procedimento apropriado:

Fazer upload de um arquivo Jar, Python egg ou Python wheel

Observação

A instalação de arquivos egg do Python está obsoleta e será removida em um release futuro do Databricks Runtime.

Importante

As bibliotecas podem ser instaladas a partir do DBFS ao usar o Databricks Runtime 14.3 LTS e inferior. Porém, qualquer usuário do espaço de trabalho pode modificar os arquivos de biblioteca armazenados no DBFS. Para melhorar a segurança das bibliotecas em um workspace Azure Databricks, o armazenamento de arquivos de biblioteca na raiz do DBFS está preterido e desabilitado por padrão no Databricks Runtime 15.1 ou superior. Consulte O armazenamento de bibliotecas na raiz do DBFS é preterido e desabilitado por padrão.

Em vez disso, o Databricks recomenda carregar todas as bibliotecas, incluindo bibliotecas Python, arquivos JAR e conectores Spark, nos arquivos de workspace ou volumes do Catálogo do Unity ou usando repositórios de pacotes de biblioteca. Se sua carga de trabalho não der suporte a esses padrões, você também poderá usar bibliotecas armazenadas no armazenamento de objetos de nuvem.

  1. Na lista de botões Fonte da Biblioteca, selecione Carregar.
  2. Selecione Jar, Python Egg ou Python Whl.
  3. Opcionalmente, insira um nome para a biblioteca.
  4. Arraste seu JAR, Egg ou Whl para a caixa de upload ou clique na caixa de upload e navegue até um arquivo. O arquivo é carregado no dbfs:/FileStore/jars.
  5. Clique em Criar. A tela de status da biblioteca é exibida.

Referência de um JAR carregado, Python egg ou arquivo wheel Python

Você pode criar uma nova biblioteca de workspace referenciando arquivos JAR, Python egg ou Python wheel armazenados na raiz do DBFS, no armazenamento de objetos ou com arquivos de workspace. Seguir esse fluxo de trabalho registra um ponteiro para uma biblioteca sem fazer upload ou mover os arquivos.

Com o Databricks Runtime 13.2 e superior, você também pode referenciar um volume no Catálogo do Unity. Essa funcionalidade está em Visualização Pública.

Para computação com modo de acesso padrão (antigo modo de acesso compartilhado), você deve adicionar JARs ao allowlist. Veja Bibliotecas da lista de permitidos e scripts de inicialização na computação com modo de acesso padrão (antigo modo de acesso compartilhado).

  1. Selecione Caminho de arquivo/ADLS na lista de botões de Fontes da Biblioteca.
  2. Selecione Jar, Python Egg ou Python Whl.
  3. Opcionalmente, insira um nome para a biblioteca.
  4. Especifique o caminho na biblioteca, como os seguintes exemplos:
    • abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl
    • /Workspace/path/to/library.whl
    • dbfs:/path/to/library.whl
    • /Volumes/<catalog>/<schema>/<volume>/<path_to_library_file>
  5. Clique em Criar. A tela de status da biblioteca é exibida.

Para obter mais informações sobre como trabalhar com bibliotecas no armazenamento de objetos, consulte Instalar bibliotecas do armazenamento de objetos.

Para obter mais informações sobre arquivos de workspace, consulte Trabalho com arquivos em Azure Databricks.

Instalar uma biblioteca de espaço de trabalho em um cluster

Observação

Azure Databricks processa todas as bibliotecas de workspace na ordem em que foram instaladas no cluster. Talvez seja necessário prestar atenção à ordem de instalação no cluster se houver dependências entre bibliotecas.

Importante

As bibliotecas podem ser instaladas a partir do DBFS ao usar o Databricks Runtime 14.3 LTS e inferior. Porém, qualquer usuário do espaço de trabalho pode modificar os arquivos de biblioteca armazenados no DBFS. Para melhorar a segurança das bibliotecas em um workspace Azure Databricks, o armazenamento de arquivos de biblioteca na raiz do DBFS está preterido e desabilitado por padrão no Databricks Runtime 15.1 ou superior. Consulte O armazenamento de bibliotecas na raiz do DBFS é preterido e desabilitado por padrão.

Em vez disso, o Databricks recomenda carregar todas as bibliotecas, incluindo bibliotecas Python, arquivos JAR e conectores Spark, nos arquivos de workspace ou volumes do Catálogo do Unity ou usando repositórios de pacotes de biblioteca. Se sua carga de trabalho não der suporte a esses padrões, você também poderá usar bibliotecas armazenadas no armazenamento de objetos de nuvem.

No modo de acesso de usuário único, a identidade da entidade de segurança atribuída (um usuário ou uma entidade de serviço) é usada. No modo de acesso padrão (antigo modo de acesso compartilhado), as bibliotecas usam a identidade do usuário que instalou a biblioteca. O modo de acesso compartilhado sem isolamento não dá suporte a volumes, mas usa a mesma atribuição de identidade que o modo de acesso padrão.

Para ver todas as opções de instalação de bibliotecas em clusters, consulte Bibliotecas com Escopo Computacional.

Para instalar uma biblioteca que já exista no workspace, você pode iniciar na interface do usuário do cluster ou na interface do usuário da biblioteca:

Clúster

  1. Na barra lateral, clique em ícone de computaçãoComputação.
  2. Clique em um nome de cluster.
  3. Clique na guia Bibliotecas.
  4. Clique em Instalar novo.
  5. Na lista do botão Origem da Biblioteca, selecione Biblioteca do Espaço de Trabalho.
  6. Selecione uma biblioteca de áreas de trabalho.
  7. Clique em Instalar.

Biblioteca

  1. Vá para a pasta que contém a biblioteca.
  2. Clique no nome da biblioteca.
  3. Marque a caixa de seleção ao lado do cluster em que você deseja instalar a biblioteca e clique em Instalar. Somente os clusters em execução aparecem na lista.

Exibir detalhes da biblioteca de workspace

Observação

As pastas do espaço de trabalho oferecem facilidade para explorar as bibliotecas do espaço de trabalho e gerenciar ACLs.

  1. Vá para a pasta do workspace que contém a biblioteca.
  2. Clique no nome da biblioteca.

A página de detalhes da biblioteca mostra os clusters em execução e o status de instalação da biblioteca. Se a biblioteca estiver instalada, a página conterá um link para o host do pacote. Se a biblioteca foi carregada, a página exibe um link para o arquivo de pacote carregado.

Mover uma biblioteca do workspace

Observação

As pastas do espaço de trabalho oferecem facilidade para a descoberta de bibliotecas do espaço de trabalho e para o gerenciamento de ACLs. Mover uma biblioteca do espaço de trabalho não move os arquivos, mas pode modificar quais usuários têm acesso à biblioteca do espaço de trabalho.

  1. Vá para a pasta do workspace que contém a biblioteca.
  2. Clique com o botão direito do mouse no nome da biblioteca e selecione Mover. Um navegador de pastas é exibido.
  3. Clique na pasta de destino.
  4. Clique em Mover.

Excluir uma biblioteca de workspace

Importante

Antes de excluir uma biblioteca de workspace, você deve desinstalá-la de todos os clusters.

Para excluir uma biblioteca de workspace:

  1. Mova a biblioteca para a pasta da lixeira.
  2. Exclua permanentemente a biblioteca na pasta Lixeira ou esvazie a pasta Lixeira.