Бессерверная среда GPU версии 3 (предварительная версия)

В этой статье описаны сведения о системной среде для бессерверной среды GPU версии 3. Это предложение вычислений является частью среды выполнения ИИ, которая предназначена для современных рабочих нагрузок искусственного интеллекта и глубокого обучения.

Чтобы обеспечить совместимость приложения, безсерверные рабочие нагрузки GPU используют версионированный API, известный как версия среды, который остается совместимым с более новыми версиями сервера.

Вы можете выбрать исходную среду, включающую в себя эту версию среды, с помощью панели среда в бессерверных записных книжках. См. интерактивные (тетради).

Новые функции и улучшения

Бессерверная среда GPU 3 построена на базе бессерверной среды 3 (CPU). Узнайте, что нового в бессерверной платформе 3 (процессор).

Известные проблемы

Предупреждение библиотеки Threadpoolctl при импорте преобразователей

При импорте библиотеки transformers может появиться следующее сообщение об ошибке. Эта известная проблема с threadpoolctl библиотекой в бессерверной среде GPU 3.

Exception ignored on calling ctypes callback function: <function _ThreadpoolInfo._find_modules_with_dl_iterate_phdr.<locals>.match_module_callback at 0x7fe29c7da8e0>
Traceback (most recent call last):
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 400, in match_module_callback
    self._make_module_from_path(filepath)
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 515, in _make_module_from_path
    module = module_class(filepath, prefix, user_api, internal_api)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 606, in __init__
    self.version = self.get_version()
                   ^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 646, in get_version
    config = get_config().split()
             ^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'split'

Чтобы устранить эту проблему, выполните обновление до бессерверной среды GPU 4 или обновите библиотеку threadpoolctl :

pip install threadpoolctl==3.1.0

Системная среда

• Операционная система: Ubuntu 24.04.2 LTS
• Python: 3.12.3
• Databricks Connect: 16.4.2
• Набор средств NVIDIA CUDA: 12.4

Установленные библиотеки Python

Помимо того, что входит в бессерверную среду 3 (ЦП), бессерверная среда GPU 3 включает в себя следующее:

• torch 2.6.0
• torchvision 0.21.0

Чтобы воспроизвести бессерверную среду GPU 3 в локальной виртуальной среде Python, скачайте файлrequirements-env-gpu-3.txt и запустите pip install -r requirements-env-gpu-3.txtего. Эта команда устанавливает все библиотеки с открытым исходным кодом из бессерверной среды GPU 3.