Что такое пространство Genie

На этой странице представлена функция Genie, функция Azure Databricks, которая позволяет бизнес-командам взаимодействовать с данными с помощью естественного языка. Он использует созданный ИИ, адаптированный к терминологии и данным вашей организации, с возможностью мониторинга и уточнения производительности с помощью отзывов пользователей.

Обзор

Доменные эксперты, такие как аналитики данных, настраивают пространства Genie с наборами данных, примерами запросов и текстовыми рекомендациями для того чтобы помочь Genie конвертировать бизнес-вопросы в аналитические запросы. После настройки бизнес-пользователи могут задавать вопросы и создавать визуализации для понимания операционных данных. Вы можете постоянно обновлять семантические знания Genie по мере изменения ваших данных и поступления новых вопросов от пользователей. Дополнительные сведения о функциях, оснащённых ИИ Databricks, см. в разделе "Вспомогательные функции ИИ Databricks".

Genie выбирает соответствующие имена и описания из аннотированных таблиц и столбцов, чтобы преобразовать вопросы естественного языка в эквивалентный SQL-запрос. Затем он реагирует на созданный запрос и таблицу результатов, если это возможно. Если Genie не может создать ответ, он может задать дальнейшие вопросы, чтобы уточнить перед предоставлением ответа.

Примеры вариантов использования

Вы можете создать разные пространства Genie для обслуживания различных не технических аудиторий. В следующих сценариях описаны два возможных варианта использования.

Пример 1. Визуализация наиболее продаваемых продуктов

Менеджер по продажам хочет понять, какой продукт является самым продаваемым в динамике в его пекарне. Они могут взаимодействовать с пространством Genie с помощью естественного языка и автоматически создавать визуализацию.

Следующий GIF-файл показывает это взаимодействие:

Пример 2. Отслеживание логистики

Логистическая компания хочет использовать пространства Genie, чтобы помочь бизнес-пользователям из разных отделов отслеживать операционные и финансовые сведения. Они создали пространство Genie для менеджеров их грузовых объектов, позволяющее отслеживать поставки, и другое пространство для своих финансовых руководителей, чтобы лучше понять финансовое состояние предприятия.

Какие данные следует использовать?

Пространство Genie основано на данных, зарегистрированных в Каталоге Unity, включая управляемые таблицы, внешние таблицы, чужие таблицы, представления, представления метрик и материализованные представления. Genie использует метаданные, прикрепленные к объектам Unity Catalog, а также хранилище знаний на уровне пространства, для генерации ответов. Хорошо аннотированные наборы данных, в сочетании с определенными инструкциями, которые вы предоставляете, являются ключевыми для создания положительного интерфейса для конечных пользователей.

Отправка файлов

Отправка файлов позволяет пользователям смешивать локальные CSV-файлы и файлы Excel с данными каталога Unity, чтобы ответить на вопросы. Чтобы включить отправку файлов, обратитесь к группе учетной записи Databricks. Дополнительные сведения см. в разделе Отправка файла.

Как работает Genie

Genie использует составную систему искусственного интеллекта для интерпретации бизнес-вопросов и создания ответов. Вместо использования одной крупной языковой модели составные системы ИИ обрабатывают задачи в приложениях ИИ путем объединения нескольких взаимодействующих компонентов. Составные системы ИИ являются все более распространенным шаблоном проектирования для приложений ИИ из-за их производительности и гибкости. Дополнительные сведения см. в статье Переход от моделей к составным системам ИИ.

Поддержка языков

Вы можете использовать Genie на языках, отличных от английского, таких как португальский и французский. Однако базовая платформа агента упаковывает запросы на английском языке.

Databricks рекомендует, чтобы создатели пространства добавляли как можно больше метаданных на выбранном ими языке. Ответы Genie иногда могут отображаться на английском языке из-за запросов базовой системы.

Что такое хранилище знаний Genie?

Хранилище знаний Genie позволяет авторам:

• Изменение метаданных локально: Авторы Genie могут добавлять метаданные, специфичные для пространства, к ресурсам данных. Например, она может включать сведения, относящиеся к конкретной компании и способу использования пространства. Сюда входят описания метаданных таблиц и столбцов, синонимы на уровне столбцов и возможности сопоставления с подсказками, которыми Genie пользуется при создании ответов. Подробный уровень метаданных помогает Genie получить правильные сведения и получить более точные результаты.

• Предоставьте структурированные, детализированные инструкции: Авторы могут определять JOIN связи между таблицами, чтобы научить Genie создавать SQL в нескольких таблицах.

См. статью "Создание хранилища знаний" для более надежных пространств Genie.

Как Гени создает ответ?

Когда пользователь отправляет вопрос, Genie анализирует запрос, определяет соответствующие источники данных и определяет, как создать соответствующий ответ. Сведения, предоставляемые авторами, в сочетании с соответствующими комментариями каталога Unity, метаданными и примерами значений из выбранных столбцов, позволяют Genie выводить бизнес-и техническую логику. Дополнительные сведения см. в разделах Databricks AI assistive features trust and safety и prompt matching. Genie интеллектуально фильтрует примеры SQL-запросов, метаданных таблиц и столбцов и журнала чатов, чтобы выбрать наиболее релевантный контекст для ответа на запрос.

Genie создает ответы с помощью таких компонентов, как:

• Метаданные таблицы каталога Unity: включает имена таблиц, описания и определенные связи первичного ключа (PK) и внешних ключей (FK). Genie использует эти данные, так как он анализирует запрос и преобразует запрос естественного языка в SQL.
• Имена и описания столбцов: Genie интеллектуально фильтрует релевантные имена и описания столбцов для включения.
• Контекст хранилища знаний: авторы могут локально изменять метаданные ресурса и выбирать столбцы, которые предоставляют соответствующие значения Genie. Это помогает Genie создавать более точные ответы и не изменяет существующие метаданные каталога Unity. См. статью "Создание хранилища знаний" для более надежных пространств Genie.
• Примеры запросов SQL: Genie интеллектуально выбирает соответствующие примеры SQL из запросов SQL.
• функции SQL: все функции SQL, добавленные в пространство.
• инструкции. Заметки с открытым текстом, предоставленные как общие инструкции, включаются в качестве контекста.
• История запросов и ответов: Запросы и ответы из текущего чата используются в качестве контекста. При необходимости из-за ограничений на токены , наиболее ранние части записи чата исключаются.

Во многих случаях Genie создает SQL-запрос, который выполняется в хранилище SQL пространства. Созданные запросы всегда доступны только для чтения. Повторные попытки обрабатываются автоматически, а хранилище SQL обрабатывает параллелизм и масштабирование. Результирующий набор представлен как часть ответа.

Genie поддерживает строгие элементы управления безопасностью и конфиденциальностью. Для получения дополнительных сведений см. раздел Databricks AI Assistive Features Trust and Safety.

Повышение точности отклика с помощью Inspect

Инспект использует продвинутый анализ для пересмотра и повышения точности SQL-запросов, созданных Genie's. Если включить режим проверки ответа, Genie:

1. Проверяет первоначально созданный SQL-запрос.
2. Авторы небольших инструкций SQL для проверки конкретных аспектов запроса, таких как:
   • Убедитесь, что включены правильные значения фильтров.
   • Проверка логики диапазона дат, например 7-дневных окон.
   • Проверка условий соединения и агрегирования.
3. Определяет пробелы или потенциальные проблемы в исходном запросе.
4. При обнаружении проблем создается улучшенный SQL-запрос, который их устраняет.
5. Выполняет окончательное сравнение исходных и улучшенных запросов.
6. Возвращает запрос, который наиболее точно отвечает на ваш вопрос.

Используйте проверку, если требуется дополнительная уверенность в точности запросов, особенно для сложных запросов с фильтрами, диапазонами дат или несколькими таблицами.

Настройка рабочего пространства Genie

Вы можете создать пространство Genie, если у вас есть следующее:

• Разрешение Databricks SQL.
• По крайней мере РАЗРЕШЕНИЕ CAN USE для pro или бессерверного хранилища SQL.
• По крайней мере SELECT привилегии для одного или нескольких объектов данных каталога Unity.

См. статью "Настройка пространства Genie" и управление ими.

Пространства Genie для панелей мониторинга AI/BI (общедоступная предварительная версия)

Вы можете использовать запросы естественного языка для создания визуализаций для панелей мониторинга AI/BI с помощью Genie Code. См. раздел "Использование кода Genie для разработки панелей мониторинга".

При создании панели мониторинга Databricks автоматически создает пространство Genie, позволяющее бизнес-пользователям проводить самостоятельную аналитику данных с помощью естественного языка. См. пространства Genie с информационными панелями.

Взаимодействуйте с пространством Genie

Бизнес-команды — это конечные пользователи для пространства Genie. Чтобы использовать пространство Genie, бизнес-пользователи должны иметь следующее:

• Доступ потребителя или права доступа Databricks SQL.
• По крайней мере SELECT привилегии для всех объектов данных каталога Unity, используемых в рабочем пространстве. Пользователи видят только данные, к которых у них есть разрешение на доступ.

Запросы выполняются с использованием учетных данных для вычислений, встроенных автором, который настроил хранилище. Конечные пользователи не нуждаются в прямых разрешениях на хранилище.

Бизнес-пользователи могут помочь курировать пространство, протестируя его и предоставляя отзывы во время разработки. Дополнительные сведения о том, как бизнес-пользователи могут начать работу с пространством Genie, см. в статье "Использование пространства Genie для изучения бизнес-данных".

Доверенные ресурсы

Доверенные ресурсы передают дополнительный уровень гарантии в точности результата пользователю пространства. Если для создания ответа используется точный текст параметризованного примера запроса или функции SQL, Genie помечает ответ как доверенный. Дополнительные сведения о доверенных ресурсах и работе с параметризованными запросами см. в статье " Доверенные ресурсы ".

Оценка ответов с помощью ориентиров

Эталоны позволяют масштабировать процесс тестирования и оценки отдельных ответов в пространстве Genie. В отличие от инструкций, эталонные тесты предназначены для оценки пространства Genie, а не для его информирования. Genie не использует контрольные вопросы или примеров SQL для улучшения контекста Джини.

С помощью эталонных показателей можно запустить коллекцию тестовых вопросов и использовать ответы для измерения точности Genie. При необходимости можно включить инструкцию SQL, которая возвращает ожидаемые результаты. При выполнении вопроса теста ответ Genie сравнивается с результатами, предоставленными инструкцией SQL, и оценивается по точности. Вопрос помечается для проверки, если не предоставлен ответ SQL.

См. Использование бенчмарков в пространстве Genie.

Конфиденциальность и безопасность

Доступ к данным в пространстве Genie регулируется каталогом Unity, включая все фильтры строк и маски столбцов, примененные к таблицам. См. статью "Управление доступом к данным " и "Фильтры строк" и "Маски столбцов".

Дополнительные вопросы о конфиденциальности и безопасности см. в часто задаваемых вопросы о конфиденциальности и безопасности для вспомогательных функций ИИ.