Использование моделей чата с поддержкой визуального зрения

Используйте эту статью, чтобы приступить к использованию Майкрософт Foundry для развертывания и тестирования модели завершения чата с пониманием изображений.

Предпосылки

• Подписка Azure. Создайте его бесплатно.
• После получения подписки Azure создайте ресурс Azure OpenAI . Дополнительные сведения о создании ресурсов см. в руководстве по развертыванию ресурсов.
• Проект Foundry с ресурсом OpenAI Azure, добавленным в качестве подключения.

Подготовьте ваш носитель

Чтобы завершить это краткое руководство, вам нужно изображение. Вы можете использовать это изображение или любое другое доступное изображение.

Перейти к Foundry

1. Перейдите к Foundry и войдите с учетными данными, связанными с ресурсом OpenAI Azure. Во время или после процесса входа выберите соответствующий каталог, подписку Azure и ресурс Azure OpenAI.
2. Выберите проект, в который вы хотите работать.
3. В меню навигации слева выберите "Модели + конечные точки" и нажмите кнопку "Развернуть модель".
4. Выберите развертывание с поддержкой образа, выбрав имя модели: gpt-4o или gpt-4o-mini. В появившемся окне выберите имя и тип развертывания. Убедитесь, что ресурс OpenAI подключен к Azure. Дополнительные сведения о развертывании моделей см. в руководстве по развертыванию ресурсов.
5. Выберите «Развернуть».
6. Затем выберите новую модель и нажмите кнопку "Открыть на детской площадке". В игровой площадке чата в раскрывающемся списке Развертывание должно быть выбрано созданное вами развертывание.

Playground

В этом сеансе чата вы указываете помощнику помочь вам в понимании входных изображений.

Общие сведения о настройке помощника, сеансах чата, параметрах и панелях см. в кратком руководстве по чату.

Запуск сеанса чата для анализа изображений

В этом сеансе чата вы указываете помощнику помочь в понимании вводимых изображений.

1. Чтобы начать, убедитесь, что в раскрывающемся списке развертывания выбрано развертывание с поддержкой изображений.

2. В текстовом поле контекста на панели установки укажите этот запрос, чтобы помочь помощнику: "You're an AI assistant that helps people find information." Или вы можете настроить запрос на изображение или сценарий.

   Замечание

   Мы рекомендуем обновить системное сообщение для конкретной задачи, чтобы избежать ненужных ответов от модели.

3. Нажмите кнопку "Применить изменения" , чтобы сохранить изменения.

4. В области сеансов чата нажмите кнопку вложения и отправьте изображение. Выберите изображение.

5. Добавьте следующий запрос в поле чата: Describe this imageи выберите значок отправки.

6. Значок отправки заменяется кнопкой остановки. Если выбрать его, помощник перестает обрабатывать запрос. В этом кратком руководстве позвольте помощнику завершить ответ.

7. Помощник отвечает с описанием изображения.

8. Задайте следующий вопрос, связанный с анализом изображения. Вы можете ввести, "What should I highlight about this image to my insurance company?".

9. Вы должны получить соответствующий ответ, аналогичный приведенному здесь:

   When reporting the incident to your insurance company, you should highlight the following key points from the image:  
   
   1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  
   
   2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  
   
   3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  
   
   4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  
   
   5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  
   
   6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  
   
   Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
   

Просмотр и экспорт кода

В любой момент в сеансе чата можно включить переключатель Show raw JSON в верхней части окна чата, чтобы просмотреть беседу в формате JSON. Вот как выглядит в начале сеанса чата быстрого запуска:

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

Очистите ресурсы

Если вы хотите очистить и удалить ресурс Azure OpenAI, вы можете удалить сам ресурс или группу ресурсов. Удаление группы ресурсов также удаляет все другие ресурсы, связанные с ней.

• портал Azure
• Azure CLI

Используйте эту статью, чтобы приступить к работе с Azure REST API OpenAI для развертывания и использования моделей чата с поддержкой визуального распознавания.

Предпосылки

• Подписка Azure. Создайте его бесплатно.
• Python версии 3.8 или более поздней.
• Следующие библиотеки Python: requests, json.
• Ресурс Azure OpenAI в Майкрософт Foundry Models с развернутой моделью, поддерживающей обработку визуальной информации. Сведения о доступности модели см. в разделе "Доступность модели " для доступных регионов. Дополнительные сведения о создании ресурсов см. в руководстве по развертыванию ресурсов.

Получение ключа и конечной точки

Чтобы успешно вызвать API-интерфейсы OpenAI Azure, вам потребуется следующая информация о ресурсе OpenAI Azure:

Перейдите к ресурсу на портале Azure. На панели навигации выберите "Ключи" и "Конечная точка " в разделе "Управление ресурсами". Скопируйте значение конечной точки и значение ключа доступа. Вы можете использовать либо значение KEY 1, либо KEY 2. Наличие двух ключей позволяет безопасно поворачивать и повторно создавать ключи без нарушения работы службы.

Создание нового приложения Python

Создайте файл Python с именем quickstart.py. Откройте новый файл в предпочтительном редакторе или интегрированной среде разработки.

1. Замените содержимое quickstart.py следующим кодом.

   # Packages required:
   import requests 
   import json 
   
   api_base = '<your_azure_openai_endpoint>' 
   deployment_name = '<your_deployment_name>'
   API_KEY = '<your_azure_openai_key>'
   
   base_url = f"{api_base}openai/deployments/{deployment_name}" 
   headers = {   
       "Content-Type": "application/json",   
       "api-key": API_KEY 
   } 
   
   # Prepare endpoint, headers, and request body 
   endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
   data = { 
       "messages": [ 
           { "role": "system", "content": "You are a helpful assistant." }, 
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ], 
       "max_tokens": 2000 
   }   
   
   # Make the API call   
   response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
   
   print(f"Status Code: {response.status_code}")   
   print(response.text)
   

2. Внесите следующие изменения:

   1. Введите URL-адрес конечной точки и ключ в соответствующих полях.
   2. Введите имя развертывания модели в соответствующем поле.
   3. Измените значение "image" поля на общедоступный URL-адрес изображения.

      Подсказка

      Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по чатам Vision.

3. Запустите приложение, выполнив команду python:

   python quickstart.py
   

Очистите ресурсы

Если вы хотите удалить ресурс Azure OpenAI, вы можете удалить сам ресурс или ресурсную группу. Удаление группы ресурсов также удаляет все другие ресурсы, связанные с ней.

• портал Azure
• Azure CLI

Используйте эту статью, чтобы приступить к использованию пакета SDK Azure Python OpenAI для развертывания и использования модели чата с поддержкой визуального распознавания.

Исходный код библиотеки | Пакет (PyPi) |

Предпосылки

• Подписка Azure. Создайте его бесплатно.
• Python версии 3.8 или более поздней.
• Ресурс Azure OpenAI в Майкрософт Foundry Models с развернутой моделью чата с поддержкой визуального зрения. Сведения о доступности модели см. в разделе "Доступность модели " для доступных регионов. Дополнительные сведения о создании ресурсов см. в руководстве по развертыванию ресурсов.

предварительные требования Microsoft Entra ID

Для рекомендуемой проверки подлинности без ключа с помощью Microsoft Entra ID необходимо:

• Установите Azure CLI, который используется для аутентификации без использования ключей с Microsoft Entra ID.
• Назначьте роль Cognitive Services User своему аккаунту пользователя. Роли можно назначить на портале Azure в разделе Access control (IAM)>Add role assignment.

Настройка

Установите клиентская библиотека OpenAI Python с помощью:

pip install openai

Получение ключа и конечной точки

Чтобы успешно вызвать Azure OpenAI, требуется endpoint и key.

Перейдите к ресурсу на портале Azure. Раздел "Ключи и конечная точка " можно найти в разделе "Управление ресурсами". Скопируйте конечную точку и ключ доступа, так как они потребуются для проверки подлинности вызовов API. Вы можете использовать KEY1 или KEY2. Наличие двух ключей позволяет безопасно менять и повторно создавать ключи без прерывания работы службы.

Переменные среды

Создайте и назначьте переменные постоянной среды для ключа и конечной точки.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Создание нового приложения Python

Создайте файл Python с именем quickstart.py. Откройте новый файл в предпочтительном редакторе или интегрированной среде разработки.

1. Замените содержимое quickstart.py следующим кодом.

   import os
   from openai import AzureOpenAI
   
   api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
   api_key= os.getenv("AZURE_OPENAI_API_KEY")
   deployment_name = '<your_deployment_name>'
   api_version = '2023-12-01-preview' # this might change in the future
   
   client = AzureOpenAI(
       api_key=api_key,  
       api_version=api_version,
       base_url=f"{api_base}/openai/deployments/{deployment_name}"
   )
   
   response = client.chat.completions.create(
       model=deployment_name,
       messages=[
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ],
       max_tokens=2000 
   )
   
   print(response)
   

2. Внесите следующие изменения:

   1. Убедитесь, что заданы переменные среды AZURE_OPENAI_ENDPOINT и AZURE_OPENAI_API_KEY.
   2. Введите имя развертывания модели в переменной deployment_name .
   3. Измените значение "url" поля на общедоступный URL-адрес изображения.

      Подсказка

      Кроме того, вместо URL-адреса можно использовать данные изображения в кодировке base 64. Дополнительные сведения см. в руководстве по чатам Vision.

3. Запустите приложение, выполнив команду python:

   python quickstart.py
   

Очистите ресурсы

Если вы хотите удалить ресурс Azure OpenAI, вы можете удалить сам ресурс или ресурсную группу. Удаление группы ресурсов также удаляет все другие ресурсы, связанные с ней.

• портал Azure
• Azure CLI

Используйте эту статью, чтобы приступить к работе с пакетом SDK Для OpenAI JavaScript для развертывания и использования модели чата с поддержкой визуального распознавания.

Этот пакет SDK предоставляется OpenAI, а определенные типы предоставляются Azure.

документация ссылкиДокументация по ссылкам | Исходный код библиотеки | Пакет (npm) | Примеры

Предпосылки

• Подписка Azure — Создайте бесплатно
• Версии Node.js LTS
• Azure CLI используется для проверки подлинности без пароля в локальной среде разработки, создайте необходимый контекст, выполнив вход с помощью Azure CLI.
• Ресурс OpenAI Azure, созданный в поддерживаемом регионе (см. Регион доступности). Дополнительные сведения см. в разделе Создание ресурса и развертывание модели с помощью Azure OpenAI.

предварительные требования Microsoft Entra ID

Для рекомендуемой проверки подлинности без ключа с помощью Microsoft Entra ID необходимо:

• Установите Azure CLI, который используется для аутентификации без использования ключей с Microsoft Entra ID.
• Назначьте роль Cognitive Services User своему аккаунту пользователя. Роли можно назначить на портале Azure в разделе Access control (IAM)>Add role assignment.

Настройка

1. Создайте новую папку vision-quickstart и перейдите в папку быстрого запуска, используя следующую команду:

   mkdir vision-quickstart && cd vision-quickstart
   

2. Создайте package.json с помощью следующей команды:

   npm init -y
   

3. Установите клиентскую библиотеку OpenAI для JavaScript с помощью:

   npm install openai
   

4. Для рекомендуемой аутентификации без пароля:

   npm install @azure/identity
   

Получение сведений о ресурсе

Чтобы проверить подлинность приложения с помощью ресурса OpenAI Azure, необходимо получить следующие сведения:

Создание нового приложения JavaScript для запросов изображений

Выберите изображение из azure-samples/cognitive-services-sample-data-files. Введите общедоступный URL-адрес изображения в коде ниже или задайте для нее IMAGE_URL переменную среды.

Очистите ресурсы

Если вы хотите удалить ресурс Azure OpenAI, вы можете удалить сам ресурс или ресурсную группу. Удаление группы ресурсов также удаляет все другие ресурсы, связанные с ней.

• портал Azure
• Azure CLI

Используйте эту статью, чтобы приступить к работе с пакетом SDK Для OpenAI JavaScript для развертывания и использования модели чата с поддержкой визуального распознавания.

Этот пакет SDK предоставляется OpenAI, а определенные типы предоставляются Azure.

документация ссылкиДокументация по ссылкам | Исходный код библиотеки | Пакет (npm) | Примеры

Предпосылки

• Подписка Azure — Создайте бесплатно
• Версии Node.js LTS
• TypeScript
• Azure CLI используется для проверки подлинности без пароля в локальной среде разработки, создайте необходимый контекст, выполнив вход с помощью Azure CLI.
• Ресурс OpenAI Azure, созданный в поддерживаемом регионе (см. Регион доступности). Дополнительные сведения см. в разделе Создание ресурса и развертывание модели с помощью Azure OpenAI.

предварительные требования Microsoft Entra ID

Для рекомендуемой проверки подлинности без ключа с помощью Microsoft Entra ID необходимо:

• Установите Azure CLI, который используется для аутентификации без использования ключей с Microsoft Entra ID.
• Назначьте роль Cognitive Services User своему аккаунту пользователя. Роли можно назначить на портале Azure в разделе Access control (IAM)>Add role assignment.

Настройка

1. Создайте новую папку vision-quickstart и перейдите в папку быстрого запуска, используя следующую команду:

   mkdir vision-quickstart && cd vision-quickstart
   

2. Создайте package.json с помощью следующей команды:

   npm init -y
   

3. Обновите package.json на ECMAScript с помощью следующей команды:

   npm pkg set type=module
   

4. Установите клиентскую библиотеку OpenAI для JavaScript с помощью:

   npm install openai
   

5. Для рекомендуемой аутентификации без пароля:

   npm install @azure/identity
   

Получение сведений о ресурсе

Чтобы проверить подлинность приложения с помощью ресурса OpenAI Azure, необходимо получить следующие сведения:

Создание нового приложения JavaScript для запросов изображений

Выберите изображение из azure-samples/cognitive-services-sample-data-files. Используйте URL-адрес изображения в приведенном ниже коде или задайте переменную среды IMAGE_URL значением URL-адреса изображения.

Очистите ресурсы

Если вы хотите навести порядок и удалить ресурс Azure OpenAI, вы можете удалить сам ресурс или группу ресурсов. Удаление группы ресурсов также удаляет все другие ресурсы, связанные с ней.

• портал Azure
• Azure CLI

Используйте эту статью, чтобы приступить к работе с пакетом SDK Azure .NET OpenAI для развертывания и использования модели чата с поддержкой визуального распознавания.

Предпосылки

• Подписка Azure. Вы можете создать бесплатную учетную запись.
• .NET пакет SDK 8.0
• Ресурс Azure OpenAI в Майкрософт Foundry Models с развернутой моделью чата, оснащенной возможностью визуального распознавания. Сведения о доступности модели см. в разделе "Доступность модели " для доступных регионов. Дополнительные сведения о создании ресурсов см. в руководстве по развертыванию ресурсов.

предварительные требования Microsoft Entra ID

Для рекомендуемой проверки подлинности без ключа с помощью Microsoft Entra ID необходимо:

• Установите Azure CLI, который используется для безключевой аутентификации с Microsoft Entra ID.
• Назначьте роль Cognitive Services User своему аккаунту пользователя. Роли можно назначить на портале Azure в разделе Access control (IAM)>Add role assignment.

Настройка

1. Создайте новую папку vision-quickstart и перейдите в папку быстрого запуска, используя следующую команду:

   mkdir vision-quickstart && cd vision-quickstart
   

2. Создайте консольное приложение со следующей командой:

   dotnet new console
   

3. Установите библиотеку клиента OpenAI .NET с помощью команды dotnet add package:

   dotnet add package Azure.AI.OpenAI
   

4. Для рекомендуемой безключевой аутентификации с Microsoft Entra ID установите пакет Azure.Identity командой:

   dotnet add package Azure.Identity
   

5. Для рекомендуемой аутентификации без ключа с помощью Microsoft Entra ID выполните вход в Azure с помощью следующей команды:

   az login
   

Получение сведений о ресурсе

Чтобы проверить подлинность приложения с помощью ресурса OpenAI Azure, необходимо получить следующие сведения:

Выполните быстрый старт

Пример кода в этом кратком руководстве использует Microsoft Entra ID для рекомендуемой проверки подлинности без ключей. Если вы предпочитаете использовать ключ API, можно заменить DefaultAzureCredential объект AzureKeyCredential объектом.

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));

Чтобы запустить быстрый старт, выполните следующие действия.

1. Замените содержимое Program.cs следующим кодом и обновите заполнительные значения на собственные.

   using Azure;
   using Azure.AI.OpenAI;
   using Azure.Identity;
   using OpenAI.Chat; // Required for Passwordless auth
   
   string deploymentName = "gpt-4";
   
   string endpoint = Environment.GetEnvironmentVariable("AZURE_OPENAI_ENDPOINT") ?? "https://<your-resource-name>.openai.azure.com/";
   string key = Environment.GetEnvironmentVariable("AZURE_OPENAI_API_KEY") ?? "<your-key>";
   
   // Use the recommended keyless credential instead of the AzureKeyCredential credential.
   AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 
   //AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));
   
   var chatClient = openAIClient.GetChatClient(deploymentName);
   
   var imageUrl = "YOUR_IMAGE_URL";
   
   var textPart = ChatMessageContentPart.CreateTextPart("Describe this picture:");
   var imgPart = ChatMessageContentPart.CreateImagePart(imageUrl); 
   
   var chatMessages = new List<ChatMessage>
   {
       new SystemChatMessage("You are a helpful assistant."),
       new UserChatMessage(textPart, imgPart)
   
   };
   
   ChatCompletion chatCompletion = await chatClient.CompleteChatAsync(chatMessages);
   
   Console.WriteLine($"[ASSISTANT]:");
   Console.WriteLine($"{chatCompletion.Content[0].Text}");
   

2. Замените YOUR_IMAGE_URL общедоступным изображением, которое вы хотите отправить.

3. Запустите приложение с помощью команды dotnet run или кнопки запуска в верхней части Visual Studio:

   dotnet run
   

Выходные данные

Выходные данные приложения будут описанием изображения, предоставленного в переменной imageUri . Помощник анализирует изображение и предоставляет подробное описание на основе его содержимого.

Очистите ресурсы

Если вы хотите очистить и удалить ресурс Azure OpenAI, можно удалить ресурс или группу ресурсов. Удаление группы ресурсов также удаляет все другие ресурсы, связанные с ней.

• портал Azure
• Azure CLI