ai-agents-for-beginners

Изучение фреймворков для AI-агентов

(Нажмите на изображение выше, чтобы посмотреть видео урока)

Изучение фреймворков для AI-агентов

Фреймворки для AI-агентов — это программные платформы, разработанные для упрощения создания, развертывания и управления AI-агентами. Эти фреймворки предоставляют разработчикам готовые компоненты, абстракции и инструменты, которые облегчают разработку сложных AI-систем.

Они помогают разработчикам сосредоточиться на уникальных аспектах их приложений, предлагая стандартизированные подходы к общим задачам разработки AI-агентов. Это повышает масштабируемость, доступность и эффективность при создании AI-систем.

Введение

В этом уроке мы рассмотрим:

Цели обучения

Цели этого урока:

Что такое фреймворки для AI-агентов и что они позволяют разработчикам делать?

Традиционные AI-фреймворки помогают интегрировать AI в приложения и улучшать их в следующих аспектах:

Звучит здорово, правда? Так зачем нам нужны фреймворки для AI-агентов?

Фреймворки для AI-агентов представляют собой нечто большее, чем просто AI-фреймворки. Они разработаны для создания интеллектуальных агентов, которые могут взаимодействовать с пользователями, другими агентами и окружающей средой для достижения конкретных целей. Эти агенты могут демонстрировать автономное поведение, принимать решения и адаптироваться к изменяющимся условиям. Давайте рассмотрим ключевые возможности, предоставляемые фреймворками для AI-агентов:

Таким образом, агенты позволяют делать больше, выводить автоматизацию на новый уровень, создавать более интеллектуальные системы, которые могут адаптироваться и учиться на основе окружающей среды.

Как быстро прототипировать, итеративно улучшать и развивать возможности агентов?

Это быстро развивающаяся область, но есть несколько общих аспектов, которые можно найти в большинстве фреймворков для AI-агентов, таких как модульные компоненты, инструменты для совместной работы и обучение в реальном времени. Давайте рассмотрим их подробнее:

Используйте модульные компоненты

SDK, такие как Microsoft Semantic Kernel и LangChain, предлагают готовые компоненты, такие как коннекторы для AI, шаблоны подсказок и управление памятью.

Как команды могут использовать это: Команды могут быстро собрать эти компоненты для создания функционального прототипа без необходимости начинать с нуля, что позволяет быстро экспериментировать и проводить итерации.

Как это работает на практике: Вы можете использовать готовый парсер для извлечения информации из пользовательского ввода, модуль памяти для хранения и извлечения данных, а также генератор подсказок для взаимодействия с пользователями — все это без необходимости создавать эти компоненты с нуля.

Пример кода. Давайте посмотрим примеры использования готового AI-коннектора с Semantic Kernel на Python и .Net, который использует автоматический вызов функций для ответа модели на пользовательский ввод:

# Semantic Kernel Python Example

import asyncio
from typing import Annotated

from semantic_kernel.connectors.ai import FunctionChoiceBehavior
from semantic_kernel.connectors.ai.open_ai import AzureChatCompletion, AzureChatPromptExecutionSettings
from semantic_kernel.contents import ChatHistory
from semantic_kernel.functions import kernel_function
from semantic_kernel.kernel import Kernel

# Define a ChatHistory object to hold the conversation's context
chat_history = ChatHistory()
chat_history.add_user_message("I'd like to go to New York on January 1, 2025")


# Define a sample plugin that contains the function to book travel
class BookTravelPlugin:
    """A Sample Book Travel Plugin"""

    @kernel_function(name="book_flight", description="Book travel given location and date")
    async def book_flight(
        self, date: Annotated[str, "The date of travel"], location: Annotated[str, "The location to travel to"]
    ) -> str:
        return f"Travel was booked to {location} on {date}"

# Create the Kernel
kernel = Kernel()

# Add the sample plugin to the Kernel object
kernel.add_plugin(BookTravelPlugin(), plugin_name="book_travel")

# Define the Azure OpenAI AI Connector
chat_service = AzureChatCompletion(
    deployment_name="YOUR_DEPLOYMENT_NAME", 
    api_key="YOUR_API_KEY", 
    endpoint="https://<your-resource>.azure.openai.com/",
)

# Define the request settings to configure the model with auto-function calling
request_settings = AzureChatPromptExecutionSettings(function_choice_behavior=FunctionChoiceBehavior.Auto())


async def main():
    # Make the request to the model for the given chat history and request settings
    # The Kernel contains the sample that the model will request to invoke
    response = await chat_service.get_chat_message_content(
        chat_history=chat_history, settings=request_settings, kernel=kernel
    )
    assert response is not None

    """
    Note: In the auto function calling process, the model determines it can invoke the 
    `BookTravelPlugin` using the `book_flight` function, supplying the necessary arguments. 
    
    For example:

    "tool_calls": [
        {
            "id": "call_abc123",
            "type": "function",
            "function": {
                "name": "BookTravelPlugin-book_flight",
                "arguments": "{'location': 'New York', 'date': '2025-01-01'}"
            }
        }
    ]

    Since the location and date arguments are required (as defined by the kernel function), if the 
    model lacks either, it will prompt the user to provide them. For instance:

    User: Book me a flight to New York.
    Model: Sure, I'd love to help you book a flight. Could you please specify the date?
    User: I want to travel on January 1, 2025.
    Model: Your flight to New York on January 1, 2025, has been successfully booked. Safe travels!
    """

    print(f"`{response}`")
    # Example AI Model Response: `Your flight to New York on January 1, 2025, has been successfully booked. Safe travels! ✈️🗽`

    # Add the model's response to our chat history context
    chat_history.add_assistant_message(response.content)


if __name__ == "__main__":
    asyncio.run(main())

// Semantic Kernel C# example

using Microsoft.SemanticKernel;
using Microsoft.SemanticKernel.ChatCompletion;
using System.ComponentModel;
using Microsoft.SemanticKernel.Connectors.AzureOpenAI;

ChatHistory chatHistory = [];
chatHistory.AddUserMessage("I'd like to go to New York on January 1, 2025");

var kernelBuilder = Kernel.CreateBuilder();
kernelBuilder.AddAzureOpenAIChatCompletion(
    deploymentName: "NAME_OF_YOUR_DEPLOYMENT",
    apiKey: "YOUR_API_KEY",
    endpoint: "YOUR_AZURE_ENDPOINT"
);
kernelBuilder.Plugins.AddFromType<BookTravelPlugin>("BookTravel"); 
var kernel = kernelBuilder.Build();

var settings = new AzureOpenAIPromptExecutionSettings()
{
    FunctionChoiceBehavior = FunctionChoiceBehavior.Auto()
};

var chatCompletion = kernel.GetRequiredService<IChatCompletionService>();

var response = await chatCompletion.GetChatMessageContentAsync(chatHistory, settings, kernel);

/*
Behind the scenes, the model recognizes the tool to call, what arguments it already has (location) and (date)
{

"tool_calls": [
    {
        "id": "call_abc123",
        "type": "function",
        "function": {
            "name": "BookTravelPlugin-book_flight",
            "arguments": "{'location': 'New York', 'date': '2025-01-01'}"
        }
    }
]
*/

Console.WriteLine(response.Content);
chatHistory.AddMessage(response!.Role, response!.Content!);

// Example AI Model Response: Your flight to New York on January 1, 2025, has been successfully booked. Safe travels! ✈️🗽

// Define a plugin that contains the function to book travel
public class BookTravelPlugin
{
    [KernelFunction("book_flight")]
    [Description("Book travel given location and date")]
    public async Task<string> BookFlight(DateTime date, string location)
    {
        return await Task.FromResult( $"Travel was booked to {location} on {date}");
    }
}

На этом примере видно, как можно использовать готовый парсер для извлечения ключевой информации из пользовательского ввода, например, места отправления, назначения и даты запроса на бронирование рейса. Такой модульный подход позволяет сосредоточиться на логике высокого уровня.

Используйте инструменты для совместной работы

Фреймворки, такие как CrewAI, Microsoft AutoGen и Semantic Kernel, облегчают создание нескольких агентов, которые могут работать вместе.

Как команды могут использовать это: Команды могут разрабатывать агентов с конкретными ролями и задачами, чтобы тестировать и улучшать совместные рабочие процессы и повышать общую эффективность системы.

Как это работает на практике: Вы можете создать команду агентов, где каждый агент выполняет специализированную функцию, такую как извлечение данных, анализ или принятие решений. Эти агенты могут общаться и обмениваться информацией для достижения общей цели, например, ответа на запрос пользователя или выполнения задачи.

Пример кода (AutoGen):

# creating agents, then create a round robin schedule where they can work together, in this case in order

# Data Retrieval Agent
# Data Analysis Agent
# Decision Making Agent

agent_retrieve = AssistantAgent(
    name="dataretrieval",
    model_client=model_client,
    tools=[retrieve_tool],
    system_message="Use tools to solve tasks."
)

agent_analyze = AssistantAgent(
    name="dataanalysis",
    model_client=model_client,
    tools=[analyze_tool],
    system_message="Use tools to solve tasks."
)

# conversation ends when user says "APPROVE"
termination = TextMentionTermination("APPROVE")

user_proxy = UserProxyAgent("user_proxy", input_func=input)

team = RoundRobinGroupChat([agent_retrieve, agent_analyze, user_proxy], termination_condition=termination)

stream = team.run_stream(task="Analyze data", max_turns=10)
# Use asyncio.run(...) when running in a script.
await Console(stream)

На предыдущем примере показано, как можно создать задачу, включающую несколько агентов, работающих вместе для анализа данных. Каждый агент выполняет определенную функцию, а задача выполняется путем координации агентов для достижения желаемого результата. Создавая специализированных агентов с определенными ролями, можно улучшить эффективность и производительность задач.

Обучение в реальном времени

Продвинутые фреймворки предоставляют возможности для понимания контекста и адаптации в реальном времени.

Как команды могут использовать это: Команды могут реализовать циклы обратной связи, где агенты учатся на взаимодействиях и динамически корректируют свое поведение, что приводит к постоянному улучшению и совершенствованию возможностей.

Как это работает на практике: Агенты могут анализировать отзывы пользователей, данные окружающей среды и результаты задач, чтобы обновлять свою базу знаний, корректировать алгоритмы принятия решений и улучшать производительность со временем. Этот процесс итеративного обучения позволяет агентам адаптироваться к изменяющимся условиям и предпочтениям пользователей, повышая общую эффективность системы.

Какие различия между фреймворками AutoGen, Semantic Kernel и Azure AI Agent Service?

Существует множество способов сравнения этих фреймворков, но давайте рассмотрим ключевые различия в их дизайне, возможностях и целевых сценариях использования:

AutoGen

AutoGen — это фреймворк с открытым исходным кодом, разработанный лабораторией AI Frontiers Lab Microsoft Research. Он ориентирован на событийно-управляемые, распределенные агентные приложения, позволяя использовать несколько LLM и SLM, инструменты и продвинутые шаблоны дизайна для многоагентных систем.

AutoGen построен вокруг основной концепции агентов — автономных сущностей, которые могут воспринимать свою среду, принимать решения и выполнять действия для достижения конкретных целей. Агенты общаются через асинхронные сообщения, что позволяет им работать независимо и параллельно, повышая масштабируемость и отзывчивость системы.

Агенты основаны на модели акторов. Согласно Википедии, актор — это основной строительный блок параллельных вычислений. В ответ на полученное сообщение актор может: принимать локальные решения, создавать новых акторов, отправлять новые сообщения и определять, как реагировать на следующее полученное сообщение.

Сценарии использования: Автоматизация генерации кода, задачи анализа данных и создание пользовательских агентов для функций планирования и исследований.

Вот некоторые важные основные концепции AutoGen:

Semantic Kernel + Agent Framework

Semantic Kernel — это готовый к использованию в корпоративной среде SDK для оркестрации AI. Он состоит из коннекторов для AI и памяти, а также фреймворка для агентов.

Сначала рассмотрим основные компоненты:

Эти факты затем сохраняются в коллекции памяти SummarizedAzureDocs. Это очень упрощенный пример, но вы можете увидеть, как информация может быть сохранена в памяти для использования LLM.

Итак, это основы фреймворка Semantic Kernel, а что насчет Agent Framework?

Сервис Azure AI Agent

Сервис Azure AI Agent — это более недавнее дополнение, представленное на Microsoft Ignite 2024. Он позволяет разрабатывать и развертывать AI-агентов с более гибкими моделями, такими как прямой вызов открытых LLM, например, Llama 3, Mistral и Cohere.

Сервис Azure AI Agent предоставляет более надежные механизмы безопасности для предприятий и методы хранения данных, что делает его подходящим для корпоративных приложений.

Он работает “из коробки” с фреймворками оркестрации мультиагентов, такими как AutoGen и Semantic Kernel.

Этот сервис в настоящее время находится в стадии публичного предварительного просмотра и поддерживает Python и C# для создания агентов.

Используя Semantic Kernel Python, мы можем создать Azure AI Agent с пользовательским плагином:

import asyncio
from typing import Annotated

from azure.identity.aio import DefaultAzureCredential

from semantic_kernel.agents import AzureAIAgent, AzureAIAgentSettings, AzureAIAgentThread
from semantic_kernel.contents import ChatMessageContent
from semantic_kernel.contents import AuthorRole
from semantic_kernel.functions import kernel_function


# Define a sample plugin for the sample
class MenuPlugin:
    """A sample Menu Plugin used for the concept sample."""

    @kernel_function(description="Provides a list of specials from the menu.")
    def get_specials(self) -> Annotated[str, "Returns the specials from the menu."]:
        return """
        Special Soup: Clam Chowder
        Special Salad: Cobb Salad
        Special Drink: Chai Tea
        """

    @kernel_function(description="Provides the price of the requested menu item.")
    def get_item_price(
        self, menu_item: Annotated[str, "The name of the menu item."]
    ) -> Annotated[str, "Returns the price of the menu item."]:
        return "$9.99"


async def main() -> None:
    ai_agent_settings = AzureAIAgentSettings.create()

    async with (
        DefaultAzureCredential() as creds,
        AzureAIAgent.create_client(
            credential=creds,
            conn_str=ai_agent_settings.project_connection_string.get_secret_value(),
        ) as client,
    ):
        # Create agent definition
        agent_definition = await client.agents.create_agent(
            model=ai_agent_settings.model_deployment_name,
            name="Host",
            instructions="Answer questions about the menu.",
        )

        # Create the AzureAI Agent using the defined client and agent definition
        agent = AzureAIAgent(
            client=client,
            definition=agent_definition,
            plugins=[MenuPlugin()],
        )

        # Create a thread to hold the conversation
        # If no thread is provided, a new thread will be
        # created and returned with the initial response
        thread: AzureAIAgentThread | None = None

        user_inputs = [
            "Hello",
            "What is the special soup?",
            "How much does that cost?",
            "Thank you",
        ]

        try:
            for user_input in user_inputs:
                print(f"# User: '{user_input}'")
                # Invoke the agent for the specified thread
                response = await agent.get_response(
                    messages=user_input,
                    thread_id=thread,
                )
                print(f"# {response.name}: {response.content}")
                thread = response.thread
        finally:
            await thread.delete() if thread else None
            await client.agents.delete_agent(agent.id)


if __name__ == "__main__":
    asyncio.run(main())

Основные концепции

Сервис Azure AI Agent включает следующие основные концепции:

Сценарии использования: Сервис Azure AI Agent предназначен для корпоративных приложений, требующих безопасного, масштабируемого и гибкого развертывания AI-агентов.

Чем отличаются эти фреймворки?

Кажется, что между этими фреймворками есть много общего, но существуют ключевые различия в их дизайне, возможностях и целевых сценариях использования:

Все еще не уверены, что выбрать?

Сценарии использования

Давайте попробуем помочь вам, рассмотрев некоторые распространенные сценарии использования:

В: Я экспериментирую, изучаю и создаю приложения агентов в виде доказательства концепции, и хочу иметь возможность быстро строить и экспериментировать.

О: AutoGen будет хорошим выбором для этого сценария, так как он ориентирован на событийно-управляемые, распределенные агентные приложения и поддерживает продвинутые шаблоны дизайна мультиагентов.

В: Почему AutoGen лучше подходит, чем Semantic Kernel и Azure AI Agent Service для этого сценария?

О: AutoGen специально разработан для событийно-управляемых, распределенных агентных приложений, что делает его хорошо подходящим для автоматизации задач генерации кода и анализа данных. Он предоставляет необходимые инструменты и возможности для эффективного создания сложных мультиагентных систем.

В: Кажется, что Azure AI Agent Service тоже может подойти, у него есть инструменты для генерации кода и многое другое?

О: Да, Azure AI Agent Service — это платформенный сервис для агентов, который добавляет встроенные возможности для нескольких моделей, Azure AI Search, Bing Search и Azure Functions. Это упрощает создание агентов в Foundry Portal и их масштабное развертывание.

В: Я все еще запутан, просто дайте мне один вариант.

О: Отличным выбором будет сначала построить ваше приложение в Semantic Kernel, а затем использовать Azure AI Agent Service для развертывания вашего агента. Такой подход позволяет легко сохранять ваших агентов, одновременно используя возможности создания мультиагентных систем в Semantic Kernel. Кроме того, в Semantic Kernel есть коннектор в AutoGen, что упрощает использование обоих фреймворков вместе.

Давайте подытожим ключевые различия в таблице:

Фреймворк Фокус Основные концепции Сценарии использования
AutoGen Событийно-управляемые, распределенные агентные приложения Агенты, Персоны, Функции, Данные Генерация кода, задачи анализа данных
Semantic Kernel Понимание и генерация текста, похожего на человеческий Агенты, Модульные компоненты, Сотрудничество Понимание естественного языка, генерация контента
Azure AI Agent Service Гибкие модели, корпоративная безопасность, Генерация кода, Вызов инструментов Модульность, Сотрудничество, Оркестрация процессов Безопасное, масштабируемое и гибкое развертывание AI-агентов

Какой идеальный сценарий использования для каждого из этих фреймворков?

Могу ли я интегрировать свои существующие инструменты экосистемы Azure напрямую или мне нужны автономные решения?

Ответ — да, вы можете интегрировать свои существующие инструменты экосистемы Azure напрямую с Azure AI Agent Service, особенно потому, что он был создан для работы с другими сервисами Azure. Например, вы можете интегрировать Bing, Azure AI Search и Azure Functions. Также существует глубокая интеграция с Azure AI Foundry.

Для AutoGen и Semantic Kernel вы также можете интегрироваться с сервисами Azure, но это может потребовать вызова сервисов Azure из вашего кода. Другой способ интеграции — использование SDK Azure для взаимодействия с сервисами Azure из ваших агентов. Кроме того, как уже упоминалось, вы можете использовать Azure AI Agent Service как оркестратор для ваших агентов, созданных в AutoGen или Semantic Kernel, что обеспечит легкий доступ к экосистеме Azure.

Есть еще вопросы о фреймворках AI-агентов?

Присоединяйтесь к Discord-сообществу Azure AI Foundry, чтобы встретиться с другими учащимися, посетить офисные часы и получить ответы на свои вопросы о AI-агентах.

Ссылки

Предыдущий урок

Введение в AI-агентов и сценарии их использования

Следующий урок

Понимание шаблонов агентного дизайна

Отказ от ответственности:
Этот документ был переведен с помощью сервиса автоматического перевода Co-op Translator. Несмотря на наши усилия обеспечить точность, автоматические переводы могут содержать ошибки или неточности. Оригинальный документ на его родном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется профессиональный перевод человеком. Мы не несем ответственности за любые недоразумения или неправильные интерпретации, возникшие в результате использования данного перевода.

This site is open source. Improve this page.