ai-agents-for-beginners

Истраживање оквира за AI агенте

(Кликните на слику изнад да бисте погледали видео лекције)

Истражите оквире за AI агенте

Оквири за AI агенте су софтверске платформе осмишљене да олакшају креирање, примену и управљање AI агентима. Ови оквири пружају програмерима унапред припремљене компоненте, апстракције и алате који поједностављују развој сложених AI система.

Ови оквири помажу програмерима да се фокусирају на јединствене аспекте својих апликација пружајући стандардизоване приступе за уобичајене изазове у развоју AI агената. Они побољшавају скалабилност, приступачност и ефикасност у изградњи AI система.

Увод

Ова лекција ће обухватити:

Циљеви учења

Циљеви ове лекције су да вам помогну да разумете:

Шта су оквири за AI агенте и шта омогућавају програмерима да ураде?

Традиционални AI оквири могу вам помоћи да интегришете AI у своје апликације и учините их бољим на следеће начине:

Звучи одлично, зар не? Па зашто нам онда треба оквир за AI агенте?

Оквири за AI агенте представљају нешто више од обичних AI оквира. Они су осмишљени да омогуће креирање интелигентних агената који могу да комуницирају са корисницима, другим агентима и окружењем како би постигли одређене циљеве. Ови агенти могу показати аутономно понашање, доносити одлуке и прилагођавати се променљивим условима. Погледајмо неке кључне способности које омогућавају оквири за AI агенте:

Укратко, агенти вам омогућавају да урадите више, да подигнете аутоматизацију на виши ниво, да креирате интелигентније системе који могу да се прилагоде и уче из свог окружења.

Како брзо прототипирати, итеративно радити и побољшати способности агента?

Ово је брзо развијајући пејзаж, али постоје неке заједничке ствари код већине оквира за AI агенте које вам могу помоћи да брзо прототипирате и итеративно радите, а то су модуларне компоненте, алати за сарадњу и учење у реалном времену. Хајде да се удубимо у ово:

Користите модуларне компоненте

SDK-ови као што су Microsoft Semantic Kernel и LangChain нуде унапред припремљене компоненте као што су AI конектори, шаблони упита и управљање меморијом.

Како тимови могу користити ове компоненте: Тимови могу брзо саставити ове компоненте како би креирали функционални прототип без почетка од нуле, омогућавајући брзо експериментисање и итерацију.

Како то функционише у пракси: Можете користити унапред припремљени парсер за извлачење информација из корисничког уноса, модул меморије за складиштење и преузимање података, и генератор упита за интеракцију са корисницима, све без потребе да сами градите ове компоненте.

Пример кода. Погледајмо примере како можете користити унапред припремљени AI конектор са Semantic Kernel Python и .Net који користи аутоматско позивање функција да би модел одговорио на кориснички унос:

# Semantic Kernel Python Example

import asyncio
from typing import Annotated

from semantic_kernel.connectors.ai import FunctionChoiceBehavior
from semantic_kernel.connectors.ai.open_ai import AzureChatCompletion, AzureChatPromptExecutionSettings
from semantic_kernel.contents import ChatHistory
from semantic_kernel.functions import kernel_function
from semantic_kernel.kernel import Kernel

# Define a ChatHistory object to hold the conversation's context
chat_history = ChatHistory()
chat_history.add_user_message("I'd like to go to New York on January 1, 2025")


# Define a sample plugin that contains the function to book travel
class BookTravelPlugin:
    """A Sample Book Travel Plugin"""

    @kernel_function(name="book_flight", description="Book travel given location and date")
    async def book_flight(
        self, date: Annotated[str, "The date of travel"], location: Annotated[str, "The location to travel to"]
    ) -> str:
        return f"Travel was booked to {location} on {date}"

# Create the Kernel
kernel = Kernel()

# Add the sample plugin to the Kernel object
kernel.add_plugin(BookTravelPlugin(), plugin_name="book_travel")

# Define the Azure OpenAI AI Connector
chat_service = AzureChatCompletion(
    deployment_name="YOUR_DEPLOYMENT_NAME", 
    api_key="YOUR_API_KEY", 
    endpoint="https://<your-resource>.azure.openai.com/",
)

# Define the request settings to configure the model with auto-function calling
request_settings = AzureChatPromptExecutionSettings(function_choice_behavior=FunctionChoiceBehavior.Auto())


async def main():
    # Make the request to the model for the given chat history and request settings
    # The Kernel contains the sample that the model will request to invoke
    response = await chat_service.get_chat_message_content(
        chat_history=chat_history, settings=request_settings, kernel=kernel
    )
    assert response is not None

    """
    Note: In the auto function calling process, the model determines it can invoke the 
    `BookTravelPlugin` using the `book_flight` function, supplying the necessary arguments. 
    
    For example:

    "tool_calls": [
        {
            "id": "call_abc123",
            "type": "function",
            "function": {
                "name": "BookTravelPlugin-book_flight",
                "arguments": "{'location': 'New York', 'date': '2025-01-01'}"
            }
        }
    ]

    Since the location and date arguments are required (as defined by the kernel function), if the 
    model lacks either, it will prompt the user to provide them. For instance:

    User: Book me a flight to New York.
    Model: Sure, I'd love to help you book a flight. Could you please specify the date?
    User: I want to travel on January 1, 2025.
    Model: Your flight to New York on January 1, 2025, has been successfully booked. Safe travels!
    """

    print(f"`{response}`")
    # Example AI Model Response: `Your flight to New York on January 1, 2025, has been successfully booked. Safe travels! ✈️🗽`

    # Add the model's response to our chat history context
    chat_history.add_assistant_message(response.content)


if __name__ == "__main__":
    asyncio.run(main())

// Semantic Kernel C# example

using Microsoft.SemanticKernel;
using Microsoft.SemanticKernel.ChatCompletion;
using System.ComponentModel;
using Microsoft.SemanticKernel.Connectors.AzureOpenAI;

ChatHistory chatHistory = [];
chatHistory.AddUserMessage("I'd like to go to New York on January 1, 2025");

var kernelBuilder = Kernel.CreateBuilder();
kernelBuilder.AddAzureOpenAIChatCompletion(
    deploymentName: "NAME_OF_YOUR_DEPLOYMENT",
    apiKey: "YOUR_API_KEY",
    endpoint: "YOUR_AZURE_ENDPOINT"
);
kernelBuilder.Plugins.AddFromType<BookTravelPlugin>("BookTravel"); 
var kernel = kernelBuilder.Build();

var settings = new AzureOpenAIPromptExecutionSettings()
{
    FunctionChoiceBehavior = FunctionChoiceBehavior.Auto()
};

var chatCompletion = kernel.GetRequiredService<IChatCompletionService>();

var response = await chatCompletion.GetChatMessageContentAsync(chatHistory, settings, kernel);

/*
Behind the scenes, the model recognizes the tool to call, what arguments it already has (location) and (date)
{

"tool_calls": [
    {
        "id": "call_abc123",
        "type": "function",
        "function": {
            "name": "BookTravelPlugin-book_flight",
            "arguments": "{'location': 'New York', 'date': '2025-01-01'}"
        }
    }
]
*/

Console.WriteLine(response.Content);
chatHistory.AddMessage(response!.Role, response!.Content!);

// Example AI Model Response: Your flight to New York on January 1, 2025, has been successfully booked. Safe travels! ✈️🗽

// Define a plugin that contains the function to book travel
public class BookTravelPlugin
{
    [KernelFunction("book_flight")]
    [Description("Book travel given location and date")]
    public async Task<string> BookFlight(DateTime date, string location)
    {
        return await Task.FromResult( $"Travel was booked to {location} on {date}");
    }
}

Из овог примера можете видети како можете искористити унапред припремљени парсер за извлачење кључних информација из корисничког уноса, као што су порекло, одредиште и датум захтева за резервацију лета. Овај модуларни приступ вам омогућава да се фокусирате на логичке аспекте.

Искористите алате за сарадњу

Оквири као што су CrewAI, Microsoft AutoGen и Semantic Kernel олакшавају креирање више агената који могу радити заједно.

Како тимови могу користити ове алате: Тимови могу дизајнирати агенте са специфичним улогама и задацима, омогућавајући им тестирање и усавршавање сарадничких радних токова и побољшање укупне ефикасности система.

Како то функционише у пракси: Можете креирати тим агената где сваки агент има специјализовану функцију, као што су преузимање података, анализа или доношење одлука. Ови агенти могу комуницирати и делити информације како би постигли заједнички циљ, као што је одговарање на кориснички упит или завршавање задатка.

Пример кода (AutoGen):

# creating agents, then create a round robin schedule where they can work together, in this case in order

# Data Retrieval Agent
# Data Analysis Agent
# Decision Making Agent

agent_retrieve = AssistantAgent(
    name="dataretrieval",
    model_client=model_client,
    tools=[retrieve_tool],
    system_message="Use tools to solve tasks."
)

agent_analyze = AssistantAgent(
    name="dataanalysis",
    model_client=model_client,
    tools=[analyze_tool],
    system_message="Use tools to solve tasks."
)

# conversation ends when user says "APPROVE"
termination = TextMentionTermination("APPROVE")

user_proxy = UserProxyAgent("user_proxy", input_func=input)

team = RoundRobinGroupChat([agent_retrieve, agent_analyze, user_proxy], termination_condition=termination)

stream = team.run_stream(task="Analyze data", max_turns=10)
# Use asyncio.run(...) when running in a script.
await Console(stream)

У претходном коду видите како можете креирати задатак који укључује више агената који раде заједно на анализи података. Сваки агент обавља одређену функцију, а задатак се извршава координацијом агената како би се постигао жељени резултат. Креирањем посебних агената са специјализованим улогама можете побољшати ефикасност и перформансе задатка.

Учите у реалном времену

Напредни оквири пружају могућности за разумевање контекста у реалном времену и адаптацију.

Како тимови могу користити ове могућности: Тимови могу применити повратне петље где агенти уче из интеракција и динамички прилагођавају своје понашање, што доводи до континуираног побољшања и усавршавања способности.

Како то функционише у пракси: Агенти могу анализирати повратне информације корисника, податке из окружења и резултате задатака како би ажурирали своју базу знања, прилагодили алгоритме за доношење одлука и побољшали перформансе током времена. Овај итеративни процес учења омогућава агентима да се прилагоде променљивим условима и преференцијама корисника, побољшавајући укупну ефикасност система.

Које су разлике између оквира AutoGen, Semantic Kernel и Azure AI Agent Service?

Постоји много начина да се упореде ови оквири, али хајде да погледамо неке кључне разлике у погледу њиховог дизајна, способности и циљних случајева употребе:

AutoGen

AutoGen је оквир отвореног кода који је развио Microsoft Research’s AI Frontiers Lab. Фокусира се на апликације засноване на догађајима и дистрибуиране агентске апликације, омогућавајући више LLM-ова и SLM-ова, алата и напредних дизајнерских образаца за више агената.

AutoGen је изграђен око основног концепта агената, који су аутономни ентитети који могу да перципирају своје окружење, доносе одлуке и предузимају акције како би постигли одређене циљеве. Агенти комуницирају путем асинхроних порука, омогућавајући им да раде независно и паралелно, чиме се побољшава скалабилност и одзивност система.

Агенти су засновани на моделу актера. Према Википедији, актер је основни грађевински блок конкурентног рачунања. Као одговор на поруку коју прими, актер може: донети локалне одлуке, креирати више актера, послати више порука и одредити како ће одговорити на следећу примљену поруку.

Случајеви употребе: Аутоматизација генерисања кода, задаци анализе података и изградња прилагођених агената за функције планирања и истраживања.

Ево неких важних основних концепата AutoGen-а:

Дакле, то су основе Semantic Kernel оквира, а шта је са Agent Framework-ом?

Azure AI Agent Service

Azure AI Agent Service је новији додатак, представљен на Microsoft Ignite 2024. Омогућава развој и примену AI агената са флексибилнијим моделима, као што је директно позивање open-source LLM-ова попут Llama 3, Mistral и Cohere.

Azure AI Agent Service пружа јаче механизме за безбедност у предузећима и методе за складиштење података, што га чини погодним за предузетничке апликације.

Функционише одмах са мулти-агентским оркестрационим оквирима као што су AutoGen и Semantic Kernel.

Ова услуга је тренутно у Public Preview фази и подржава Python и C# за изградњу агената.

Користећи Semantic Kernel Python, можемо креирати Azure AI Agent са кориснички дефинисаним додатком:

import asyncio
from typing import Annotated

from azure.identity.aio import DefaultAzureCredential

from semantic_kernel.agents import AzureAIAgent, AzureAIAgentSettings, AzureAIAgentThread
from semantic_kernel.contents import ChatMessageContent
from semantic_kernel.contents import AuthorRole
from semantic_kernel.functions import kernel_function


# Define a sample plugin for the sample
class MenuPlugin:
    """A sample Menu Plugin used for the concept sample."""

    @kernel_function(description="Provides a list of specials from the menu.")
    def get_specials(self) -> Annotated[str, "Returns the specials from the menu."]:
        return """
        Special Soup: Clam Chowder
        Special Salad: Cobb Salad
        Special Drink: Chai Tea
        """

    @kernel_function(description="Provides the price of the requested menu item.")
    def get_item_price(
        self, menu_item: Annotated[str, "The name of the menu item."]
    ) -> Annotated[str, "Returns the price of the menu item."]:
        return "$9.99"


async def main() -> None:
    ai_agent_settings = AzureAIAgentSettings.create()

    async with (
        DefaultAzureCredential() as creds,
        AzureAIAgent.create_client(
            credential=creds,
            conn_str=ai_agent_settings.project_connection_string.get_secret_value(),
        ) as client,
    ):
        # Create agent definition
        agent_definition = await client.agents.create_agent(
            model=ai_agent_settings.model_deployment_name,
            name="Host",
            instructions="Answer questions about the menu.",
        )

        # Create the AzureAI Agent using the defined client and agent definition
        agent = AzureAIAgent(
            client=client,
            definition=agent_definition,
            plugins=[MenuPlugin()],
        )

        # Create a thread to hold the conversation
        # If no thread is provided, a new thread will be
        # created and returned with the initial response
        thread: AzureAIAgentThread | None = None

        user_inputs = [
            "Hello",
            "What is the special soup?",
            "How much does that cost?",
            "Thank you",
        ]

        try:
            for user_input in user_inputs:
                print(f"# User: '{user_input}'")
                # Invoke the agent for the specified thread
                response = await agent.get_response(
                    messages=user_input,
                    thread_id=thread,
                )
                print(f"# {response.name}: {response.content}")
                thread = response.thread
        finally:
            await thread.delete() if thread else None
            await client.agents.delete_agent(agent.id)


if __name__ == "__main__":
    asyncio.run(main())

Основни концепти

Azure AI Agent Service има следеће основне концепте:

Случајеви употребе: Azure AI Agent Service је дизајниран за предузетничке апликације које захтевају сигурну, скалабилну и флексибилну примену AI агената.

Која је разлика између ових оквира?

Чини се да постоји доста преклапања између ових оквира, али постоје неке кључне разлике у погледу њиховог дизајна, могућности и циљаних случајева употребе:

Још увек нисте сигурни који да изаберете?

Случајеви употребе

Хајде да вам помогнемо проласком кроз неке уобичајене случајеве употребе:

П: Експериментишем, учим и градим proof-of-concept апликације агената, и желим да могу брзо да градим и експериментишем

О: AutoGen би био добар избор за овај сценарио, јер се фокусира на апликације засноване на догађајима, дистрибуиране агентске апликације и подржава напредне мулти-агентске дизајнерске обрасце.

П: Шта чини AutoGen бољим избором од Semantic Kernel-а и Azure AI Agent Service-а за овај случај употребе?

О: AutoGen је посебно дизајниран за апликације засноване на догађајима, дистрибуиране агентске апликације, што га чини погодним за аутоматизацију задатака генерисања кода и анализе података. Пружа неопходне алате и могућности за ефикасну изградњу сложених мулти-агентских система.

П: Звучи као да би Azure AI Agent Service могао да ради овде такође, има алате за генерисање кода и више?

О: Да, Azure AI Agent Service је платформа за агенте и додаје уграђене могућности за више модела, Azure AI Search, Bing Search и Azure Functions. Олакшава изградњу ваших агената у Foundry порталу и њихову примену у великом обиму.

П: Још увек сам збуњен, само ми дајте једну опцију

О: Одличан избор је да прво изградите своју апликацију у Semantic Kernel-у, а затим користите Azure AI Agent Service за примену вашег агента. Овај приступ вам омогућава да лако сачувате своје агенте док користите моћ изградње мулти-агентских система у Semantic Kernel-у. Поред тога, Semantic Kernel има конектор у AutoGen-у, што олакшава коришћење оба оквира заједно.

Хајде да сумирамо кључне разлике у табели:

Оквир Фокус Основни концепти Случајеви употребе
AutoGen Апликације засноване на догађајима, дистрибуиране агентске апликације Агенти, Персоне, Функције, Подаци Генерисање кода, задаци анализе података
Semantic Kernel Разумевање и генерисање текста сличног људском Агенти, Модуларне компоненте, Сарадња Разумевање природног језика, генерисање садржаја
Azure AI Agent Service Флексибилни модели, безбедност у предузећима, Генерисање кода, Позивање алата Модуларност, Сарадња, Оркестрација процеса Сигурна, скалабилна и флексибилна примена AI агената

Који је идеалан случај употребе за сваки од ових оквира?

Могу ли директно интегрисати своје постојеће Azure алате или су ми потребна самостална решења?

Одговор је да, можете директно интегрисати своје постојеће Azure алате са Azure AI Agent Service-ом, посебно зато што је изграђен да ради беспрекорно са другим Azure услугама. На пример, могли бисте интегрисати Bing, Azure AI Search и Azure Functions. Постоји и дубока интеграција са Azure AI Foundry-ом.

За AutoGen и Semantic Kernel, такође можете интегрисати Azure услуге, али можда ће бити потребно да позовете Azure услуге из свог кода. Други начин интеграције је коришћење Azure SDK-ова за интеракцију са Azure услугама из ваших агената. Поред тога, као што је поменуто, можете користити Azure AI Agent Service као оркестратор за ваше агенте изграђене у AutoGen-у или Semantic Kernel-у, што би омогућило лак приступ Azure екосистему.

Пример кода

Имате још питања о AI Agent Framework-овима?

Придружите се Azure AI Foundry Discord за упознавање са другим учесницима, присуствовање радним сатима и добијање одговора на ваша питања о AI агентима.

Референце

Претходна лекција

Увод у AI агенте и случајеве употребе агената

Следећа лекција

Разумевање дизајнерских образаца агената

Одрицање од одговорности:
Овај документ је преведен помоћу услуге за превођење вештачке интелигенције Co-op Translator. Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода.

This site is open source. Improve this page.