(Nhấp vào hình ảnh trên để xem video của bài học này)
Công cụ rất thú vị vì chúng cho phép các tác nhân AI có một phạm vi khả năng rộng hơn. Thay vì tác nhân chỉ có một tập hợp hành động giới hạn, việc thêm một công cụ sẽ giúp tác nhân thực hiện được nhiều hành động hơn. Trong chương này, chúng ta sẽ tìm hiểu về Mẫu Thiết Kế Sử Dụng Công Cụ, mô tả cách các tác nhân AI có thể sử dụng các công cụ cụ thể để đạt được mục tiêu của mình.
Trong bài học này, chúng ta sẽ trả lời các câu hỏi sau:
Sau khi hoàn thành bài học này, bạn sẽ có thể:
Mẫu Thiết Kế Sử Dụng Công Cụ tập trung vào việc cung cấp cho các Mô Hình Ngôn Ngữ Lớn (LLMs) khả năng tương tác với các công cụ bên ngoài để đạt được các mục tiêu cụ thể. Công cụ là các đoạn mã có thể được thực thi bởi một tác nhân để thực hiện các hành động. Một công cụ có thể là một hàm đơn giản như máy tính, hoặc một API gọi đến dịch vụ bên thứ ba như tra cứu giá cổ phiếu hoặc dự báo thời tiết. Trong bối cảnh các tác nhân AI, công cụ được thiết kế để được thực thi bởi các tác nhân dựa trên các lệnh gọi hàm do mô hình tạo ra.
Các tác nhân AI có thể tận dụng công cụ để hoàn thành các nhiệm vụ phức tạp, truy xuất thông tin hoặc đưa ra quyết định. Mẫu thiết kế sử dụng công cụ thường được sử dụng trong các tình huống yêu cầu tương tác động với các hệ thống bên ngoài, chẳng hạn như cơ sở dữ liệu, dịch vụ web hoặc trình thông dịch mã. Khả năng này hữu ích trong nhiều trường hợp sử dụng khác nhau, bao gồm:
Những cấu trúc này cho phép tác nhân AI thực hiện nhiều nhiệm vụ khác nhau. Hãy cùng xem các yếu tố chính cần thiết để triển khai Mẫu Thiết Kế Sử Dụng Công Cụ:
Lược đồ Hàm/Công Cụ: Các định nghĩa chi tiết về các công cụ có sẵn, bao gồm tên hàm, mục đích, các tham số cần thiết và đầu ra mong đợi. Các lược đồ này giúp LLM hiểu được các công cụ nào có sẵn và cách tạo các yêu cầu hợp lệ.
Logic Thực Thi Hàm: Quản lý cách và thời điểm các công cụ được gọi dựa trên ý định của người dùng và ngữ cảnh hội thoại. Điều này có thể bao gồm các mô-đun lập kế hoạch, cơ chế định tuyến hoặc các luồng điều kiện xác định việc sử dụng công cụ một cách động.
Hệ Thống Xử Lý Tin Nhắn: Các thành phần quản lý luồng hội thoại giữa đầu vào của người dùng, phản hồi của LLM, các lệnh gọi công cụ và đầu ra của công cụ.
Khung Tích Hợp Công Cụ: Cơ sở hạ tầng kết nối tác nhân với các công cụ khác nhau, dù đó là các hàm đơn giản hay các dịch vụ bên ngoài phức tạp.
Xử Lý Lỗi & Xác Thực: Các cơ chế để xử lý các lỗi trong việc thực thi công cụ, xác thực tham số và quản lý các phản hồi không mong đợi.
Quản Lý Trạng Thái: Theo dõi ngữ cảnh hội thoại, các tương tác công cụ trước đó và dữ liệu liên tục để đảm bảo tính nhất quán trong các tương tác nhiều lượt.
Tiếp theo, chúng ta sẽ tìm hiểu chi tiết về Lệnh Gọi Hàm/Công Cụ.
Lệnh gọi hàm là cách chính để chúng ta cho phép các Mô Hình Ngôn Ngữ Lớn (LLMs) tương tác với các công cụ. Bạn sẽ thường thấy ‘Hàm’ và ‘Công Cụ’ được sử dụng thay thế cho nhau vì ‘hàm’ (các đoạn mã có thể tái sử dụng) chính là ‘công cụ’ mà các tác nhân sử dụng để thực hiện nhiệm vụ. Để mã của một hàm được thực thi, LLM phải so sánh yêu cầu của người dùng với mô tả của hàm. Để làm điều này, một lược đồ chứa các mô tả của tất cả các hàm có sẵn được gửi đến LLM. LLM sau đó chọn hàm phù hợp nhất cho nhiệm vụ và trả về tên và các tham số của nó. Hàm được chọn sẽ được thực thi, phản hồi của nó được gửi lại cho LLM, và LLM sử dụng thông tin này để trả lời yêu cầu của người dùng.
Để các nhà phát triển triển khai lệnh gọi hàm cho các tác nhân, bạn sẽ cần:
Hãy sử dụng ví dụ lấy thời gian hiện tại ở một thành phố để minh họa:
Khởi tạo một LLM hỗ trợ lệnh gọi hàm:
Không phải tất cả các mô hình đều hỗ trợ lệnh gọi hàm, vì vậy điều quan trọng là phải kiểm tra mô hình LLM bạn đang sử dụng. Azure OpenAI hỗ trợ lệnh gọi hàm. Chúng ta có thể bắt đầu bằng cách khởi tạo client Azure OpenAI.
# Initialize the Azure OpenAI client
client = AzureOpenAI(
azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"),
api_key=os.getenv("AZURE_OPENAI_API_KEY"),
api_version="2024-05-01-preview"
)
Tạo một Lược Đồ Hàm:
Tiếp theo, chúng ta sẽ định nghĩa một lược đồ JSON chứa tên hàm, mô tả về những gì hàm thực hiện, và tên cũng như mô tả của các tham số hàm. Sau đó, chúng ta sẽ đưa lược đồ này vào client đã tạo trước đó, cùng với yêu cầu của người dùng để tìm thời gian ở San Francisco. Điều quan trọng cần lưu ý là một lệnh gọi công cụ sẽ được trả về, không phải câu trả lời cuối cùng cho câu hỏi. Như đã đề cập trước đó, LLM trả về tên của hàm mà nó chọn cho nhiệm vụ, và các tham số sẽ được truyền vào hàm đó.
# Function description for the model to read
tools = [
{
"type": "function",
"function": {
"name": "get_current_time",
"description": "Get the current time in a given location",
"parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "The city name, e.g. San Francisco",
},
},
"required": ["location"],
},
}
}
]
# Initial user message
messages = [{"role": "user", "content": "What's the current time in San Francisco"}]
# First API call: Ask the model to use the function
response = client.chat.completions.create(
model=deployment_name,
messages=messages,
tools=tools,
tool_choice="auto",
)
# Process the model's response
response_message = response.choices[0].message
messages.append(response_message)
print("Model's response:")
print(response_message)
Model's response:
ChatCompletionMessage(content=None, role='assistant', function_call=None, tool_calls=[ChatCompletionMessageToolCall(id='call_pOsKdUlqvdyttYB67MOj434b', function=Function(arguments='{"location":"San Francisco"}', name='get_current_time'), type='function')])
Mã hàm cần thiết để thực hiện nhiệm vụ:
Bây giờ LLM đã chọn hàm cần được chạy, mã thực hiện nhiệm vụ cần được triển khai và thực thi. Chúng ta có thể triển khai mã để lấy thời gian hiện tại bằng Python. Chúng ta cũng cần viết mã để trích xuất tên và tham số từ response_message
để có được kết quả cuối cùng.
def get_current_time(location):
"""Get the current time for a given location"""
print(f"get_current_time called with location: {location}")
location_lower = location.lower()
for key, timezone in TIMEZONE_DATA.items():
if key in location_lower:
print(f"Timezone found for {key}")
current_time = datetime.now(ZoneInfo(timezone)).strftime("%I:%M %p")
return json.dumps({
"location": location,
"current_time": current_time
})
print(f"No timezone data found for {location_lower}")
return json.dumps({"location": location, "current_time": "unknown"})
# Handle function calls
if response_message.tool_calls:
for tool_call in response_message.tool_calls:
if tool_call.function.name == "get_current_time":
function_args = json.loads(tool_call.function.arguments)
time_response = get_current_time(
location=function_args.get("location")
)
messages.append({
"tool_call_id": tool_call.id,
"role": "tool",
"name": "get_current_time",
"content": time_response,
})
else:
print("No tool calls were made by the model.")
# Second API call: Get the final response from the model
final_response = client.chat.completions.create(
model=deployment_name,
messages=messages,
)
return final_response.choices[0].message.content
get_current_time called with location: San Francisco
Timezone found for san francisco
The current time in San Francisco is 09:24 AM.
Lệnh Gọi Hàm là cốt lõi của hầu hết, nếu không muốn nói là tất cả, thiết kế sử dụng công cụ của tác nhân, tuy nhiên việc triển khai từ đầu đôi khi có thể gặp thách thức. Như chúng ta đã học trong Bài học 2, các khung tác nhân cung cấp cho chúng ta các cấu trúc dựng sẵn để triển khai sử dụng công cụ.
Dưới đây là một số ví dụ về cách bạn có thể triển khai Mẫu Thiết Kế Sử Dụng Công Cụ bằng các khung tác nhân khác nhau:
Semantic Kernel là một khung AI mã nguồn mở dành cho các nhà phát triển .NET, Python và Java làm việc với các Mô Hình Ngôn Ngữ Lớn (LLMs). Nó đơn giản hóa quá trình sử dụng lệnh gọi hàm bằng cách tự động mô tả các hàm và tham số của bạn cho mô hình thông qua một quy trình gọi là serialization. Nó cũng xử lý việc giao tiếp qua lại giữa mô hình và mã của bạn. Một lợi thế khác của việc sử dụng một khung tác nhân như Semantic Kernel là nó cho phép bạn truy cập các công cụ dựng sẵn như Tìm Kiếm Tệp và Trình Thông Dịch Mã.
Sơ đồ sau minh họa quy trình lệnh gọi hàm với Semantic Kernel:
Trong Semantic Kernel, các hàm/công cụ được gọi là Plugins. Chúng ta có thể chuyển đổi hàm get_current_time
mà chúng ta đã thấy trước đó thành một plugin bằng cách biến nó thành một lớp chứa hàm đó. Chúng ta cũng có thể nhập decorator kernel_function
, nhận mô tả của hàm. Khi bạn tạo một kernel với GetCurrentTimePlugin, kernel sẽ tự động serialize hàm và các tham số của nó, tạo lược đồ để gửi đến LLM trong quá trình này.
from semantic_kernel.functions import kernel_function
class GetCurrentTimePlugin:
async def __init__(self, location):
self.location = location
@kernel_function(
description="Get the current time for a given location"
)
def get_current_time(location: str = ""):
...
from semantic_kernel import Kernel
# Create the kernel
kernel = Kernel()
# Create the plugin
get_current_time_plugin = GetCurrentTimePlugin(location)
# Add the plugin to the kernel
kernel.add_plugin(get_current_time_plugin)
Azure AI Agent Service là một khung tác nhân mới được thiết kế để giúp các nhà phát triển xây dựng, triển khai và mở rộng các tác nhân AI chất lượng cao, có thể mở rộng mà không cần quản lý tài nguyên tính toán và lưu trữ cơ bản. Nó đặc biệt hữu ích cho các ứng dụng doanh nghiệp vì đây là một dịch vụ được quản lý hoàn toàn với bảo mật cấp doanh nghiệp.
So với việc phát triển trực tiếp với API LLM, Azure AI Agent Service mang lại một số lợi thế, bao gồm:
Các công cụ có sẵn trong Azure AI Agent Service có thể được chia thành hai loại:
Dịch vụ Agent Service cho phép chúng ta sử dụng các công cụ này cùng nhau như một toolset
. Nó cũng sử dụng threads
để theo dõi lịch sử các tin nhắn từ một cuộc hội thoại cụ thể.
Hãy tưởng tượng bạn là một nhân viên bán hàng tại một công ty tên là Contoso. Bạn muốn phát triển một tác nhân hội thoại có thể trả lời các câu hỏi về dữ liệu bán hàng của bạn.
Hình ảnh sau minh họa cách bạn có thể sử dụng Azure AI Agent Service để phân tích dữ liệu bán hàng của mình:
Để sử dụng bất kỳ công cụ nào trong số này với dịch vụ, chúng ta có thể tạo một client và định nghĩa một công cụ hoặc bộ công cụ. Để triển khai điều này một cách thực tế, chúng ta có thể sử dụng đoạn mã Python sau. LLM sẽ có thể xem xét bộ công cụ và quyết định sử dụng hàm do người dùng tạo, fetch_sales_data_using_sqlite_query
, hoặc Trình Thông Dịch Mã dựng sẵn tùy thuộc vào yêu cầu của người dùng.
import os
from azure.ai.projects import AIProjectClient
from azure.identity import DefaultAzureCredential
from fetch_sales_data_functions import fetch_sales_data_using_sqlite_query # fetch_sales_data_using_sqlite_query function which can be found in a fetch_sales_data_functions.py file.
from azure.ai.projects.models import ToolSet, FunctionTool, CodeInterpreterTool
project_client = AIProjectClient.from_connection_string(
credential=DefaultAzureCredential(),
conn_str=os.environ["PROJECT_CONNECTION_STRING"],
)
# Initialize function calling agent with the fetch_sales_data_using_sqlite_query function and adding it to the toolset
fetch_data_function = FunctionTool(fetch_sales_data_using_sqlite_query)
toolset = ToolSet()
toolset.add(fetch_data_function)
# Initialize Code Interpreter tool and adding it to the toolset.
code_interpreter = code_interpreter = CodeInterpreterTool()
toolset = ToolSet()
toolset.add(code_interpreter)
agent = project_client.agents.create_agent(
model="gpt-4o-mini", name="my-agent", instructions="You are helpful agent",
toolset=toolset
)
Một mối quan tâm phổ biến với SQL được tạo động bởi LLMs là vấn đề bảo mật, đặc biệt là nguy cơ tấn công SQL injection hoặc các hành động độc hại, chẳng hạn như xóa hoặc làm hỏng cơ sở dữ liệu. Mặc dù những mối lo ngại này là hợp lý, chúng có thể được giảm thiểu hiệu quả bằng cách cấu hình đúng quyền truy cập cơ sở dữ liệu. Đối với hầu hết các cơ sở dữ liệu, điều này bao gồm cấu hình cơ sở dữ liệu ở chế độ chỉ đọc. Đối với các dịch vụ cơ sở dữ liệu như PostgreSQL hoặc Azure SQL, ứng dụng nên được gán một vai trò chỉ đọc (SELECT).
Việc chạy ứng dụng trong một môi trường an toàn sẽ tăng cường bảo vệ hơn nữa. Trong các kịch bản doanh nghiệp, dữ liệu thường được trích xuất và chuyển đổi từ các hệ thống vận hành vào một cơ sở dữ liệu chỉ đọc hoặc kho dữ liệu với một lược đồ thân thiện với người dùng. Cách tiếp cận này đảm bảo rằng dữ liệu được bảo mật, tối ưu hóa cho hiệu suất và khả năng truy cập, và ứng dụng chỉ có quyền truy cập hạn chế, chỉ đọc.
Tham gia Azure AI Foundry Discord để gặp gỡ những người học khác, tham dự giờ hỗ trợ và nhận giải đáp cho các câu hỏi về AI Agents của bạn.
Tuyên bố miễn trừ trách nhiệm:
Tài liệu này đã được dịch bằng dịch vụ dịch thuật AI Co-op Translator. Mặc dù chúng tôi cố gắng đảm bảo độ chính xác, xin lưu ý rằng các bản dịch tự động có thể chứa lỗi hoặc không chính xác. Tài liệu gốc bằng ngôn ngữ bản địa nên được coi là nguồn tham khảo chính thức. Đối với các thông tin quan trọng, chúng tôi khuyến nghị sử dụng dịch vụ dịch thuật chuyên nghiệp từ con người. Chúng tôi không chịu trách nhiệm cho bất kỳ sự hiểu lầm hoặc diễn giải sai nào phát sinh từ việc sử dụng bản dịch này.