აგენტის შექმნა ერთია, მისი ქცევის გაგება კი – მეორე. სწორედ აქ შემოდის ტრესინგი და შეფასება. ტრესინგი გაძლევთ საშუალებას, ზუსტად დაინახოთ, რას აკეთებს თქვენი აგენტი ეტაპობრივად — რა შეყვანას იღებს, როგორ ამუშავებს ინფორმაციას და როგორ აღწევს საბოლოო შედეგს. წარმოიდგინეთ, რომ ეს არის X-ray თქვენი აგენტის გადაწყვეტილების მიღების პროცესისთვის. ამასობაში, შეფასება გეხმარებათ მუშაობის გაზომვაში, რაც უზრუნველყოფს, რომ თქვენი აგენტი არა მხოლოდ ფუნქციონალური, არამედ ეფექტურიც იყოს. წარმოქმნის თუ არა ის სწორ პასუხებს? რამდენად რელევანტურია მისი დასკვნები ყოველ ნაბიჯზე? რამდენად კარგადაა შექმნილი აგენტის პასუხი? ემთხვევა თუ არა ის თქვენს მიზნებს? Arize Phoenix გთავაზობთ ცენტრალიზებულ პლატფორმას თქვენი აგენტის გადაწყვეტილებების ტრესინგის, შეფასებისა და გამართვისთვის რეალურ დროში — ყველაფერი ერთ ადგილას. ჩვენ განვიხილავთ, თუ როგორ შეგიძლიათ მათი დანერგვა თქვენი აგენტის დასახვეწად და ოპტიმიზაციისთვის. რადგან აგენტის აგება მხოლოდ დასაწყისია — ჭეშმარიტი ინტელექტი მოდის იქიდან, რომ ზუსტად იცით, რა ხდება „შიგნით“. ამისთვის, მოდით დავრწმუნდეთ, რომ აგენტის კონფიგურაცია მზად გვაქვს! შეგიძლიათ მიჰყვეთ შემდეგ ნაბიჯებს ან გამოიყენოთ საკუთარი აგენტი. ახლა მოვიტანოთ კლასები და ხელსაწყოები, რომლებსაც გამოვიყენებთ: ჩვენ შევქმნით მოდელის ინსტანციას, რომელიც Hugging Face Hub-ის Serverless API-ით იმუშავებს: ახლა კი ჯადოსნური მომენტისთვის — ვნახოთ ჩვენი აგენტი მოქმედებაში. შეკითხვა, რომელსაც ჩვენს აგენტს ვუსვამთ, ასეთია: „მომიტანე Google-ის აქციების ფასი 2020-დან 2024 წლამდე და შექმენი მისგან ხაზოვანი დიაგრამა?“ თქვენი აგენტი ახლა: მას შემდეგ, რაც თქვენი აგენტი იმუშავებს, შემდეგი გამოწვევა მისი შიდა მუშაობის გააზრებაა. ტრესინგი გეხმარებათ თქვენი აგენტის მიერ გადადგმული ყოველი ნაბიჯის თვალყურის დევნებაში — ხელსაწყოების გამოძახებიდან შეყვანის დამუშავებამდე და პასუხების გენერირებამდე — რაც საშუალებას გაძლევთ, გაასწოროთ ხარვეზები, მოახდინოთ მუშაობის ოპტიმიზაცია და უზრუნველყოთ მისი მოსალოდნელი ქცევა. ტრესინგის გასააქტიურებლად, ჩვენ გამოვიყენებთ Arize Phoenix-ს ვიზუალიზაციისთვის და OpenTelemetry-სა და OpenInference-ს ინსტრუმენტაციისთვის. დააინსტალირეთ ტელემეტრიის მოდული smolagents-დან: Phoenix-ის გაშვება მრავალი გზით შეგიძლიათ. ეს ბრძანება Phoenix-ის ლოკალურ ინსტანციას გაუშვებს თქვენს მანქანაზე: Phoenix-ის სხვა ჰოსტინგის ვარიანტებისთვის, შეგიძლიათ შექმნათ Phoenix-ის უფასო ონლაინ ინსტანცია, განათავსოთ აპლიკაცია ლოკალურად, ან Hugging Face Spaces-ზე. გაშვების შემდეგ, ჩვენ ვარეგისტრირებთ ტრესინგის პროვაიდერს, რომელიც ჩვენს Phoenix ინსტანციაზე მიუთითებს. ახლა smolagents-ის მიმართ განხორციელებული ნებისმიერი გამოძახება ჩვენს Phoenix ინსტანციაზე გაიგზავნება. ახლა, როდესაც ტრესინგი გააქტიურებულია, მოდით გამოვცადოთ ის მარტივი შეკითხვით: მას შემდეგ, რაც OpenInference დაყენდება SmolAgents-თან ერთად, აგენტის ყოველი გამოძახება ავტომატურად იქნება დატრესილი Phoenix-ში. მას შემდეგ, რაც თქვენი აგენტი ამუშავდება და მისი გაშვება კონტროლდება, შემდეგი ნაბიჯი მისი მუშაობის შეფასებაა. შეფასებები (evals) გვეხმარება იმის დადგენაში, თუ რამდენად კარგად იღებს, ამუშავებს და წარმოადგენს ინფორმაციას თქვენი აგენტი. არსებობს მრავალი ტიპის შეფასება, რომელთა გაშვებაც შეგიძლიათ, როგორიცაა პასუხის რელევანტურობა, ფაქტობრივი სიზუსტე, დაყოვნება (latency) და სხვა. იხილეთ Phoenix-ის დოკუმენტაცია სხვადასხვა შეფასების ტექნიკის სიღრმისეული მიმოხილვისთვის. ამ მაგალითში, ჩვენ ყურადღებას გავამახვილებთ ჩვენი აგენტის მიერ გამოყენებული DuckDuckGo-ს საძიებო ხელსაწყოს შეფასებაზე. ჩვენ გავზომავთ მისი საძიებო შედეგების რელევანტურობას დიდი ენობრივი მოდელის (LLM) გამოყენებით, როგორც შემფასებლის — კერძოდ, OpenAI-ის GPT-4o-ს მეშვეობით. პირველ რიგში, დააინსტალირეთ საჭირო პაკეტები: ჩვენ გამოვიყენებთ GPT-4o-ს იმის შესაფასებლად, არის თუ არა საძიებო ხელსაწყოს პასუხები რელევანტური. ეს მეთოდი, რომელიც ცნობილია როგორც „LLM, როგორც შემფასებელი“ (LLM-as-a-judge), იყენებს ენობრივ მოდელებს პასუხების კლასიფიკაციისა და შეფასებისთვის. იმის შესაფასებლად, თუ რამდენად კარგად იღებს ინფორმაციას DuckDuckGo, ჯერ უნდა მოვახდინოთ შესრულების კვალის ამოღება, სადაც ხელსაწყო იყო გამოძახებული. შემდეგ, ჩვენ ვტვირთავთ RAG შესაბამისობის მოთხოვნის შაბლონს (RAG Relevancy Prompt Template), რომელიც LLM-ს დაეხმარება საძიებო შედეგების რელევანტურობის კლასიფიკაციაში. ახლა, ჩვენ ვატარებთ შეფასებას GPT-4o-ს გამოყენებით, როგორც შემფასებლის: რა ხდება აქ? თქვენი შედეგების სანახავად: ამ დაყენებით, ჩვენ შეგვიძლია სისტემატურად შევაფასოთ DuckDuckGo-ს საძიებო ხელსაწყოს ეფექტურობა ჩვენს აგენტში. „LLM, როგორც შემფასებლის“ გამოყენებით, ჩვენ შეგვიძლია უზრუნველვყოთ, რომ ჩვენი აგენტი მოიპოვებს ზუსტ და რელევანტურ ინფორმაციას, რაც გააუმჯობესებს მუშაობას. ნებისმიერი შეფასების დაყენება ადვილია ამ ტუტორიალის გამოყენებით — უბრალოდ შეცვალეთ RAG_RELEVANCY_PROMPT_TEMPLATE სხვა მოთხოვნის შაბლონით, რომელიც თქვენს საჭიროებებს შეესაბამება. Phoenix გთავაზობთ მრავალფეროვან წინასწარ დაწერილ და ტესტირებულ შეფასების შაბლონებს, რომლებიც მოიცავს ისეთ სფეროებს, როგორიცაა სანდოობა (faithfulness), პასუხის თანმიმდევრულობა, ფაქტობრივი სიზუსტე და სხვა. იხილეთ Phoenix-ის დოკუმენტაცია სრული სიის გამოსაკვლევად და თქვენი აგენტისთვის საუკეთესო ვარიანტის მოსაძებნად! მეტი სტატია ჩვენი ბლოგიდან 📻 🎙️ ჰეი, მე შევქმენი AI პოდკასტი ამ ბლოგ-პოსტის შესახებ, ნახეთ! ეს პოდკასტი გენერირებულია ngxson/kokoro-podcast-generator-ის მეშვეობით, DeepSeek-R1 და Kokoro-TTS-ის გამოყენებით. · დარეგისტრირდით ან შედით კომენტარისთვის.