ხელოვნური ინტელექტის აგენტების წარუმატებლობის დიაგნოსტიკა IT ავტომატიზაციაში: MAST და ITBench-ის კვლევა
IBM Research-ისა და UC Berkeley-ის თანამშრომლობით ჩატარებულმა კვლევამ აჩვენა, თუ როგორ იშლება აგენტური LLM სისტემები რეალურ IT ავტომატიზაციის ამოცანებში. ტრადიციული ბენჩმარკები მხოლოდ წარუმატებლობის ფაქტს აფიქსირებენ, მაგრამ არა მიზეზს. ამ პრობლემის გადასაჭრელად, მკვლევრებმა გამოიყენეს MAST (მრავალაგენტური სისტემების წარუმატებლობის ტაქსონომია) ITBench-თან ერთად, რათა დაედგინათ წარუმატებლობის სტრუქტურირებული ნიშნები. კვლევამ გამოავლინა, რომ ზოგიერთი მოდელი, როგორიცაა Gemini-3-Flash, ავლენს იზოლირ
IT ავტომატიზაციაში AI აგენტების წარუმატებლობის ანალიზი: IBM-ისა და UC Berkeley-ის ახალი კვლევა
IBM Research-მა და კალიფორნიის უნივერსიტეტის ბერკლის ფილიალმა ითანამშრომლეს, რათა შეესწავლათ, თუ როგორ იშლება აგენტური დიდი ენობრივი მოდელების (LLM) სისტემები რეალური სამყაროს IT ავტომატიზაციის ამოცანებში. მათ შეიმუშავეს MAST (მრავალაგენტური სისტემების წარუმატებლობის ტაქსონომია), ინსტრუმენტი, რომელიც საშუალებას იძლევა დადგინდეს, თუ 'რატომ' ვერ ასრულებს აგენტი დავალებას და არა მხოლოდ 'შეძლო თუ არა'. ITBench-ზე MAST-ის გამოყენებით, მათ გაანალიზეს 310 SRE ტრანზაქცია სამი სხვადასხვა მოდელისგან (Gemi
Transformers Agents-ის ტრიუმფი GAIA ბენჩმარკზე: აგენტური სისტემების ახალი ერა
ექსპერიმენტების სერიის შემდეგ, ჩვენზე დიდი შთაბეჭდილება მოახდინა Transformers Agents-ის შესაძლებლობებმა აგენტური სისტემების შექმნაში. GAIA ბენჩმარკზე, რომელიც ყველაზე რთულ და ყოვლისმომცველ აგენტურ ბენჩმარკად ითვლება, ბიბლიოთეკის გამოყენებით შექმნილმა Code Agent-მა მოწინავე პოზიციები დაიკავა. აღნიშნული ფრეიმვორკი, transformers.agents, ახლა განახლებულია და ფუნქციონირებს, როგორც დამოუკიდებელი ბიბლიოთეკა smolagents. სტატია განმარტავს აგენტების კონცეფციას, როგორც LLM-ზე დაფუძნებულ სისტემებს, რომლებსა
smolagents-მა GAIA ბენჩმარკზე საუკეთესო შედეგი აჩვენა
ექსპერიმენტების შემდეგ, Transformers აგენტების (ახლა უკვე smolagents ბიბლიოთეკა) მიერ აგებული აგენტური სისტემების შესაძლებლობებით მოხიბლულებმა, გადავწყვიტეთ შეგვემოწმებინა მათი ეფექტურობა. ჩვენ გამოვცადეთ ბიბლიოთეკის გამოყენებით შექმნილი კოდის აგენტი GAIA ბენჩმარკზე, რომელიც ითვლება აგენტების ყველაზე რთულ და ყოვლისმომცველ ტესტად, და საბოლოოდ, საუკეთესო შედეგი ვაჩვენეთ. სტატია განმარტავს, თუ რა არის აგენტები, როგორ აძლევენ ისინი LLM-ებს სუპერ შესაძლებლობებს და რა ინსტრუმენტები გამოიყენეს GAIA-ს რ
NVIDIA წარმოგიდგენთ Nemotron 3-ის AI მოდელების ხაზს მრავალაგენტური სისტემებისთვის
NVIDIA-მ გამოუშვა Nemotron 3 AI მოდელების ხაზი (Nano, Super, Ultra), რომელიც შექმნილია მრავალაგენტური სისტემებისთვის მოწინავე მსჯელობის, საუბრისა და თანამშრომლობის შესაძლებლობებით. მოდელები იყენებენ ჰიბრიდულ Mamba-ტრანსფორმერის MoE არქიტექტურას, რაც უზრუნველყოფს მაღალ წარმადობას და კონტექსტის სიგრძეს 1 მილიონ ტოკენამდე. Nemotron 3 Nano, რომელიც დღესვე ხელმისაწვდომია, ოპტიმიზირებულია ხარჯთეფექტურობისთვის, ხოლო Super და Ultra, რომლებიც 2026 წლის პირველ ნახევარში გამოვა, აფართოებენ ამ შესაძლებლობებ