Surfer-H, ვებ-აგენტი, რომელიც ბრაუზერებთან ადამიანის მსგავსად ურთიერთობს, Holo1-ზეა დაფუძნებული. ტექნიკური ანგარიშის მიხედვით, Holo1 არის ღია წყაროს Action VLM-ების პირველი ოჯახი, რომელიც სპეციალურად ღრმა ვებ UI-ის გასაგებად და ზუსტი ლოკალიზაციისთვის შეიქმნა. ეს ოჯახი მოიცავს Holo1-3B და Holo1-7B მოდელებს, რომელთაგან ეს უკანასკნელი, მცირე ზომის მოდელებს შორის, ყველაზე მაღალ – 76.2%-იან საშუალო სიზუსტეს აღწევს საერთო UI ლოკალიზაციის ბენჩმარკებზე. H კომპანიამ ეს მოდელები ღია წყაროს სახით Hugging Face-ზე გამოაქვეყნა, WebClick ბენჩმარკთან ერთად, რომელიც 1,639 ადამიანის მსგავს UI ამოცანას შეიცავს. Holo1 მოდელები Qwen2.5-VL არქიტექტურაზეა დაფუძნებული და სრულად თავსებადია transformers-თან. აქ მოცემულია გამოყენების მარტივი მაგალითი: მოდელისა და პროცესორის ჩატვირთვა შესაძლებელია შემდეგნაირად, შემდეგ გამოსახულების ჩატვირთვა და წინასწარი დამუშავება, რის შემდეგაც შეგვიძლია დასკვნის გაკეთება. ვებ-ავტომატიზაცია წარმოადგენს ხელოვნური ინტელექტის ერთ-ერთ ყველაზე პრაქტიკულ გამოყენებას ბიზნესისთვის, მაგრამ დღემდე, გადაწყვეტილებები ხშირად სწირავდნენ ხარჯთეფექტურობას შესრულებისთვის. Hugging Face-ზე Holo1 Action მოდელების ხელმისაწვდომობით, მომხმარებლებს ახლა შეუძლიათ განახორციელონ ვებ-ავტომატიზაციის გადაწყვეტილებები, რომლებიც რეალურ ვებ-ამოცანებზე 92.2% სიზუსტეს აღწევენ, თითო ამოცანაზე მხოლოდ $0.13 დანახარჯით. Surfer-H დაფუძნებულია Holo1-ის ღია წონის მოდელების ოჯახზე. ეს არის მოდულური არქიტექტურა ვებ-ამოცანების სრული ავტომატიზაციისთვის, რომელიც ასრულებს კითხვას, აზროვნებას, დაწკაპუნებას, სქროლვას, აკრეფას და ვალიდაციას. ის შექმნილია მოქნილი და მოდულური იყოს, რომელიც სამი დამოუკიდებელი კომპონენტისგან შედგება: Policy მოდელი, რომელიც გეგმავს და მართავს აგენტის ქცევას; Localizer მოდელი, რომელიც ვიზუალურ UI-ს ზუსტი ინტერაქციებისთვის აღიქვამს; და Validator მოდელი, რომელიც ადასტურებს ამოცანების წარმატებით შესრულებას. სხვა აგენტებისგან განსხვავებით, რომლებიც დამოკიდებულნი არიან სპეციალურ API-ებზე ან მყიფე გარსებზე, Surfer-H მუშაობს მხოლოდ ბრაუზერის მეშვეობით — ისევე როგორც ნამდვილი მომხმარებელი. ეს გადაწყვეტილებები ერთად წარმოადგენენ ახალ ეტაპს ვებ-ავტომატიზაციაში, აღწევენ უახლესი ლოკალიზაციის შესრულებას და ადგენენ პარეტო საზღვარს ხარჯთეფექტურ ვებ-ნავიგაციაში WebVoyager ბენჩმარკზე. მოუთმენლად ველით, რას შექმნით Holo1-ის გამოყენებით! მოდით, შევხვდეთ ამ ბლოგ-პოსტის განხილვის ჩანართსა და მოდელის რეპოზიტორიუმში. შედეგი საკმაოდ შთამბეჭდავია! აქ მოცემულია რამდენიმე მაგალითი შეკითხვებით (შედეგები წარმოდგენილია პატარა წითელი წრეების სახით): * სად დავაწკაპუნო ფაილის ასატვირთად? * სად იქნება მოთხოვნის შედეგი გამოსახულების სახით წარმოდგენილი? აღსანიშნავია, რომ წერტილები განლაგებულია UI კომპონენტების ლოგიკურ ცენტრებში (და არა სათაურებში ან ვიზუალურ ცენტრებში). მნიშვნელოვანია აღინიშნოს ლიცენზიის შესახებ ინფორმაცია: ის არის Apache 2.0 (ძალიან ლიბერალური).