smolagents: ვიზუალური მხარდაჭერა და აგენტური ბრაუზერი
ჩვენ smolagents-ს დავუმატეთ ვიზუალური მხარდაჭერა, რაც ხსნის ვიზუალური ენობრივი მოდელების (VLM) გამოყენების შესაძლებლობას აგენტურ პაიპლაინებში მშობლიური ინტეგრაციით. ეს სიახლე მნიშვნელოვნად აუმჯობესებს ისეთ შესაძლებლობებს, როგორიცაა ვებ-დათვალიერება, სადაც ვიზუალური კონტენტი სრულად ვერ აღდგება მხოლოდ ტექსტის ამოღებით. ეს განახლება აგენტებს ნამდვილ სუპერძალას ანიჭებს, რის შედეგადაც მათ შეუძლიათ, მაგალითად, სრულ ავტონომიაში იმოძრაონ ვებ-სივრცეში.
Google-მა წარმოადგინა PaliGemma: ვიზუალური ენობრივი მოდელების ახალი თაობა
Google-მა წარმოადგინა PaliGemma, ვიზუალური ენობრივი მოდელების ახალი ოჯახი, რომელსაც შეუძლია გამოსახულებისა და ტექსტის კომბინირებული დამუშავება ტექსტის გენერირებისთვის. ეს ინოვაციური მოდელი SigLIP-ის გამოსახულების ენკოდერსა და Gemma-2B-ის ტექსტის დეკოდერს აერთიანებს, რაც მას მძლავრ ინსტრუმენტად აქცევს. PaliGemma ხელმისაწვდომია სხვადასხვა ტიპის, რეზოლუციისა და სიზუსტის ვარიანტებში და უზრუნველყოფს ფართო შესაძლებლობებს, მათ შორის გამოსახულების აღწერას, კითხვებზე პასუხის გაცემას, ობიექტის ამოცნობასა
TRL ბიბლიოთეკა DPO-ს მხარდაჭერას იწყებს ვიზუალური ენობრივი მოდელებისთვის (VLM-ები)
უპირატესობების ოპტიმიზაცია, რომელიც ფართოდ გამოიყენება ენობრივი მოდელების დასახვეწად, ახლა ვრცელდება ვიზუალურ ენობრივ მოდელებზე (VLM-ები) TRL ბიბლიოთეკის მეშვეობით. TRL-მა დაამატა პირდაპირი უპირატესობის ოპტიმიზაციის (DPO) მხარდაჭერა VLM-ებისთვის, რაც საშუალებას იძლევა მოდელების გაწვრთნას მომხმარებლის პრეფერენციების ამსახველი მონაცემებით. სტატია დეტალურად აღწერს VLM-ების DPO-ით გაწვრთნის პროცესს, მონაცემთა ნაკრების მომზადებიდან (მაგ., `openbmb/RLAIF-V-Dataset`) და მეხსიერების ოპტიმიზაციის ტექნიკე