გასულ დეკემბერში Google-მა გამოუშვა PaliGemma 2: წინასწარ გაწვრთნილი (pt) PaliGemma ვიზუალურ-ენობრივი მოდელების (VLM) ახალი ოჯახი, რომელიც SigLIP-სა და Gemma 2-ზეა დაფუძნებული. მოდელები ხელმისაწვდომია სამი განსხვავებული ზომით (3B, 10B, 28B) და სამი განსხვავებული რეზოლუციით (224x224, 448x448, 896x896). დღეს Google აქვეყნებს PaliGemma 2 mix-ს: მოდელს, რომელიც დახვეწილია ვიზუალურ-ენობრივი ამოცანების ნაზავზე, მათ შორის OCR-ზე (ოპტიკური სიმბოლოების ამოცნობა), გრძელ და მოკლე წარწერების გენერირებაზე და სხვა. PaliGemma 2-ის წინასწარ გაწვრთნილი (pt) ვარიანტები შესანიშნავი ვიზუალურ-ენობრივი მოდელებია მოცემულ ამოცანაზე ადაპტირებისთვის. ყველა pt საგუშაგო წერტილი (checkpoint) განკუთვნილია შემდგომი ამოცანისთვის დასახვეწად და სწორედ ამ მიზნით იქნა გამოშვებული. „მიქს“ (mix) მოდელები სწრაფ წარმოდგენას იძლევა იმ შესრულებაზე, რასაც მივიღებთ წინასწარ გაწვრთნილი საგუშაგო წერტილების შემდგომ ამოცანაზე დახვეწისას. PaliGemma-ს მოდელების ოჯახის მთავარი მიზანია უზრუნველყოს წინასწარ გაწვრთნილი მოდელები, რომლებსაც შეუძლიათ უკეთ ისწავლონ შემდგომ ამოცანებზე, ნაცვლად უნივერსალური ჩატ-მოდელის შეთავაზებისა. „მიქს“ მოდელები კარგ წარმოდგენას გვაძლევს იმის შესახებ, თუ როგორ მუშაობენ pt მოდელები აკადემიური მონაცემთა ნაკრებების ნაზავზე დახვეწისას. PaliGemma 2-ის შესახებ მეტის წაკითხვა შეგიძლიათ ამ ბლოგ-პოსტში. ყველა „მიქს“ მოდელი და დემო ვერსია შეგიძლიათ იპოვოთ ამ კოლექციაში. PaliGemma 2 mix მოდელებს შეუძლიათ შეასრულონ მრავალფეროვანი ამოცანები. ჩვენ შეგვიძლია მათი კატეგორიზაცია ქვეამოცანების მიხედვით შემდეგნაირად. გაითვალისწინეთ, რომ ქვეამოცანების ეს სია ამომწურავი არ არის და ამოცანების სრულ ჩამონათვალის შესახებ მეტი ინფორმაციის მიღება შეგიძლიათ PaliGemma 2-ის დოკუმენტში (paper). PaliGemma 2 mix მოდელებისთვის მოთხოვნების (prompts) მიცემისას შეგვიძლია გამოვიყენოთ ღია შეკითხვები (open-ended prompts). PaliGemma-ს წინასწარ გაწვრთნილი მოდელების წინა იტერაციაში საჭირო იყო ამოცანის პრეფიქსის დამატება მოთხოვნაზე, იმის მიხედვით, თუ რა ამოცანის შესრულება გვსურდა მოცემულ ენაზე. ეს მეთოდი კვლავ მუშაობს, თუმცა ღია შეკითხვები უკეთეს შედეგს იძლევა. ამოცანის პრეფიქსის მქონე მოთხოვნები ასე გამოიყურება: მხოლოდ ორი ამოცანა, რომელიც მხოლოდ ამოცანის პრეფიქსებით მუშაობს, არის ობიექტის ამოცნობა (object detection) და გამოსახულების სეგმენტაცია (image segmentation). მოთხოვნები ასე გამოიყურება. თუ გსურთ დაუყოვნებლივ დაიწყოთ, შეგიძლიათ გადახვიდეთ ბლოგის ამ სექციაში, ან სცადოთ დემო ვერსია. ამ სექციაში განვიხილავთ ზემოთ აღნიშნულ შესაძლებლობებს, თუ როგორ მუშაობს PaliGemma 2 mix მათზე და შევადარებთ სხვადასხვა ვარიანტებს განსხვავებული ზომებითა და რეზოლუციებით რამდენიმე ამოცანაზე. აქ, ჩვენ ვამოწმებთ მოდელს რამდენიმე რეალურ მაგალითზე. ჩვენ შევაფასეთ PaliGemma 2 mix ვარიანტები მათი ლოკალიზაციასთან დაკავშირებული შესაძლებლობების მიხედვით. მოთხოვნის „detect {ობიექტის აღწერა};{კიდევ ერთი ობიექტის აღწერა}“ გამოყენებით, სადაც მითითებულია სხვადასხვა საინტერესო ობიექტი, PaliGemma-ს შეუძლია ამოიცნოს სხვადასხვა საინტერესო ობიექტი. აქ მოთხოვნა არ შემოიფარგლება მოკლე კლასებით, როგორიცაა „ჩიტი“, არამედ შეიძლება იყოს „ჩიტი ჯოხზე“. ქვემოთ მოცემულია ამოცნობისა და სეგმენტაციის შედეგები სხვადასხვა ვარიანტისთვის 448x448 ფიქსირებული რეზოლუციით. ვიზუალიზაციის მიზნით, ჩვენ ვადიდებთ საინტერესო ობიექტს. PaliGemma 2 mix მოდელების გამოყენება შეგიძლიათ „ტრანსფორმერების“ (transformers) მეშვეობით. ჩვენ გვაქვს სიღრმისეული სახელმძღვანელო PaliGemma 2-ის დახვეწის შესახებ. იგივე ნოუთბუქის გამოყენება შესაძლებელია „მიქს“ საგუშაგო წერტილების დასახვეწად. ჩვენ ვუშვებთ 10B მოდელის დემო ვერსიას 448x448 რეზოლუციით. შეგიძლიათ გამოსცადოთ ის ქვემოთ, ან გადახვიდეთ აპლიკაციაზე ამ ბმულზე. PaliGemma-ს მოდელების შესახებ მეტი ინფორმაციის წაკითხვა და შესწავლა შეგიძლიათ ქვემოთ. მადლობას ვუხდით საიაკ პოლს და ვაიბავ სრივასტავს ამ ბლოგ-პოსტის განხილვისთვის. მადლობას ვუხდით Google-ის გუნდს ამ საოცარი და ღია მოდელების ოჯახის გამოშვებისთვის. დიდი მადლობა პაბლო მონტალვოს მოდელის „ტრანსფორმერებში“ ინტეგრირებისთვის, და ლისანდრს, რაუშანს, არტურს, იიჰ-დარს და დანარჩენ გუნდს სწრაფი განხილვის, ტესტირებისა და ინტეგრაციისთვის.