ებრაული მორფოლოგიურად მდიდარი ენაა, ფუძეებისა და შაბლონების რთული სისტემით. სიტყვები აგებულია ფუძეებიდან პრეფიქსების, სუფიქსების და ინფიქსების გამოყენებით, რომლებიც ცვლიან მნიშვნელობას, დროს ან ქმნიან მრავლობით რიცხვს (სხვა ფუნქციებთან ერთად). ამ სირთულემ შეიძლება გამოიწვიოს მრავალი ვალიდური სიტყვის ფორმის არსებობა, რომლებიც ერთი ფუძიდან მომდინარეობს, რაც მორფოლოგიურად უფრო მარტივი ენებისთვის შექმნილ ტრადიციულ ტოკენიზაციის სტრატეგიებს არაეფექტურს ხდის. შედეგად, არსებულ ენობრივ მოდელებს შესაძლოა უჭირდეთ ებრაული ენის ნიუანსების ზუსტად დამუშავება და გაგება, რაც ხაზს უსვამს ისეთი საორიენტაციო ეტალონების საჭიროებას, რომლებიც ამ უნიკალურ ლინგვისტურ თვისებებს გაითვალისწინებს. ამიტომ, ებრაულ ენაზე LLM-ის კვლევას სჭირდება სპეციალიზებული ეტალონები, რომლებიც კონკრეტულად ენის ნიუანსებსა და ლინგვისტურ თვისებებზეა მორგებული. ჩვენი ლიდერთა დაფა მიზნად ისახავს ამ ხარვეზის შევსებას ენისთვის სპეციფიკურ ამოცანებზე მყარი შეფასების მეტრიკების შეთავაზებით და ებრაულ ენაზე გენერაციული ენობრივი მოდელების ღია, საზოგადოებაზე ორიენტირებული გაუმჯობესების ხელშეწყობით. ჩვენ გვჯერა, რომ ეს ინიციატივა იქნება პლატფორმა მკვლევრებისა და დეველოპერებისთვის, რათა გააზიარონ, შეადარონ და გააუმჯობესონ ებრაული ენის LLM-ები. ჩვენ შევიმუშავეთ ოთხი ძირითადი მონაცემთა ნაკრები, რომელთაგან თითოეული შექმნილია ენობრივი მოდელების ებრაული ენის გაგებასა და გენერაციაზე შესამოწმებლად, მიუხედავად მათი შესრულებისა სხვა ენებში. ეს ეტალონები მოდელების შესაფასებლად იყენებს "few-shot" მოთხოვნის ფორმატს, რაც უზრუნველყოფს მათ ადაპტაციას და სწორ რეაგირებას შეზღუდული კონტექსტის პირობებშიც კი. ქვემოთ მოცემულია ლიდერთა დაფაში შემავალი თითოეული ეტალონის მოკლე მიმოხილვა. თითოეული მონაცემთა ნაკრების, შეფასების სისტემის, მოთხოვნის აგების უფრო ამომწურავი ანალიზისთვის, გთხოვთ, ეწვიოთ ჩვენი ლიდერთა დაფის "About" ჩანართს. **ებრაული კითხვა-პასუხი:** ეს ამოცანა აფასებს მოდელის უნარს გაიგოს და დაამუშაოს ებრაულად წარმოდგენილი ინფორმაცია, აქცენტი კეთდება კონტექსტის საფუძველზე პასუხების გაგებასა და ზუსტ მოძიებაზე. ის ამოწმებს მოდელის მიერ ებრაული სინტაქსისა და სემანტიკის გაგებას პირდაპირი კითხვა-პასუხის ფორმატების მეშვეობით. **განწყობის სიზუსტე:** ეს ეტალონი ამოწმებს მოდელის უნარს, აღმოაჩინოს და ინტერპრეტირდეს განწყობა ებრაულ ტექსტში. ის აფასებს მოდელის შესაძლებლობას, ზუსტად მოახდინოს განცხადებების კლასიფიკაცია, როგორც დადებითი, უარყოფითი ან ნეიტრალური, ლინგვისტური ნიშნების საფუძველზე. **ვინოგრადის სქემის გამოწვევა:** ეს ამოცანა შექმნილია იმისთვის, რომ შეფასდეს მოდელის მიერ ნაცვალსახელების ამოხსნისა და კონტექსტუალური გაურკვევლობის გაგება ებრაულ ენაზე. ის ამოწმებს მოდელის უნარს, გამოიყენოს ლოგიკური მსჯელობა და ზოგადი სამყაროს ცოდნა, რათა სწორად გაარჩიოს ნაცვალსახელები რთულ წინადადებებში. **თარგმანი:** ეს ამოცანა აფასებს მოდელის უნარს თარგმნოს ინგლისურიდან ებრაულად და პირიქით. ის აფასებს ლინგვისტურ სიზუსტეს, გამართულობას და მნიშვნელობის შენარჩუნების უნარს ენებს შორის, რაც ხაზს უსვამს მოდელის შესაძლებლობებს ორენოვანი თარგმანის ამოცანებში. ლიდერთა დაფა შთაგონებულია Open LLM Leaderboard-ით და იყენებს Demo Leaderboard-ის შაბლონს. წარდგენილი მოდელები ავტომატურად განლაგდება HuggingFace-ის Inference Endpoints-ის გამოყენებით და ფასდება API მოთხოვნებით, რომლებსაც lighteval ბიბლიოთეკა მართავს. განხორციელება მარტივი იყო, მთავარი ამოცანა გარემოს დაყენება გახლდათ; დანარჩენი კოდი შეუფერხებლად მუშაობდა. ჩვენ ვიწვევთ მკვლევრებს, დეველოპერებს და ენთუზიასტებს ამ ინიციატივაში მონაწილეობის მისაღებად. დაინტერესებული ხართ თუ არა თქვენი მოდელის შეფასებისთვის წარდგენით, თუ გსურთ ებრაული ენის ტექნოლოგიების გაუმჯობესებაზე დისკუსიაში ჩართვა, თქვენი წვლილი გადამწყვეტია. მოდელების შეფასებისთვის წარდგენის წესებისთვის ეწვიეთ ლიდერთა დაფის წარდგენის გვერდს, ან ჩაერთეთ დისკუსიის გვერდზე ლიდერთა დაფის HF სივრცეში. ეს ახალი ლიდერთა დაფა არ არის მხოლოდ საორიენტაციო შეფასების ინსტრუმენტი; ჩვენ ვიმედოვნებთ, რომ ის წაახალისებს ისრაელის ტექნოლოგიურ საზოგადოებას, აღიაროს და გამოასწოროს ხარვეზები ებრაული ენის ტექნოლოგიების კვლევაში. დეტალური, სპეციფიკური შეფასებების მიწოდებით, ჩვენ მიზნად ვისახავთ მოდელების განვითარების კატალიზებას, რომლებიც არა მხოლოდ ლინგვისტურად მრავალფეროვანი, არამედ კულტურულად ზუსტი იქნება, რაც გზას გაუკვალავს ინოვაციებს, რომლებიც პატივს მიაგებენ ებრაული ენის სიმდიდრეს. შემოგვიერთდით ამ ამაღელვებელ მოგზაურობაში, რათა შევცვალოთ ენობრივი მოდელირების ლანდშაფტი! ლიდერთა დაფა ამაყად სპონსორობით ხორციელდება DDR&D IMOD / ებრაულ და არაბულ ენებზე NLP-ის ისრაელის ეროვნული პროგრამის მიერ, DICTA-სთან: ტექსტის ანალიზის ისრაელის ცენტრთან და Webiks-თან თანამშრომლობით, რაც ებრაულ ენაზე ენობრივი ტექნოლოგიების განვითარების ვალდებულების დასტურია. გვსურს მადლობა გადავუხადოთ პროფესორ რეუტ ცარფატის ბარ-ილანის უნივერსიტეტიდან, გაწეული სამეცნიერო კონსულტაციისა და ხელმძღვანელობისთვის.