ეს ინიციატივა განსაკუთრებით მნიშვნელოვანია, რადგან ის უშუალოდ ემსახურება მსოფლიოში 380 მილიონზე მეტ არაბულენოვან ადამიანს. არაბული LLM-ების ზუსტი შეფასებისა და გაუმჯობესების შესაძლებლობის გაძლიერებით, ვიმედოვნებთ, რომ OALL გადამწყვეტ როლს შეასრულებს მოდელებისა და აპლიკაციების შემუშავებაში, რომლებიც ზუსტად იქნება მორგებული არაბული ენის, კულტურისა და მემკვიდრეობის ნიუანსებზე. ღია არაბული LLM ლიდერბორდი (OALL) იყენებს მყარი მონაცემთა ნაკრებების ფართო და მრავალფეროვან კოლექციას მოდელების ყოვლისმომცველი შეფასების უზრუნველსაყოფად. ამოცანების ბუნებიდან გამომდინარე, რომელიც მოიცავს მრავალჯერადი არჩევანის და დიახ/არა კითხვებს, ლიდერბორდი ძირითადად იყენებს ნორმალიზებულ ლოგ-ალბათობის სიზუსტეს ყველა ამოცანისთვის. ეს მეტრიკა არჩეულ იქნა მისი უნარის გამო, უზრუნველყოს მოდელის მუშაობის მკაფიო და სამართლიანი გაზომვა სხვადასხვა ტიპის კითხვებზე. ღია არაბული LLM ლიდერბორდის (OALL) ტექნიკური მოწყობა მოიცავს: ჩვენ ბევრი იდეა გვაქვს ღია არაბული LLM ლიდერბორდის ფარგლების გაფართოებასთან დაკავშირებით. იგეგმება დამატებითი ლიდერბორდების შემოღება სხვადასხვა კატეგორიაში, როგორიცაა ერთი არაბული LLM-ების შესაფასებლად Retrieval Augmented Generation (RAG) სცენარებში და მეორე, როგორც ჩატბოტების არენა, რომელიც გამოთვლის სხვადასხვა არაბული ჩატბოტის ELO ქულებს მომხმარებლის პრეფერენციების საფუძველზე. გარდა ამისა, ჩვენ მიზნად ვისახავთ ჩვენი ბენჩმარკების გაფართოებას უფრო ყოვლისმომცველი ამოცანების დასაფარად OpenDolphin ბენჩმარკის შემუშავებით, რომელიც მოიცავს დაახლოებით 50 მონაცემთა ნაკრებს და იქნება Nagoudi et al.-ის ნაშრომის ღია რეპლიკაცია, სახელწოდებით „Dolphin: A Challenging and Diverse Benchmark for Arabic NLG“. მათთვის, ვინც დაინტერესებულია საკუთარი ბენჩმარკების დამატებით ან OpenDolphin პროექტზე თანამშრომლობით, გთხოვთ, დაგვიკავშირდეთ დისკუსიის ჩანართის ან ამ ელექტრონული ფოსტის მისამართის მეშვეობით. მოხარული ვიქნებით მივიღოთ თქვენი წვლილი ამ საკითხებზე! ჩვენ მოვუწოდებთ საზოგადოებას, წვლილი შეიტანოს მოდელების წარდგენით, ახალი ბენჩმარკების შეთავაზებით ან დისკუსიებში მონაწილეობით. ასევე მოვუწოდებთ საზოგადოებას, გამოიყენოს მიმდინარე ლიდერბორდის საუკეთესო მოდელები ახალი მოდელების შესაქმნელად finetuning-ის ან ნებისმიერი სხვა ტექნიკის საშუალებით, რომელიც დაეხმარება თქვენს მოდელს პირველ ადგილზე ასვლაში! თქვენ შეგიძლიათ იყოთ შემდეგი არაბული ღია მოდელების გმირი! ვიმედოვნებთ, რომ OALL ხელს შეუწყობს ტექნოლოგიურ მიღწევებს და ხაზს გაუსვამს არაბული ენის თანდაყოლილ უნიკალურ ლინგვისტურ და კულტურულ მახასიათებლებს, და რომ ჩვენი ტექნიკური მოწყობა და მასშტაბური, ენის სპეციფიკური ლიდერბორდის განლაგების გამოცდილება სასარგებლო იქნება მსგავსი ინიციატივებისთვის სხვა ნაკლებად წარმოდგენილ ენებში. ეს აქცენტი ხელს შეუწყობს რესურსებსა და კვლევებში არსებული ხარვეზის აღმოფხვრას, რომელიც ტრადიციულად ინგლისურზე ორიენტირებული მოდელებით იყო დომინირებული, რითაც გამდიდრდება გლობალური NLP ლანდშაფტი უფრო მრავალფეროვანი და ინკლუზიური ინსტრუმენტებით, რაც გადამწყვეტია, რადგან AI ტექნოლოგიები სულ უფრო მეტად ინტეგრირდება ყოველდღიურ ცხოვრებაში მთელ მსოფლიოში. შეფასების შეუფერხებელი პროცესის უზრუნველსაყოფად, მონაწილეებმა უნდა დაიცვან კონკრეტული მითითებები მოდელების Open Arabic LLM ლიდერბორდზე წარდგენისას: * **მოდელის სიზუსტის შესაბამისობის უზრუნველყოფა:** გადამწყვეტი მნიშვნელობა აქვს, რომ წარდგენილი მოდელების სიზუსტე შეესაბამებოდეს ორიგინალური მოდელების სიზუსტეს. სიზუსტის შეუსაბამობამ შეიძლება გამოიწვიოს მოდელის შეფასება, მაგრამ არასწორად გამოჩენა ლიდერბორდზე. * **წარდგენამდე შემოწმება:** მოდელისა და ტოკენიზატორის ჩატვირთვა: დაადასტურეთ, რომ თქვენი მოდელი და ტოკენიზატორი წარმატებით იტვირთება AutoClasses-ის გამოყენებით. გამოიყენეთ შემდეგი ბრძანებები: თუ შეცდომებს წააწყდებით, გამოასწორეთ ისინი შეცდომის შეტყობინებების მიყოლებით, რათა დარწმუნდეთ, რომ თქვენი მოდელი სწორად არის ატვირთული. * **მოდელის ხილვადობა:** დარწმუნდით, რომ თქვენი მოდელი დაყენებულია საჯარო ხილვადობაზე. გარდა ამისა, გაითვალისწინეთ, რომ თუ თქვენი მოდელი მოითხოვს use_remote_code=True-ს გამოყენებას, ეს ფუნქცია ამჟამად არ არის მხარდაჭერილი, მაგრამ მუშავდება. * **მოდელის წონების Safetensors-ად კონვერტაცია** * **ლიცენზია და მოდელის ბარათი:** თუ თქვენი მოდელი გამოჩნდება 'FAILED' კატეგორიაში, ეს მიუთითებს, რომ შესრულება შეჩერდა. გადახედეთ ზემოთ მოცემულ ნაბიჯებს პრობლემების მოსაგვარებლად. გარდა ამისა, შეამოწმეთ შემდეგი სკრიპტი თქვენს მოდელზე ადგილობრივად მისი ფუნქციონირების დასადასტურებლად ხელახლა წარდგენამდე. მადლობას ვუხდით ყველა კონტრიბუტორს, პარტნიორს და სპონსორს, განსაკუთრებით ტექნოლოგიური ინოვაციების ინსტიტუტს (TII) და Hugging Face-ს ამ პროექტში გაწეული მნიშვნელოვანი მხარდაჭერისთვის. TII-მ გულუხვად უზრუნველყო აუცილებელი გამოთვლითი რესურსები, საზოგადოებაზე ორიენტირებული პროექტების მხარდაჭერისა და არაბული NLP სფეროში ღია მეცნიერების წინსვლისადმი მათი ვალდებულების შესაბამისად, ხოლო Hugging Face-მა ხელი შეუწყო მათი ახალი შეფასების ფრეიმვორკისა და ლიდერბორდის შაბლონის ინტეგრაციასა და მორგებას. ჩვენ ასევე გვსურს მადლობა გადავუხადოთ Upstage-ს Open Ko-LLM ლიდერბორდზე მუშაობისთვის, რომელიც ღირებული მინიშნება და შთაგონების წყარო გახდა ჩვენი ძალისხმევისთვის. მათმა პიონერულმა წვლილმა გადამწყვეტი როლი ითამაშა ყოვლისმომცველი და ინკლუზიური არაბული LLM ლიდერბორდის შემუშავებაში ჩვენი მიდგომის წარმართვაში.