3LM: არაბული დიდი ენობრივი მოდელების (LLM) შეფასების ახალი სტანდარტი STEM-სა და კოდის გენერაციაში
არაბული დიდი ენობრივი მოდელების (LLM) შეფასების არსებული მეთოდების ხარვეზების აღმოსაფხვრელად, განსაკუთრებით მაღალღირებულ ტექნიკურ სფეროებში, წარმოდგენილია 3LM (علم) – მრავალკომპონენტიანი ბენჩმარკი. ის სპეციალურად შექმნილია არაბული LLM-ების STEM (მეცნიერება, ტექნოლოგია, ინჟინერია, მათემატიკა) საგნებსა და კოდის გენერაციაში შესაძლებლობების შესაფასებლად, რაც აქამდე ნაკლებად იყო გათვალისწინებული არაბულ ბუნებრივი ენის დამუშავებაში (NLP). 3LM მოიცავს სამ მონაცემთა ნაკრებს: რეალურ STEM მრავალპასუხიან კი
StarCoder2-15B-Instruct: ახალი ეტალონი კოდის ხელოვნური ინტელექტისთვის თვით-განვითარების გზით
ახალი ენა-მოდელი, StarCoder2-15B-Instruct, აჩვენებს გასაოცარ შედეგებს კოდის გენერაციაში, უსწრებს ისეთ მძლავრ მოდელებს, როგორიცაა CodeLlama-70B-Instruct და აღწევს 72.6 HumanEval ქულას. მისი წარმატების საიდუმლო თვით-მორგების (self-alignment) ინოვაციურ მეთოდოლოგიაში მდგომარეობს, რაც საშუალებას აძლევს მოდელს ეფექტურად ისწავლოს საკუთარი გენერირებული მონაცემებიდან, ძლიერი „მასწავლებელი“ მოდელების გამოყენების გარეშე. ეს მიდგომა გულისხმობს ინსტრუქციების თვით-გენერირებას და საკუთარი კოდის ტესტირებას, რაც