StarCoder2 არის ღია დიდი ენობრივი მოდელების (LLM) ოჯახი, რომელიც განკუთვნილია კოდთან მუშაობისთვის და წარმოდგენილია სამი ზომის ვარიანტში: 3 მილიარდი, 7 მილიარდი და 15 მილიარდი პარამეტრით. ფლაგმანი StarCoder2-15B მოდელი გაწვრთნილია 4 ტრილიონზე მეტ ტოკენზე და 600-ზე მეტ პროგრამირების ენაზე, რომელიც მოპოვებულია The Stack v2 მონაცემთა ბაზიდან. ყველა მოდელი იყენებს Grouped Query Attention ტექნოლოგიას, აქვს 16,384 ტოკენის კონტექსტური ფანჯარა 4,096 ტოკენის მოძრავი ფანჯრის ყურადღებით და გაწვრთნილია „შუა ნაწილის შევსების“ (Fill-in-the-Middle) მეთოდის გამოყენებით. StarCoder2 გთავაზობთ მოდელების სამ ზომას: 3 მილიარდი პარამეტრის მოდელი, გაწვრთნილი ServiceNow-ის მიერ; 7 მილიარდი პარამეტრის მოდელი, გაწვრთნილი Hugging Face-ის მიერ; და 15 მილიარდი პარამეტრის მოდელი, გაწვრთნილი NVIDIA-ს მიერ, NVIDIA NeMo-სა და NVIDIA-ს აჩქარებულ ინფრასტრუქტურაზე. StarCoder2-15B თავის ზომის კლასში საუკეთესოა და მრავალი შეფასებით კონკურენციას უწევს 33 მილიარდზე მეტი პარამეტრის მქონე მოდელებს. StarCoder2-3B კი StarCoder1-15B-ის წარმადობას უტოლდება. The Stack v2 არის ყველაზე დიდი ღია კოდის მონაცემთა ნაკრები, რომელიც შესაფერისია LLM-ების წინასწარი წვრთნისთვის. The Stack v2 უფრო დიდია ვიდრე The Stack v1, იყენებს ენისა და ლიცენზიის უკეთეს გამოვლენის პროცედურებს და გაუმჯობესებულ ფილტრაციის ევრისტიკას. გარდა ამისა, სავარჯიშო მონაცემთა ნაკრები დაჯგუფებულია საცავების მიხედვით, რაც საშუალებას იძლევა მოდელები გაწვრთნას საცავის კონტექსტის გათვალისწინებით. ეს მონაცემთა ნაკრები მიღებულია Software Heritage არქივიდან, რომელიც წარმოადგენს პროგრამული უზრუნველყოფის წყაროს კოდისა და თანმხლები განვითარების ისტორიის უმსხვილეს საჯარო არქივს. Software Heritage, რომელიც Inria-მ UNESCO-სთან პარტნიორობით შექმნა, არის ღია, არაკომერციული ინიციატივა, რომლის მიზანია ყველა საჯაროდ ხელმისაწვდომი პროგრამული უზრუნველყოფის წყაროს კოდის შეგროვება, შენახვა და გაზიარება. მადლიერებას გამოვხატავთ Software Heritage-ის მიმართ, ამ ფასდაუდებელი რესურსის ხელმისაწვდომობისთვის. დამატებითი ინფორმაციისთვის ეწვიეთ Software Heritage-ის ვებსაიტს. The Stack v2-ზე წვდომა შესაძლებელია Hugging Face Hub-ის მეშვეობით. BigCode არის ღია სამეცნიერო თანამშრომლობა, რომელსაც ერთობლივად ხელმძღვანელობენ Hugging Face და ServiceNow. მისი მიზანია კოდისთვის განკუთვნილი დიდი ენობრივი მოდელების პასუხისმგებლობითი განვითარება. ყველა რესურსი და ბმული შეგიძლიათ იპოვოთ ვებგვერდზე huggingface.co/bigcode!