იხილეთ ჩვენი ოფიციალური ბლოგპოსტი (EN, AR) მოხარულნი ვართ წარმოგიდგინოთ Falcon-Arabic, 7 მილიარდი პარამეტრის ენის მოდელი, რომელიც ახალ სტანდარტს ამკვიდრებს არაბული NLP-სთვის. Falcon 3 არქიტექტურაზე აგებული Falcon-Arabic არის მრავალენოვანი მოდელი, რომელიც მხარს უჭერს არაბულ, ინგლისურ და რამდენიმე სხვა ენას. ის გამოირჩევა ზოგად ცოდნაში, არაბულ გრამატიკაში, მათემატიკურ მსჯელობაში, კომპლექსური პრობლემების გადაჭრაში და არაბული დიალექტების მდიდარი მრავალფეროვნების გაგებაში. Falcon-Arabic მხარს უჭერს 32,000 ტოკენის კონტექსტურ სიგრძეს, რაც მას საშუალებას აძლევს, დაამუშაოს გრძელი დოკუმენტები და უზრუნველყოს მოწინავე აპლიკაციები, როგორიცაა ძიებით გაძლიერებული გენერაცია (RAG), სიღრმისეული კონტენტის შექმნა და ცოდნის ინტენსიური ამოცანები. Falcon-Arabic ხელახლა განსაზღვრავს არაბული ენის მოდელებისთვის შესაძლებლობის საზღვრებს. ის მნიშვნელოვნად აღემატება სხვა არაბულ LLM-ებს თავის ზომის კატეგორიაში და ოთხჯერ უფრო დიდ მოდელებსაც კი, როგორც არაბულ-მშობლიურ, ასევე სხვა ენებიდან ადაპტირებულ მოდელებს შორის. ეს Falcon-Arabic-ს აქცევს არა მხოლოდ ხელოვნური ინტელექტის უახლესი დონის მოდელად შესრულების თვალსაზრისით, არამედ უნიკალურად ეფექტურ და ხელმისაწვდომ გადაწყვეტად დეველოპერებისა და მკვლევრებისთვის, რომლებიც არაბულ ენასთან მუშაობენ. ბოლო წლებში, დიდმა ენობრივმა მოდელებმა (LLM) გარდაქმნეს ხელოვნური ინტელექტი, გააძლიერეს ინსტრუმენტები თარგმნისთვის, კონტენტის შესაქმნელად, ვირტუალური ასისტენტებისთვის და სხვა. თუმცა, ამ პროგრესის დიდი ნაწილი ფოკუსირებული იყო ისეთ ფართოდ წარმოდგენილ ენებზე, როგორიცაა ინგლისური, რის გამოც არაბული ენის მსგავსი ენები ნაკლებად იყო წარმოდგენილი. არაბული ენა უნიკალურ გამოწვევებს წარმოადგენს: ის მორფოლოგიურად მდიდარია, დიგლოსიურია (მოიცავს როგორც თანამედროვე სტანდარტულ არაბულს (MSA), ასევე მრავალფეროვან რეგიონულ დიალექტებს) და გამოიყენება ვრცელ და კულტურულად მრავალფეროვან მოსახლეობაში. ძლიერი არაბული LLM-ების შემუშავება აუცილებელია იმისათვის, რომ არაბულენოვანი საზოგადოებები სრულად იყვნენ ჩართული ხელოვნური ინტელექტის რევოლუციაში. ამ მიზნით, ჩვენ წარმოგიდგენთ Falcon-Arabic-ს – Falcon 3 მოდელების ოჯახის სპეციალიზებულ ადაპტაციას, რომელიც შემუშავებულია ტექნოლოგიური ინოვაციების ინსტიტუტის (TII) მიერ არაბთა გაერთიანებულ საამიროებში. Falcon-ის მოდელებმა მოიპოვეს გლობალური აღიარება მათი მრავალენოვანი სიძლიერისა და ღია კოდის მიდგომის გამო. Falcon-Arabic აგებულია ამ მემკვიდრეობაზე, არაბულ ენაზე მოაქვს ენის მოწინავე გაგება და გენერაცია. მოდელის დატრენინგებით, რომ გაუმკლავდეს როგორც თანამედროვე სტანდარტულ არაბულს, ასევე ძირითად დიალექტებს, Falcon-Arabic ავსებს კრიტიკულ ხარვეზს ენის ტექნოლოგიაში, რაც უზრუნველყოფს უფრო ბუნებრივ, ინტელექტუალურ და ინკლუზიურ არაბულ AI-ს სპარსეთის ყურის, ახლო აღმოსავლეთისა და ჩრდილოეთ აფრიკის რეგიონებში. Falcon-Arabic-ის შექმნა სტრატეგიული გადაწყვეტილებით დაიწყო: ნაცვლად იმისა, რომ მოდელი ნულიდან დაგვეტრენინგებინა, ავირჩიეთ ძლიერი მრავალენოვანი საფუძვლის ადაპტაცია. არაბული LLM ლანდშაფტში სამი ძირითადი მიდგომა არსებობს: ნულიდან ტრენინგი (მაგ., Jais-native), მრავალენოვანი მოდელების ადაპტაცია (როგორიცაა Allam ან Fanar), ან ისეთი მოდელების გამოყენება, რომლებიც მშობლიურად უჭერენ მხარს არაბულს სხვა ენებთან ერთად (როგორიცაა Qwen ან LLaMA). Open Arabic LLM Leaderboard-ზე დაკვირვებით, ცხადი გახდა, რომ ადაპტირებული და მრავალენოვანი მოდელები თანმიმდევრულად აღემატებოდნენ სხვებს როგორც ეფექტურობით, ასევე შესაძლებლობებით. ამ იმპულსზე დაყრდნობით, ჩვენ ავირჩიეთ Falcon 3-7B – მოდელი, რომელიც უზრუნველყოფს პრაქტიკულ ბალანსს შესრულებასა და რესურსების ეფექტურობას შორის Falcon 3 ოჯახში, რომელიც შემუშავებულია ტექნოლოგიური ინოვაციების ინსტიტუტის (TII) მიერ. ძირითადი გამოწვევა იყო Falcon 3-7B-ის ადაპტაცია, რომელსაც თავდაპირველად არ გააჩნდა არაბული ენის მხარდაჭერა ტოკენაიზერისა და ჩაშენების დონეზე. ეს პრობლემა გადავჭერით ტოკენაიზერის ლექსიკონის გაფართოებით 32,000 არაბულ-სპეციფიკური ტოკენით და ტექსტური მსგავსებაზე დაფუძნებული ჩაშენების ინიციალიზაციის ახალი სტრატეგიის გამოყენებით. ამ ტექნიკამ ახალი არაბული ტოკენები დაუკავშირა არსებული ლექსიკონის სემანტიკურად დაკავშირებულ ჩაშენებებს, რაც მოდელს საშუალებას აძლევდა მემკვიდრეობით მიეღო წინარე ცოდნა და დაეჩქარებინა სწავლა, განსაკუთრებით განწყობის, აბსტრაქტული ცნებების და მსჯელობის შაბლონების გარშემო. ამან Falcon-Arabic-ს უპირატესობა მისცა მაღალი ხარისხის არაბული ტექსტის გაგებასა და გენერირებაში. ტოკენაიზერისა და ჩაშენებების მოწყობის შემდეგ, ჩვენ დავიწყეთ უწყვეტი წინასწარი ტრენინგი მაღალი ხარისხის, 100% მშობლიურ არაბულ მონაცემთა ნაკრებებზე, თავიდან ავიცილეთ მანქანური თარგმნილი კონტენტის გამოყენება, რათა მინიმუმამდე დაგვეყვანა კულტურული მიკერძოება და შეგვენარჩუნებინა ლინგვისტური ავთენტურობა. ტრენინგი მრავალეტაპიან სასწავლო გეგმას მიჰყვებოდა: ადრეული ეტაპები ფოკუსირებული იყო ზოგად ცოდნასა და დიალექტურად მდიდარ არაბულ კონტენტზე მოდელის სტაბილიზაციისა და ლოგიკური შესაძლებლობების გასაძლიერებლად, ხოლო მოგვიანო ფაზები ხაზს უსვამდნენ მათემატიკას, კოდს და მსჯელობას. შედეგი არის მოდელი, რომელიც არა მხოლოდ თავისუფლად საუბრობს არაბულად დიალექტების მიხედვით, არამედ ინარჩუნებს Falcon-ის მრავალენოვან და მსჯელობის სიძლიერეს, რაც ხელს უწყობს არაბულ-პირველი ხელოვნური ინტელექტის საზღვრების გაფართოებას. ჩვენ შევაფასეთ Falcon-Arabic OALL v2-ზე, არაბული ენის მოდელების წამყვან ბენჩმარკზე. ის მოიცავს ექვს მრავალჯერადი არჩევანის ამოცანას, როგორიცაა Arabic MMLU (მშობლიური და ნათარგმნი), Arabic Exams, Alghafa, MadinahQA, Aratrust და ერთ გენერაციულ ბენჩმარკს, Alrage. Falcon-Arabic აღემატება ყველა არსებულ არაბულ LLM-ს თავის ზომის დიაპაზონში და უსწრებს ოთხჯერ უფრო დიდ მოდელებსაც კი. ის ლიდერობს ისეთ საკვანძო ბენჩმარკებში, როგორიცაა Arabic MMLU, Exams, MadinahQA და Aratrust, რითაც ახალ სტანდარტს ამკვიდრებს არაბულ-პირველი ენის მოდელებისთვის.