დიდმა ენობრივმა მოდელებმა (LLM) მნიშვნელოვანი გავლენა მოახდინეს ხელოვნური ინტელექტის კვლევებზე. ამ მძლავრ, ზოგად მოდელებს შეუძლიათ შეასრულონ ენობრივი დავალებების ფართო სპექტრი მომხმარებლის მითითებების საფუძველზე. თუმცა, აკადემიური წრეების, არაკომერციული ორგანიზაციებისა და მცირე კომპანიების კვლევით ლაბორატორიებს უჭირთ LLM-ების შექმნა, შესწავლა ან თუნდაც გამოყენება, რადგან მათზე სრულ ხელმისაწვდომობას მხოლოდ რამდენიმე ინდუსტრიული ლაბორატორია ფლობს საჭირო რესურსებითა და ექსკლუზიური უფლებებით. დღეს ჩვენ წარვადგენთ BLOOM-ს, პირველ მრავალენოვან LLM-ს, რომელიც სრული გამჭვირვალობით გაიარა ტრენინგი, რათა შეცვალოს ეს სტატუს კვო — ეს არის ხელოვნური ინტელექტის მკვლევართა ისტორიაში ყველაზე მასშტაბური თანამშრომლობის შედეგი, რომელიც ერთ კვლევით პროექტში იყო ჩართული. თავისი 176 მილიარდი პარამეტრით, BLOOM-ს შეუძლია ტექსტის გენერირება 46 ბუნებრივ და 13 პროგრამირების ენაზე. თითქმის ყველა მათგანისთვის, მაგალითად, ესპანურის, ფრანგულისა და არაბულისთვის, BLOOM იქნება პირველი ენობრივი მოდელი, რომელიც ოდესმე შეიქმნება 100 მილიარდზე მეტი პარამეტრით. ეს არის ერთწლიანი მუშაობის კულმინაცია, რომელშიც 70-ზე მეტი ქვეყნის და 250-ზე მეტი დაწესებულების 1000-ზე მეტი მკვლევარი იყო ჩართული. პროექტი დასრულდა 117-დღიანი (11 მარტი - 6 ივლისი) ტრენინგით, როდესაც BLOOM მოდელი გაწვრთნეს ჟან ზეის სუპერკომპიუტერზე პარიზის სამხრეთით, საფრანგეთში. ეს შესაძლებელი გახდა ფრანგული კვლევითი სააგენტოების, CNRS-ისა და GENCI-ის მიერ გამოყოფილი გამოთვლითი გრანტის წყალობით, რომლის ღირებულებაც დაახლოებით 3 მილიონი ევროა. მკვლევრებს ახლა შეუძლიათ BLOOM-ის გადმოწერა, გაშვება და შესწავლა, რათა შეისწავლონ ახლად შემუშავებული დიდი ენობრივი მოდელების მუშაობა და ქცევა მათი ღრმა შიდა ოპერაციების დონეზე. უფრო ზოგადად, ნებისმიერ ინდივიდს ან დაწესებულებას, რომელიც დათანხმდება მოდელის პასუხისმგებლიანი AI ლიცენზიის (შემუშავებული BigScience პროექტის ფარგლებში) პირობებს, შეუძლია გამოიყენოს და განავითაროს მოდელი როგორც ლოკალურ მანქანაზე, ასევე ღრუბლოვან პროვაიდერთან. თანამშრომლობისა და უწყვეტი გაუმჯობესების ამ სულისკვეთებით, ჩვენ ასევე პირველად ვათავისუფლებთ ტრენინგის შუალედურ საკონტროლო წერტილებსა და ოპტიმიზატორის მდგომარეობებს. არ გაქვთ 8 A100 იმისთვის, რომ ექსპერიმენტები ჩაატაროთ? ინფერენციის API, რომელსაც ამჟამად Google-ის TPU ღრუბელი და მოდელის FLAX ვერსია უჭერს მხარს, ასევე იძლევა სწრაფი ტესტირების, პროტოტიპირებისა და მცირე მასშტაბის გამოყენების საშუალებას. მასთან მუშაობა უკვე შეგიძლიათ Hugging Face Hub-ზე. ეს მხოლოდ დასაწყისია. BLOOM-ის შესაძლებლობები გაგრძელდება გაუმჯობესება, რადგან ვორქშოპი აგრძელებს მოდელთან ექსპერიმენტებსა და მუშაობას. ჩვენ დავიწყეთ მუშაობა მის „მითითებადობაზე“, როგორც ჩვენი ადრინდელი მცდელობა T0++ იყო, და ვგეგმავთ მეტი ენის დამატებას, მოდელის უფრო გამოსაყენებელ ვერსიამდე შეკუმშვას იგივე შესრულების დონით, და მის გამოყენებას უფრო რთული არქიტექტურებისთვის საწყის წერტილად… ყველა ის ექსპერიმენტი, რომლის ჩატარებაც მკვლევრებსა და პრაქტიკოსებს ყოველთვის სურდათ, 100 მილიარდზე მეტი პარამეტრის მქონე მოდელის სიმძლავრით დაწყებული, ახლა უკვე შესაძლებელია. BLOOM არის მოდელების ცოცხალი ოჯახის თესლი, რომლის გაზრდასაც ვაპირებთ და არა მხოლოდ ერთჯერადი მოდელი, და მზად ვართ მხარი დავუჭიროთ საზოგადოების ძალისხმევას მის გასაფართოებლად.