Hugging Face-ის მისიაა ხარისხიანი მანქანური სწავლების დემოკრატიზაცია და მისი დადებითი გავლენის მაქსიმიზაცია ინდუსტრიებსა და საზოგადოებაში. ჩვენ არამხოლოდ ვცდილობთ ტრანსფორმერების მოდელების განვითარებას, არამედ აქტიურად ვმუშაობთ მათი დანერგვის გამარტივებაზე. დღეს გვსურს სიხარულით განვაცხადოთ, რომ Intel-ი ოფიციალურად შეუერთდა ჩვენს აპარატურის პარტნიორთა პროგრამას. Optimum-ის ღია კოდის ბიბლიოთეკის წყალობით, Intel-ი და Hugging Face-ი ითანამშრომლებენ უახლესი აპარატურული აჩქარების შესაქმნელად, რათა შესაძლებელი გახდეს ტრანსფორმერების მოდელების წვრთნა, დაზუსტება და მათზე დაფუძნებული პროგნოზირება. ტრანსფორმერების მოდელები სულ უფრო დიდი და კომპლექსური ხდება, რამაც შეიძლება წარმოების გამოწვევები შექმნას შეყოვნების მიმართ მგრძნობიარე აპლიკაციებისთვის, როგორიცაა საძიებო სისტემები ან ჩატბოტები. სამწუხაროდ, შეყოვნების ოპტიმიზაცია მანქანური სწავლების (ML) სპეციალისტებისთვის დიდი ხანია რთულ პრობლემას წარმოადგენს. მიუხედავად ძირითადი ფრეიმვორკისა და აპარატურული პლატფორმის ღრმა ცოდნისა, დიდ დროს მოითხოვს ცდებისა და შეცდომების მეთოდით იმის გარკვევა, თუ რომელი პარამეტრები და ფუნქციები უნდა იქნას გამოყენებული. Intel-ი უზრუნველყოფს სრულფასოვან ბაზას ხელოვნური ინტელექტის (AI) დაჩქარებისთვის Intel Xeon Scalable CPU პლატფორმითა და აპარატურულად ოპტიმიზებული AI პროგრამული ინსტრუმენტების, ფრეიმვორკებისა და ბიბლიოთეკების ფართო სპექტრით. ამდენად, Hugging Face-ისა და Intel-ის ძალების გაერთიანება და მძლავრი მოდელის ოპტიმიზაციის ხელსაწყოების შექმნაზე თანამშრომლობა სავსებით ლოგიკური იყო, რაც მომხმარებლებს Intel-ის პლატფორმებზე საუკეთესო წარმადობის, მასშტაბურობისა და პროდუქტიულობის მიღწევის საშუალებას მისცემს. „ჩვენ მოხარულნი ვართ ვითანამშრომლოთ Hugging Face-თან, რათა Intel Xeon-ის აპარატურისა და Intel AI პროგრამული უზრუნველყოფის უახლესი ინოვაციები ტრანსფორმერების საზოგადოებას მივაწოდოთ, ღია კოდის ინტეგრაციისა და ინტეგრირებული დეველოპერული გამოცდილების მეშვეობით“, – აცხადებს ვეი ლი, Intel-ის ვიცე-პრეზიდენტი და AI და ანალიტიკის გენერალური მენეჯერი. ბოლო თვეებში Intel-ი და Hugging Face-ი თანამშრომლობდნენ ტრანსფორმერების სამუშაო დატვირთვის მასშტაბირებაზე. ჩვენ გამოვაქვეყნეთ დეტალური დაყენების სახელმძღვანელოები და ბენჩმარკები დასკვნით ეტაპზე (ნაწილი 1, ნაწილი 2) და მივაღწიეთ ერთნიშნა მილიწამების შეყოვნებას DistilBERT-ისთვის უახლეს Intel Xeon Ice Lake CPU-ებზე. წვრთნის მხრივ, დავამატეთ Habana Gaudi ამაჩქარებლების მხარდაჭერა, რომლებიც 40%-ით უკეთეს ფასსა და წარმადობას უზრუნველყოფენ, ვიდრე GPU-ები. შემდეგი ლოგიკური ნაბიჯი იყო ამ სამუშაოს გაფართოება და ML საზოგადოებასთან გაზიარება. სწორედ აქ შემოდის Optimum Intel-ის ღია კოდის ბიბლიოთეკა! მოდით, უფრო დეტალურად განვიხილოთ იგი. Optimum არის Hugging Face-ის მიერ შექმნილი ღია კოდის ბიბლიოთეკა, რომელიც ამარტივებს ტრანსფორმერების აჩქარებას წვრთნისა და დასკვნის მოწყობილობების მზარდი სპექტრისთვის. ჩაშენებული ოპტიმიზაციის ტექნიკების წყალობით, შეგიძლიათ წუთებში დაიწყოთ თქვენი სამუშაო დატვირთვის აჩქარება, მზა სკრიპტების გამოყენებით ან თქვენს არსებულ კოდში მინიმალური ცვლილებების შეტანით. დამწყებებს შეუძლიათ Optimum-ის გამოყენება ყოველგვარი დამატებითი კონფიგურაციის გარეშე, შესანიშნავი შედეგებით. ექსპერტებს შეუძლიათ გააგრძელონ მისი დაზუსტება მაქსიმალური წარმადობისთვის. Optimum Intel არის Optimum-ის ნაწილი და ეფუძნება Intel Neural Compressor-ს (INC). INC არის ღია კოდის ბიბლიოთეკა, რომელიც უზრუნველყოფს ერთიან ინტერფეისებს მრავალ ღრმა სწავლების ფრეიმვორკში ქსელის პოპულარული კომპრესიის ტექნოლოგიებისთვის, როგორიცაა კვანტიზაცია (quantization), ამოღება (pruning) და ცოდნის დისტილაცია (knowledge distillation). ეს ინსტრუმენტი მხარს უჭერს სიზუსტეზე ორიენტირებული ავტომატური დაყენების სტრატეგიებს, რათა მომხმარებლებს დაეხმაროს საუკეთესო კვანტიზებული მოდელის სწრაფად შექმნაში. Optimum Intel-ის საშუალებით, შეგიძლიათ მინიმალური ძალისხმევით გამოიყენოთ უახლესი ოპტიმიზაციის ტექნიკები თქვენს ტრანსფორმერებზე. მოდით, განვიხილოთ სრული მაგალითი. ამ მაგალითში ჩვენ განვახორციელებთ წვრთნის შემდგომ კვანტიზაციას DistilBERT მოდელზე, რომელიც კლასიფიკაციისთვის არის დაზუსტებული. კვანტიზაცია არის პროცესი, რომელიც ამცირებს მეხსიერების და გამოთვლით მოთხოვნებს მოდელის პარამეტრების ბიტის სიგანის შემცირებით. მაგალითად, ხშირად შესაძლებელია 32-ბიტიანი მცურავ-წერტილოვანი პარამეტრების ჩანაცვლება 8-ბიტიანი მთელი რიცხვებით, პროგნოზირების სიზუსტეში მცირე ვარდნის ფასად. ჩვენ უკვე დავზუსტეთ ორიგინალი მოდელი, რათა დაგველაგებინა ფეხსაცმლის პროდუქტის მიმოხილვები მათი ვარსკვლავური რეიტინგის მიხედვით (1-დან 5 ვარსკვლავამდე). ამ მოდელის და მისი კვანტიზებული ვერსიის ნახვა შეგიძლიათ Hugging Face hub-ზე. ორიგინალი მოდელის ტესტირება ასევე შეგიძლიათ ამ Space-ში. დავიწყოთ! მთელი კოდი ხელმისაწვდომია ამ ნოუთბუქში. როგორც ყოველთვის, პირველი ნაბიჯი არის ყველა საჭირო ბიბლიოთეკის დაყენება. აღსანიშნავია, რომ კვანტიზაციის პროცესის სწორად მუშაობისთვის, ჩვენ უნდა ვიმუშაოთ PyTorch-ის მხოლოდ CPU-ს ვერსიასთან. შემდეგ, ვამზადებთ შეფასების მონაცემთა ნაკრებს, რათა შევაფასოთ მოდელის წარმადობა კვანტიზაციის დროს. იმ მონაცემთა ნაკრებიდან გამომდინარე, რომელიც გამოვიყენეთ ორიგინალი მოდელის დასაზუსტებლად, ჩვენ მხოლოდ რამდენიმე ათასი მიმოხილვას და მათ ეტიკეტებს ვინარჩუნებთ და ვინახავთ ადგილობრივ საცავში. შემდეგ, ვტვირთავთ ორიგინალ მოდელს, მის ტოკენაიზერს და შეფასების მონაცემთა ნაკრებს Hugging Face hub-დან. ამის შემდეგ, განვსაზღვრავთ შეფასების ფუნქციას, რომელიც ითვლის მოდელის მეტრიკას შეფასების მონაცემთა ნაკრებზე. ეს საშუალებას აძლევს Optimum Intel ბიბლიოთეკას შეადაროს ეს მეტრიკა კვანტიზაციამდე და მის შემდეგ. ამ მიზნით, Hugging Face-ის evaluate ბიბლიოთეკა ძალიან მოსახერხებელია! შემდეგ, ვაყენებთ კვანტიზაციის სამუშაოს [კონფიგურაციის] გამოყენებით. ამ კონფიგურაციის შესახებ დეტალების მოძიება შეგიძლიათ Neural Compressor-ის დოკუმენტაციაში. აქ, ჩვენ ვირჩევთ წვრთნის შემდგომ დინამიურ კვანტიზაციას სიზუსტის 5%-იანი მისაღები ვარდნით. თუ სიზუსტე დასაშვებ 5%-ზე მეტად შემცირდება, მოდელის სხვა ნაწილი...