PyTorch-ის ინჟინრებს შორის (წარმოიდგინეთ, როგორ ვუყურებ ბნელად ღია ტიპის ოფისს) არსებობს ტენდენცია, რომ ეს პრობლემად აღიქვან, რომლის გადალახვაცაა საჭირო; მათი მიზანია გაარკვიონ, როგორ აიცილონ TensorFlow თავიდან, რათა გამოიყენონ დაბალდონიანი წვრთნისა და მონაცემთა ჩატვირთვის კოდი, რომელსაც მიჩვეულნი არიან. ეს TensorFlow-თან მიდგომის სრულიად არასწორი გზაა! Keras შესანიშნავი მაღალდონიანი API-ია. თუ მას გვერდს აუვლით პროექტებში, რომლებიც რამდენიმე მოდულზე მეტია, საბოლოოდ მის ფუნქციონალის უმეტეს ნაწილს თავად აღადგენთ, როდესაც მიხვდებით, რომ ის გჭირდებათ. როგორც დახვეწილ, პატივცემულ და მაღალ მიმზიდველ TensorFlow-ის ინჟინრებს, გვსურს გამოვიყენოთ უახლესი მოდელების წარმოუდგენელი ძალა და მოქნილობა, მაგრამ გვინდა მათი მართვა ჩვენთვის ნაცნობი ხელსაწყოებითა და API-ით. ეს ბლოგპოსტი იქნება Hugging Face-ში მიღებული გადაწყვეტილებების შესახებ, რომლებიც ამის შესაძლებლობას იძლევა, და რას უნდა ელოდეს პროგრამისტი ამ ფრეიმვორკისგან, როგორც TensorFlow-ის მომხმარებელი. გამოცდილ მომხმარებლებს შეუძლიათ გადაახვიონ ან გამოტოვონ ეს სექცია, მაგრამ თუ ეს თქვენი პირველი შეხებაა Hugging Face-თან და Transformers-თან, უნდა დავიწყო ბიბლიოთეკის ძირითადი იდეის მიმოხილვით: თქვენ უბრალოდ ითხოვთ წინასწარ გაწვრთნილ მოდელს სახელის მიხედვით და მას ერთ ხაზში იღებთ. უმარტივესი გზაა TFAutoModel კლასის გამოყენება: ეს ერთი ხაზი შექმნის მოდელის არქიტექტურას და ჩატვირთავს წონებს, რაც მოგცემთ ორიგინალი, ცნობილი BERT მოდელის ზუსტ ასლს. თუმცა, ეს მოდელი თავისთავად ბევრს არაფერს გააკეთებს — მას აკლია გამომავალი თავი ან დანაკარგის ფუნქცია. ფაქტობრივად, ის არის ნერვული ქსელის „ღერო“, რომელიც ჩერდება ბოლო ფარული ფენის შემდეგ. მაშ, როგორ უნდა დავუმატოთ მას გამომავალი თავი? მარტივად, უბრალოდ გამოიყენეთ სხვა AutoModel კლასი. აქ ჩვენ ვტვირთავთ Vision Transformer (ViT) მოდელს და ვუმატებთ გამოსახულების კლასიფიკაციის თავს: ახლა ჩვენს მოდელს აქვს გამომავალი თავი და, სურვილისამებრ, დანაკარგის ფუნქცია, რომელიც შეესაბამება მის ახალ ამოცანას. თუ ახალი გამომავალი თავი განსხვავდება ორიგინალური მოდელისგან, მაშინ მისი წონები შემთხვევითად იქნება ინიციალიზებული. ყველა სხვა წონა ჩაიტვირთება ორიგინალი მოდელიდან. მაგრამ რატომ ვაკეთებთ ამას? რატომ გამოვიყენებთ არსებული მოდელის ღეროს, ნაცვლად იმისა, რომ თავიდან შევქმნათ ჩვენთვის საჭირო მოდელი? აღმოჩნდა, რომ დიდი მოდელები, რომლებიც გაწვრთნილია უამრავ მონაცემზე, გაცილებით უკეთესი საწყისი წერტილია თითქმის ნებისმიერი მანქანური სწავლების პრობლემისთვის, ვიდრე უბრალოდ წონების შემთხვევითი ინიციალიზაციის სტანდარტული მეთოდი. ამას ტრანსფერული სწავლება ეწოდება და თუ დაფიქრდებით, აზრი აქვს – ტექსტური ამოცანის კარგად გადაწყვეტა მოითხოვს ენის გარკვეულ ცოდნას, ხოლო ვიზუალური ამოცანის კარგად გადაწყვეტა მოითხოვს გამოსახულებებისა და სივრცის ცოდნას. მიზეზი, რის გამოც მანქანური სწავლება ასე მონაცემებზეა დამოკიდებული ტრანსფერული სწავლების გარეშე, არის ის, რომ ეს ძირითადი დომენის ცოდნა ხელახლა უნდა იქნას შესწავლილი ყოველი პრობლემისთვის, რაც მოითხოვს უზარმაზარ რაოდენობის სავარჯიშო მაგალითებს. თუმცა, ტრანსფერული სწავლების გამოყენებით, პრობლემა შეიძლება გადაწყდეს ათასი სავარჯიშო მაგალითით, რასაც შესაძლოა მილიონი დასჭირვებოდა მის გარეშე, და ხშირად უფრო მაღალი საბოლოო სიზუსტით. ამ თემის შესახებ მეტი ინფორმაციისთვის, იხილეთ Hugging Face Course-ის შესაბამისი სექციები! ტრანსფერული სწავლების გამოყენებისას, თუმცა, ძალიან მნიშვნელოვანია, რომ მოდელის შეტანილი მონაცემები დამუშავდეს ისე, როგორც ისინი დამუშავდა წვრთნის დროს. ეს უზრუნველყოფს, რომ მოდელს რაც შეიძლება ნაკლები რამ დასჭირდეს ხელახლა შესასწავლად, როდესაც მის ცოდნას ახალ პრობლემაზე გადავიტანთ. Transformers-ში ეს წინასწარი დამუშავება ხშირად ხორციელდება ტოკენაიზერების მეშვეობით. ტოკენაიზერების ჩატვირთვა შესაძლებელია მოდელების მსგავსად, AutoTokenizer კლასის გამოყენებით. დარწმუნდით, რომ ჩატვირთეთ ის ტოკენაიზერი, რომელიც ემთხვევა მოდელს, რომლის გამოყენებაც გსურთ! ეს, რა თქმა უნდა, მხოლოდ ბიბლიოთეკის გემოა – თუ მეტი გსურთ, შეგიძლიათ იხილოთ ჩვენი ნოუთბუქები ან კოდის მაგალითები. ბიბლიოთეკის მოქმედებაში გამოყენების რამდენიმე სხვა მაგალითი ასევე ხელმისაწვდომია keras.io-ზე! ამ ეტაპზე, თქვენ უკვე გესმით Transformers-ის ზოგიერთი ძირითადი კონცეფცია და კლასი. ყველაფერი, რაც ზემოთ დავწერე, ფრეიმვორკისგან დამოუკიდებელია (გარდა “TF”-ისა TFAutoModel-ში), მაგრამ როდესაც თქვენ რეალურად გსურთ მოდელის გაწვრთნა და გამოყენება, სწორედ აქ დაიწყება განსხვავებები ფრეიმვორკებს შორის. და ეს მიგვიყვანს ამ სტატიის მთავარ ფოკუსამდე: როგორც TensorFlow-ის ინჟინერს, რას უნდა ელოდოთ Transformers-ისგან? ეს თითქმის თავისთავად იგულისხმება TensorFlow-ის ბიბლიოთეკისთვის, მაგრამ ღირს ხაზგასმა. მომხმარებლის პერსპექტივიდან, ამ არჩევანის ყველაზე მნიშვნელოვანი ეფექტი ის არის, რომ შეგიძლიათ გამოიძახოთ Keras-ის მეთოდები, როგორიცაა `fit()`, `compile()` და `predict()` უშუალოდ ჩვენს მოდელებზე. მაგალითად, თუ თქვენი მონაცემები უკვე მომზადებული და ტოკენიზებულია, მაშინ მიმდევრობის კლასიფიკაციის მოდელიდან პროგნოზების მიღება TensorFlow-ით ისეთივე მარტივია, როგორც: და თუ ამ მოდელის გაწვრთნა გსურთ, ეს უბრალოდ: თუმცა, ეს მოხერხებულობა არ ნიშნავს, რომ შეზღუდული ხართ იმ ამოცანებით, რომლებსაც ჩვენ მხარს ვუჭერთ. Keras-ის მოდელები შეიძლება კომპოზიციური იყოს, როგორც ფენები სხვა მოდელებში, ასე რომ, თუ თქვენ გაქვთ გიგანტური გალაქტიკური ტვინის იდეა, რომელიც მოიცავს ხუთი განსხვავებული მოდელის გაერთიანებას, მაშინ არაფერი გიშლით ხელს, გარდა შესაძლოა თქვენი შეზღუდული GPU მეხსიერებისა. იქნებ გსურთ წინასწარ გაწვრთნილი ენობრივი მოდელის გაერთიანება