ტრანსფორმერზე დაფუძნებული ენკოდერ-დეკოდერის მოდელები: არქიტექტურისა და ინფერენციის სიღრმისეული მიმოხილვა

ბოლო დროს ჩატარდა მრავალი კვლევა ტრანსფორმერზე დაფუძნებული ენკოდერ-დეკოდერის მოდელებისთვის სხვადასხვა წინასწარი წვრთნის მიზნებზე, მაგალითად, T5, Bart, Pegasus, ProphetNet, Marge და სხვა..., თუმცა მოდელის არქიტექტურა დიდწილად უცვლელი დარჩა. ამ ბლოგ-პოსტის მიზანია დეტალურად განმარტოს, თუ როგორ ამუშავებს ტრანსფორმერზე დაფუძნებული ენკოდერ-დეკოდერის არქიტექტურა მიმდევრობა-მიმდევრობაზე ამოცანებს. ჩვენ ყურადღებას გავამახვილებთ არქიტექტურით განსაზღვრულ მათემატიკურ მოდელზე და იმაზე, თუ როგორ შეიძლება ამ მოდელის გამოყენება ინფერენციაში (დასკვნის გამოტანის პროცესში). ამავდროულად, ჩვენ მოგაწვდით გარკვეულ ფონურ ინფორმაციას NLP-ში მიმდევრობა-მიმდევრობაზე მოდელების შესახებ და დავშლით ტრანსფორმერზე დაფუძნებულ ენკოდერ-დეკოდერის არქიტექტურას მის ენკოდერისა და დეკოდერის ნაწილებად. ჩვენ წარმოგიდგენთ მრავალ ილუსტრაციას და დავამყარებთ კავშირს ტრანსფორმერზე დაფუძნებული ენკოდერ-დეკოდერის მოდელების თეორიასა და მათ პრაქტიკულ გამოყენებას შორის 🤗Transformers-ში ინფერენციისთვის. გაითვალისწინეთ, რომ ეს ბლოგ-პოსტი არ ხსნის, თუ როგორ შეიძლება ასეთი მოდელების წვრთნა – ეს იქნება მომავალი ბლოგ-პოსტის თემა. ტრანსფორმერზე დაფუძნებული ენკოდერ-დეკოდერის მოდელები არის წლების განმავლობაში წარმოდგენის სწავლისა და მოდელის არქიტექტურების კვლევის შედეგი. ეს ნოუთბუქი წარმოადგენს ნეირონული ენკოდერ-დეკოდერის მოდელების ისტორიის მოკლე მიმოხილვას. უფრო მეტი კონტექსტისთვის, მკითხველს ურჩევს წაიკითხოს სებასტიონ რუდერის ეს შესანიშნავი ბლოგ-პოსტი. გარდა ამისა, რეკომენდებულია თვით-ყურადღების არქიტექტურის საბაზისო გაგება. ჯეი ალამარის შემდეგი ბლოგ-პოსტი კარგი საშუალებაა თავდაპირველი ტრანსფორმერის მოდელის გასახსენებლად. ამ ნოუთბუქის წერის მომენტისთვის, 🤗Transformers მოიცავს ენკოდერ-დეკოდერის მოდელებს: T5, Bart, MarianMT და Pegasus, რომლებიც შეჯამებულია დოკუმენტაციაში მოდელის მიმოხილვების ქვეშ. ნოუთბუქი დაყოფილია ოთხ ნაწილად: თითოეული ნაწილი ეფუძნება წინა ნაწილს, მაგრამ ასევე შეიძლება წაიკითხოთ დამოუკიდებლად. ბუნებრივი ენის გენერაციის (NLG) ამოცანები, რომელიც NLP-ის ქვედარგია, საუკეთესოდ გამოიხატება, როგორც მიმდევრობა-მიმდევრობაზე ამოცანები. ასეთი ამოცანები შეიძლება განისაზღვროს, როგორც მოდელის მოძიება, რომელიც შეტანის სიტყვების მიმდევრობას ასახავს სამიზნე სიტყვების მიმდევრობაზე. რამდენიმე კლასიკური მაგალითია შემაჯამება და თარგმანი. ქვემოთ, ჩვენ ვვარაუდობთ, რომ თითოეული სიტყვა კოდირებულია ვექტორულ წარმოდგენაში. nnn შეტანის სიტყვა შემდეგ შეიძლება წარმოდგენილი იყოს nnn შეტანის ვექტორების მიმდევრობის სახით: X1:n={x1,…,xn}. შედეგად, მიმდევრობა-მიმდევრობაზე ამოცანები შეიძლება გადაწყდეს fff ასახვის მოძიებით nnn ვექტორის შეტანის მიმდევრობიდან X1:n სამიზნე ვექტორების mmm მიმდევრობაზე Y1:m, მაშინ როდესაც სამიზნე ვექტორების რაოდენობა mmm წინასწარ უცნობია და დამოკიდებულია შეტანის მიმდევრობაზე: f:X1:n→Y1:m. სუცკევერმა და სხვებმა (2014) აღნიშნეს, რომ ღრმა ნეირონულ ქსელებს (DNN), „*მათი მოქნილობისა და ძალაუფლების მიუხედავად, შეუძლიათ მხოლოდ ისეთი ასახვის განსაზღვრა, რომლის შეტანები და სამიზნეები შეიძლება გონივრულად იყოს კოდირებული ფიქსირებული განზომილების ვექტორებით.*“ 1{}^11. DNN მოდელის 2{}^22 გამოყენება მიმდევრობა-მიმდევრობაზე ამოცანების გადასაჭრელად, შესაბამისად, ნიშნავდა, რომ სამიზნე ვექტორების რაოდენობა mmm წინასწარ უნდა იყოს ცნობილი და დამოუკიდებელი იყოს შეტანის X1:n-ისგან. ეს არაოპტიმალურია, რადგან NLG-ის ამოცანებისთვის, სამიზნე სიტყვების რაოდენობა, როგორც წესი, დამოკიდებულია შეტანის X1:n-ზე და არა მხოლოდ შეტანის სიგრძეზე nnn. მაგალითად, 1000-სიტყვიანი სტატია შეიძლება შეჯამდეს როგორც 200, ისე 100 სიტყვამდე, მისი შინაარსიდან გამომდინარე. 2014 წელს ჩომ და სხვებმა, ასევე სუცკევერმა და სხვებმა, მიმდევრობა-მიმდევრობაზე ამოცანებისთვის წამოაყენეს ენკოდერ-დეკოდერის მოდელის გამოყენება, რომელიც მთლიანად რეკურენტულ ნეირონულ ქსელებზე (RNN) იყო დაფუძნებული. DNN-ებისგან განსხვავებით, RNN-ებს შეუძლიათ ცვლადი რაოდენობის სამიზნე ვექტორებზე ასახვის მოდელირება. მოდით, უფრო ღრმად ჩავუღრმავდეთ RNN-ზე დაფუძნებული ენკოდერ-დეკოდერის მოდელების ფუნქციონირებას. ინფერენციის დროს, ენკოდერი RNN კოდირებს შეტანის მიმდევრობას X1:n მისი დამალული მდგომარეობის 3{}^33 თანმიმდევრული განახლებით. ბოლო შეტანის ვექტორის xn დამუშავების შემდეგ, ენკოდერის დამალული მდგომარეობა განსაზღვრავს შეტანის კოდირებას c. ამრიგად, ენკოდერი განსაზღვრავს ასახვას: fθenc:X1:n→c. შემდეგ, დეკოდერის დამალული მდგომარეობა ინიციალიზდება შეტანის კოდირებით და ინფერენციის დროს, დეკოდერი RNN გამოიყენება სამიზნე მიმდევრობის ავტორეგრესიული გენერირებისთვის. განვმარტოთ. მათემატიკურად, დეკოდერი განსაზღვრავს სამიზნე მიმდევრობის Y1:m ალბათობის განაწილებას მოცემული დამალული მდგომარეობის c-ს მიხედვით: pθdec(Y1:m∣c). ბაიესის წესის მიხედვით, განაწილება შეიძლება დაიშალოს ერთეული სამიზნე ვექტორების პირობით განაწილებებად შემდეგნაირად: pθdec(Y1:m∣c)=∏i=1mpθdec(yi∣Y0:i−1,c). ამრიგად, თუ არქიტექტურას შეუძლია შემდეგი სამიზნე ვექტორის პირობითი განაწილების მოდელირება, მოცემული ყველა წინა