ტექსტის გენერაციით დაინტერესებულ პირებს დამატებითი ინფორმაციისთვის ვურჩევთ, გაეცნონ სპეციალურ ბლოგპოსტს. აღსანიშნავია, რომ კონტრასტული ძიების (Contrastive Search) ფუნქცია უკვე ხელმისაწვდომია Hugging Face-ის `transformers` ბიბლიოთეკაში, როგორც PyTorch-ისთვის, ასევე TensorFlow-ისთვის. ამ ბლოგპოსტში მოცემული მაგალითების გამოცდა შესაძლებელია Colab ნოუთბუქში, რომელიც სტატიის დასაწყისშია მითითებული, სასურველი ფრეიმვორკის გამოყენებით. ჩვენ ასევე შევქმენით დემო ვერსია, რომელიც პირდაპირ ადარებს კონტრასტულ ძიებას სხვა პოპულარულ დეკოდირების მეთოდებს, მაგალითად, სხივურ ძიებას (beam search), ტოპ-კ შერჩევას (top-k sampling [3]) და ბირთვულ შერჩევას (nucleus sampling [4]). ექსპერიმენტების დაწყებამდე რეკომენდებულია `transformers` ბიბლიოთეკის განახლებული ვერსიის დაყენება. დეკოდირების მეთოდები ორ ძირითად კატეგორიად იყოფა: (i) დეტერმინისტული მეთოდები და (ii) სტოქასტური მეთოდები. განვიხილოთ ორივე მათგანი! დეტერმინისტული მეთოდები, მაგალითად, ხარბი ძიება (greedy search) და სხივური ძიება, ტექსტს ქმნიან ენის მოდელის მიერ გაზომილი ყველაზე მაღალი ალბათობის მქონე გაგრძელების არჩევით. თუმცა, როგორც წინა კვლევებში არაერთხელ აღინიშნა [3][4], დეტერმინისტული მეთოდები ხშირად იწვევს მოდელის დეგენერაციის პრობლემას, რაც გულისხმობს, რომ გენერირებული ტექსტი არაბუნებრივია და შეიცავს არასასურველ გამეორებებს. ქვემოთ განვიხილოთ GPT-2 მოდელის გამოყენებით ხარბი ძიებით გენერირებული ტექსტის მაგალითი. ხარბი ძიების შედეგად მიღებულ ტექსტში აშკარად შეინიშნება გამეორებების ნიმუში. დეტერმინისტული მეთოდებით გამოწვეული პრობლემების გადასაჭრელად, სტოქასტური მეთოდები ტექსტს ქმნიან დეკოდირების პროცესში შემთხვევითობის შემოტანით. ორი ფართოდ გამოყენებული სტოქასტური მეთოდია: (i) ტოპ-კ შერჩევა [3] და (ii) ბირთვული შერჩევა (ასევე უწოდებენ ტოპ-პ შერჩევას) [4]. ქვემოთ მოცემულია GPT-2 მოდელის გამოყენებით ბირთვული შერჩევით (p=0.95) გენერირებული ტექსტის მაგალითი. მიუხედავად იმისა, რომ ბირთვულ შერჩევას შეუძლია ტექსტის გამეორებების გარეშე გენერირება, გენერირებული ტექსტის სემანტიკური თანმიმდევრულობა კარგად არ არის შენარჩუნებული. მაგალითად, გენერირებული ფრაზა „AI is not journalism“ (ხელოვნური ინტელექტი არ არის ჟურნალისტიკა) შეუსაბამოა მოცემულ პრეფიქსთან – „DeepMind Company“ (კომპანია DeepMind). აღსანიშნავია, რომ სემანტიკური შეუსაბამობის ეს პრობლემა ნაწილობრივ შეიძლება გამოსწორდეს „ტემპერატურის“ შემცირებით. თუმცა, ტემპერატურის შემცირება ბირთვულ შერჩევას უფრო აახლოებს ხარბ ძიებასთან, რაც შეიძლება ჩაითვალოს კომპრომისად ხარბ ძიებასა და ბირთვულ შერჩევას შორის. ზოგადად, რთულია ისეთი პრომპტის და მოდელისგან დამოუკიდებელი ტემპერატურის პოვნა, რომელიც თავიდან აიცილებს როგორც ხარბი ძიების, ასევე ბირთვული შერჩევის ნაკლოვანებებს. ამ სექციაში დეტალურად წარმოგიდგენთ დეკოდირების ახალ მეთოდს – კონტრასტულ ძიებას. მოცემული პრეფიქსის (x
წყარო: huggingface.co AI-ით გადამუშავებული