მკაცრად გირჩევთ, გამოიყენოთ ეს ნოუთბუქი, როგორც შაბლონი/მაგალითი თქვენი რეალური სამუშაო შემთხვევის გადასაჭრელად. რეალურ კოდირებაზე გადასვლამდე მნიშვნელოვანია, რომ მკაფიოდ გქონდეთ განსაზღვრული ის გამოყენების შემთხვევა, რომლის ავტომატიზაცია ან ნაწილობრივი ავტომატიზაცია გსურთ. გამოყენების შემთხვევის მკაფიო განმარტება გვეხმარება ყველაზე შესაფერისი ამოცანის, გამოსაყენებელი მონაცემთა ნაკრებისა და გამოსაყენებელი მოდელის იდენტიფიცირებაში თქვენი კონკრეტული სიტუაციისთვის. მოდით, გადავხედოთ ჰიპოთეტურ პრობლემას, რომლის გადაჭრაც გვსურს ბუნებრივი ენის დამუშავების (NLP) მოდელების გამოყენებით. დავუშვათ, რომ ვყიდით პროდუქტს და ჩვენი მომხმარებელთა მხარდაჭერის გუნდი იღებს ათასობით შეტყობინებას, მათ შორის გამოხმაურებებს, საჩივრებსა და შეკითხვებს, რომლებსაც იდეალურ შემთხვევაში ყველა უნდა ვუპასუხოთ. სწრაფად ცხადი ხდება, რომ მომხმარებელთა მხარდაჭერა ვერანაირად ვერ უპასუხებს ყველა შეტყობინებას. ამიტომ, გადავწყვეტთ, ვუპასუხოთ მხოლოდ ყველაზე უკმაყოფილო მომხმარებლებს და მიზნად ვისახავთ ამ შეტყობინებების 100%-ზე პასუხის გაცემას, რადგან ისინი, სავარაუდოდ, ყველაზე გადაუდებელია ნეიტრალურ და დადებით შეტყობინებებთან შედარებით. თუ დავუშვებთ, რომ ა) ძალიან უკმაყოფილო მომხმარებლების შეტყობინებები მთლიანი შეტყობინებების მხოლოდ მცირე ნაწილს წარმოადგენს და ბ) რომ ჩვენ შეგვიძლია უკმაყოფილო შეტყობინებების ავტომატიზირებული გზით გაფილტვრა, მაშინ მომხმარებელთა მხარდაჭერა შეძლებს ამ მიზნის მიღწევას. უკმაყოფილო შეტყობინებების ავტომატიზირებული გზით გასაფილტრად, ჩვენ ვგეგმავთ ბუნებრივი ენის დამუშავების ტექნოლოგიების გამოყენებას. პირველი ნაბიჯი არის ჩვენი გამოყენების შემთხვევის – უკმაყოფილო შეტყობინებების გაფილტვრა – მანქანური სწავლების ამოცანად გარდაქმნა. Hugging Face Hub-ის ამოცანების გვერდი შესანიშნავი ადგილია დასაწყებად, რათა გაარკვიოთ, რომელი ამოცანა შეესაბამება საუკეთესოდ მოცემულ სცენარს. თითოეულ ამოცანას აქვს დეტალური აღწერა და პოტენციური გამოყენების შემთხვევები. ყველაზე უკმაყოფილო მომხმარებლების შეტყობინებების მოძიების ამოცანა შეიძლება მოდელირდეს, როგორც ტექსტის კლასიფიკაციის ამოცანა: შეტყობინების კლასიფიკაცია შემდეგი 5 კატეგორიიდან ერთ-ერთში: ძალიან უკმაყოფილო, უკმაყოფილო, ნეიტრალური, კმაყოფილი ან ძალიან კმაყოფილი. ამოცანის გადაწყვეტის შემდეგ, შემდეგი ნაბიჯი არის მონაცემების მოძიება, რომლებზეც მოდელი მომზადდება. ეს, როგორც წესი, უფრო მნიშვნელოვანია თქვენი გამოყენების შემთხვევის ეფექტურობისთვის, ვიდრე სწორი მოდელის არქიტექტურის არჩევა. გახსოვდეთ, რომ მოდელი იმდენად კარგია, რამდენადაც კარგია მონაცემები, რომლებზეც ის მომზადდა. ამიტომ, ჩვენ ძალიან ფრთხილად უნდა ვიყოთ მონაცემთა ნაკრების კურირებისა და/ან შერჩევისას. რადგანაც განვიხილავთ უკმაყოფილო შეტყობინებების გაფილტვრის ჰიპოთეტურ შემთხვევას, მოდით, გადავხედოთ, თუ რა მონაცემთა ნაკრებებია ხელმისაწვდომი. თქვენი რეალური სამუშაო შემთხვევისთვის, ძალიან სავარაუდოა, რომ გექნებათ შიდა მონაცემები, რომელიც საუკეთესოდ წარმოადგენს რეალურ მონაცემებს, რომლებსაც თქვენი NLP სისტემა უნდა ამუშავებდეს. ამიტომ, თქვენ უნდა გამოიყენოთ ასეთი შიდა მონაცემები თქვენი NLP სისტემის მოსამზადებლად. მიუხედავად ამისა, სასარგებლო შეიძლება იყოს საჯაროდ ხელმისაწვდომი მონაცემების ჩართვაც თქვენი მოდელის განზოგადების გასაუმჯობესებლად. მოდით, გადავხედოთ Hugging Face Hub-ზე არსებულ ყველა ხელმისაწვდომ მონაცემთა ნაკრებს. მარცხენა მხარეს შეგიძლიათ გაფილტროთ მონაცემთა ნაკრებები ამოცანის კატეგორიების, ისევე როგორც უფრო კონკრეტული ამოცანების მიხედვით. ჩვენი გამოყენების შემთხვევა შეესაბამება ტექსტის კლასიფიკაციას -> სენტიმენტების ანალიზს, ასე რომ, ავირჩიოთ ეს ფილტრები. ამ ნოუთბუქის წერის მომენტისთვის დაგვრჩა დაახლოებით 80 მონაცემთა ნაკრები. მონაცემთა ნაკრების არჩევისას ორი ასპექტი უნდა შეფასდეს: საკმაოდ რთულია იმის ეფექტურად შეფასება, არის თუ არა მონაცემთა ნაკრები მაღალი ხარისხის, და კიდევ უფრო რთულია იმის ცოდნა, არის თუ არა და როგორ არის მიკერძოებული მონაცემთა ნაკრები. მაღალი ხარისხის ეფექტური და გონივრული ევრისტიკა არის ჩამოტვირთვების სტატისტიკის ნახვა. რაც მეტია ჩამოტვირთვა, მით მეტია გამოყენება, მით მეტია შანსი, რომ მონაცემთა ნაკრები მაღალი ხარისხისაა. ზომის შეფასება მარტივია, რადგან ის ჩვეულებრივ სწრაფად იკითხება. მოდით, გადავხედოთ ყველაზე ჩამოტვირთულ მონაცემთა ნაკრებებს: ახლა ჩვენ შეგვიძლია უფრო დეტალურად შევისწავლოთ ეს მონაცემთა ნაკრებები მონაცემთა ნაკრების ბარათის წაკითხვით, რომელიც იდეალურ შემთხვევაში უნდა შეიცავდეს ყველა შესაბამის და მნიშვნელოვან ინფორმაციას. გარდა ამისა, მონაცემთა ნაკრების დამთვალიერებელი წარმოუდგენლად მძლავრი ინსტრუმენტია იმის შესამოწმებლად, შეესაბამება თუ არა მონაცემები თქვენს გამოყენების შემთხვევას. მოდით, სწრაფად გადავხედოთ ზემოთ მოცემული მოდელების მონაცემთა ნაკრების ბარათებს: ბოლოს, გირჩევთ, გამოიყენოთ Hub-ის მონაცემთა ნაკრების ფუნქციონალი კერძო მონაცემთა ნაკრებებთან მუშაობის დროსაც კი. Hugging Face Hub, Transformers და Datasets უზადოდ არის ინტეგრირებული, რაც მათ კომბინირებულად გამოყენებას მოდელების მომზადებისას უმნიშვნელოს ხდის. გარდა ამისა, Hugging Face Hub გთავაზობთ: მას შემდეგ, რაც გადავწყვიტეთ ამოცანა და მონაცემთა ნაკრები, რომელიც საუკეთესოდ აღწერს ჩვენს გამოყენების შემთხვევას, ახლა შეგვიძლია გადავხედოთ გამოსაყენებელი მოდელის არჩევას. სავარაუდოდ, თქვენ მოგიწევთ წინასწარ მომზადებული მოდელის დახვეწა (fine-tuning) თქვენი საკუთარი გამოყენების შემთხვევისთვის, მაგრამ ღირს იმის შემოწმება, აქვს თუ არა Hub-ს უკვე შესაფერისი დახვეწილი მოდელები. ამ შემთხვევაში, შესაძლოა, უფრო მაღალ ეფექტურობას მიაღწიოთ, თუკი ასეთ მოდელს თქვენს მონაცემთა ნაკრებზე გააგრძელებთ დახვეწას. მოდით, გადავხედოთ ყველა იმ მოდელს, რომელიც დახვეწილია Amazon Reviews Multi-ზე. მოდელების სია შეგიძლიათ იპოვოთ ქვედა მარჯვენა კუთხეში – "Browse models trained on this dataset" ღილაკზე დაწკაპუნებით შეგიძლიათ იხილოთ ყველა იმ მოდელის სია, რომელიც დახვეწილია მოცემულ მონაცემთა ნაკრებზე და საჯაროდ არის ხელმისაწვდომი. გაითვალისწინეთ, რომ ჩვენ მხოლოდ მონაცემთა ნაკრების ინგლისური ვერსია გვაინტერესებს, რადგან ჩვენი მომხმარებელთა გამოხმაურება მხოლოდ ინგლისურ ენაზე იქნება. ყველაზე მეტად ჩამოტვირთული