წარსულში, ემოციური ანალიზი შემოფარგლული იყო მკვლევრებით, მანქანური სწავლის ინჟინრებით ან მონაცემთა მეცნიერებით, რომლებსაც ბუნებრივი ენის დამუშავებაში გამოცდილება ჰქონდათ. თუმცა, ხელოვნური ინტელექტის (AI) საზოგადოებამ ბოლო წლებში შექმნა გასაოცარი ინსტრუმენტები, რათა მანქანურ სწავლაზე ხელმისაწვდომობა დემოკრატიზებულიყო. დღესდღეობით, ემოციური ანალიზის გამოყენება შეგიძლიათ კოდის რამდენიმე ხაზით და მანქანური სწავლის სრულიად არავითარი გამოცდილების გარეშე! ამ გზამკვლევში თქვენ შეისწავლით ყველაფერს, რაც საჭიროა ემოციური ანალიზის პითონის გამოყენებით დასაწყებად, მათ შორის: დავიწყოთ! ემოციური ანალიზი არის ბუნებრივი ენის დამუშავების ტექნიკა, რომელიც განსაზღვრავს მოცემული ტექსტის პოლარობას. არსებობს ემოციური ანალიზის სხვადასხვა ვარიანტი, მაგრამ ერთ-ერთი ყველაზე ფართოდ გამოყენებული მეთოდი მონაცემებს დაყოფს პოზიტიურად, ნეგატიურად და ნეიტრალურად. მაგალითად, ვნახოთ ეს ტვიტები, რომლებიც @VerizonSupport-ს ახსენებენ: * „ძვირფასო @verizonsupport, თქვენი სერვისი დალასში არის სრული 💩.. თქვენთან ათწლეულზე მეტია ვარ და ეს თქვენთვის ყველა დროის ყველაზე დაბალი დონეა. ინტერნეტი საერთოდ არ მაქვს.“ → შეფასდება, როგორც „უარყოფითი“. * „@verizonsupport მე გამოგიგზავნეთ პირდაპირი შეტყობინება (dm)“ → შეფასდება, როგორც „ნეიტრალური“. * „მადლობა მიშელს და სხვებს @verizonsupport-ში, ვინც დამეხმარა ჩემი გამოუჩენელი ტელეფონის პრობლემის მოგვარებაში. შეკვეთა წარმატებით გაუქმდა და ეს დღეს მაღაზიაში, Apple Store-ში წამოსაღებად შევუკვეთე.“ → შეფასდება, როგორც „დადებითი“. ემოციური ანალიზი საშუალებას იძლევა მონაცემების დამუშავება ფართომასშტაბიანად და რეალურ დროში. მაგალითად, გსურთ ათასობით ტვიტის, პროდუქტის მიმოხილვის ან მხარდაჭერის ბილეთის ანალიზი? ამ მონაცემების ხელით დახარისხების ნაცვლად, შეგიძლიათ გამოიყენოთ ემოციური ანალიზი იმისთვის, რომ ავტომატურად გაიგოთ, რას საუბრობენ ადამიანები კონკრეტულ თემაზე, მიიღოთ ღირებული ინფორმაცია მონაცემებზე დაფუძნებული გადაწყვეტილებებისთვის და მოახდინოთ ბიზნეს პროცესების ავტომატიზაცია. ემოციური ანალიზი გამოიყენება მრავალფეროვან აპლიკაციებში, მაგალითად: ახლა, როცა განვიხილეთ რა არის ემოციური ანალიზი, მზად ვართ, გავერთოთ რამდენიმე ემოციური ანალიზის მოდელით! Hugging Face Hub-ზე ჩვენ ვქმნით მოდელებისა და მონაცემთა ნაკრებების უდიდეს საჯაროდ ხელმისაწვდომ კოლექციას, რათა მოვახდინოთ მანქანური სწავლის დემოკრატიზაცია. Hub-ში ნახავთ AI საზოგადოების მიერ გაზიარებულ 27,000-ზე მეტ მოდელს, უახლესი შესრულებით ისეთ ამოცანებში, როგორიცაა ემოციური ანალიზი, ობიექტის ამოცნობა, ტექსტის გენერაცია, მეტყველების ამოცნობა და სხვა. Hub უფასოა გამოსაყენებლად და მოდელების უმეტესობას აქვს ვიჯეტი, რომელიც საშუალებას გაძლევთ, პირდაპირ თქვენს ბრაუზერში გამოსცადოთ ისინი! Hub-ზე საჯაროდ ხელმისაწვდომია 215-ზე მეტი ემოციური ანალიზის მოდელი და მათი პითონთან ინტეგრაცია მხოლოდ 5 ხაზ კოდს მოითხოვს: ეს კოდის ფრაგმენტი იყენებს pipeline კლასს, რათა Hub-ში არსებული მოდელებიდან პროგნოზები გააკეთოს. ის იყენებს ემოციური ანალიზის ნაგულისხმევ მოდელს ტექსტების მონაცემთა სიის გასაანალიზებლად და გამოაქვს შემდეგი შედეგები: შეგიძლიათ გამოიყენოთ სპეციფიკური ემოციური ანალიზის მოდელი, რომელიც უკეთესად შეესაბამება თქვენს ენას ან გამოყენების შემთხვევას, მოდელის სახელის მითითებით. მაგალითად, თუ გსურთ ემოციური ანალიზის მოდელი ტვიტებისთვის, შეგიძლიათ მიუთითოთ მოდელის ID: ამ მოდელების ტესტირება შეგიძლიათ საკუთარი მონაცემებით ამ Colab ნოუთბუქის გამოყენებით: გაინტერესებთ ემოციური ანალიზის ჩატარება ისეთ ენებზე, როგორიცაა ესპანური, ფრანგული, იტალიური თუ გერმანული? Hub-ზე ნახავთ უამრავ მოდელს, რომლებიც ოპტიმიზირებულია სხვადასხვა გამოყენების შემთხვევისა და დაახლოებით 28 ენისთვის. ემოციური ანალიზის მოდელების სრულ სიას შეგიძლიათ გაეცნოთ აქ და გაფილტროთ მარცხენა მხარეს თქვენთვის საინტერესო ენის მიხედვით. Hugging Face Hub-ზე საჯაროდ ხელმისაწვდომი წინასწარ გაწვრთნილი მოდელების გამოყენება შესანიშნავი გზაა ემოციური ანალიზის დაუყოვნებლივ დასაწყებად. ეს მოდელები იყენებენ ღრმა სწავლის არქიტექტურებს, როგორიცაა ტრანსფორმერები, რომლებიც აღწევენ უახლეს შესრულებას ემოციურ ანალიზსა და მანქანური სწავლის სხვა ამოცანებში. თუმცა, შეგიძლიათ მოდელის დახვეწა (fine-tune) საკუთარი მონაცემებით, რათა კიდევ უფრო გააუმჯობესოთ ემოციური ანალიზის შედეგები და მიიღოთ სიზუსტის დამატებითი ზრდა თქვენს კონკრეტულ გამოყენების შემთხვევაში. ამ განყოფილებაში განვიხილავთ ორ მიდგომას, თუ როგორ დავხვეწოთ მოდელი ემოციური ანალიზისთვის საკუთარი მონაცემებითა და კრიტერიუმებით. პირველი მიდგომა იყენებს 🤗Transformers-ის Trainer API-ს, ღია კოდის ბიბლიოთეკას 50K ვარსკვლავით და 1K+ კონტრიბუტორით, და მოითხოვს ცოტა მეტ კოდირებასა და გამოცდილებას. მეორე მიდგომა უფრო მარტივი და პირდაპირია, ის იყენებს AutoNLP-ს, ინსტრუმენტს, რომელიც ავტომატურად ავარჯიშებს, აფასებს და განათავსებს უახლეს NLP მოდელებს კოდის ან ML გამოცდილების გარეშე. მოდით, ჩავუღრმავდეთ! ამ ტუტორიალში, თქვენ გამოიყენებთ IMDB მონაცემთა ნაკრებს DistilBERT მოდელის დასახვეწად ემოციური ანალიზისთვის. IMDB მონაცემთა ნაკრები შეიცავს 25,000 კინო მიმოხილვას, რომლებიც ემოციების მიხედვით არის დანიშნული მოდელის გასაწვრთნელად, და 25,000 კინო მიმოხილვას მის შესამოწმებლად. DistilBERT არის BERT-ის უფრო პატარა, სწრაფი და იაფი ვერსია. ის 40%-ით პატარაა BERT-ზე და მუშაობს 60%-ით სწრაფად, ხოლო ინარჩუნებს BERT-ის მუშაობის 95%-ზე მეტს. თქვენ გამოიყენებთ IMDB მონაცემთა ნაკრებს DistilBERT მოდელის დასახვეწად, რომელსაც შეუძლია კლასიფიცირება, არის თუ არა კინო მიმოხილვა დადებითი თუ უარყოფითი. მოდელის გაწვრთნის შემდეგ, თქვენ გამოიყენებთ მას ახალი მონაცემების გასაანალიზებლად! ჩვენ შევქმენით ეს ნოუთბუქი, რათა მისი გამოყენება შეძლოთ ამ ტუტორიალის განმავლობაში Google Colab-ში. პირველ ნაბიჯად, მოდით...