სტატიკური ბენჩმარკები, მიუხედავად იმისა, რომ მოდელის მუშაობის შესაფასებლად ფართოდ გამოყენებული მეთოდია, მრავალი პრობლემითაა სავსე: ისინი ჯერდებიან, აქვთ მიკერძოება ან ხარვეზები და ხშირად მკვლევრებს აიძულებენ, დევნონ მეტრიკებში ზრდას, ნაცვლად იმისა, რომ შექმნან სანდო მოდელები, რომელთა გამოყენებაც ადამიანებს შეუძლიათ 1. დინამიური მოწინააღმდეგე მონაცემთა შეგროვება (DADC) დიდ პერსპექტივას გვთავაზობს, როგორც სტატიკური ბენჩმარკების ზოგიერთი პრობლემის შემარბილებელი მიდგომა. DADC-ის ფარგლებში, ადამიანები ქმნიან მაგალითებს, რათა შეცდომაში შეიყვანონ უახლესი (SOTA) მოდელები. მოდელის შეცდომაში შეყვანისა და შეგროვებულ მოწინააღმდეგე მონაცემებზე მისი გაწვრთნის ეს პროცესი მეორდება მრავალი რაუნდის განმავლობაში, რაც იწვევს უფრო გამძლევ მოდელს, რომელიც უკეთ შეესაბამება ადამიანის მოლოდინებს 1. აქ მე გაგაცნობთ, თუ როგორ უნდა შეაგროვოთ დინამიურად მოწინააღმდეგე მონაცემები მომხმარებლებისგან და გაავარჯიშოთ მათზე თქვენი მოდელი – MNIST-ის ხელნაწერი ციფრების ამოცნობის ამოცანის გამოყენებით. MNIST-ის ხელნაწერი ციფრების ამოცნობის ამოცანაში, მოდელი გაწვრთნილია იმისთვის, რომ იწინასწარმეტყველოს რიცხვი, 28x28 პიქსელის ნაცრისფერი ფერის ხელნაწერი ციფრის გამოსახულების (იხილეთ მაგალითები ქვემოთ მოცემულ ფიგურაში) შეყვანის საფუძველზე. რიცხვები მერყეობს 0-დან 9-მდე. გამოსახულების წყარო: mnist | Tensorflow Datasets ეს ამოცანა ფართოდ განიხილება, როგორც კომპიუტერული ხედვის „hello world“ და მისი სტანდარტულ (და სტატიკურ) სატესტო ნაკრებზე მაღალი სიზუსტის მიღწევა ძალიან მარტივია. თუმცა, ნაჩვენებია, რომ ამ SOTA მოდელებს მაინც უჭირთ სწორი ციფრების პროგნოზირება, როდესაც ადამიანები მათ წერენ (და აძლევენ მოდელს შეყვანის სახით): მკვლევრები მიიჩნევენ, რომ ეს ძირითადად განპირობებულია იმით, რომ სტატიკური სატესტო ნაკრები არასაკმარისად წარმოადგენს ადამიანის წერის მრავალფეროვან ხერხებს. ამიტომ, საჭიროა ადამიანების ჩართვა, რათა მოდელებს მიეწოდოთ მოწინააღმდეგე ნიმუშები, რაც მათ უკეთ განზოგადებაში დაეხმარება. ეს სახელმძღვანელო დაიყოფა შემდეგ სექციებად: პირველ რიგში, თქვენ უნდა განსაზღვროთ თქვენი მოდელის არქიტექტურა. ჩემი მარტივი მოდელის არქიტექტურა შედგება ორი კონვოლუციური ქსელისგან, რომლებიც დაკავშირებულია 50 განზომილებიან სრულად დაკავშირებულ ფენასთან და საბოლოო ფენასთან 10 კლასისთვის. დაბოლოს, ჩვენ ვიყენებთ softmax აქტივაციის ფუნქციას, რათა მოდელის გამომავალი გადავაქციოთ ალბათობის განაწილებად კლასებზე. ახლა, როდესაც განსაზღვრეთ თქვენი მოდელის სტრუქტურა, ის უნდა გაწვრთნათ სტანდარტულ MNIST-ის საწვრთნელ/სავარჯიშო მონაცემთა ნაკრებზე. ამ ეტაპზე, ვივარაუდებთ, რომ თქვენ გაქვთ გაწვრთნილი მოდელი. მიუხედავად იმისა, რომ ეს მოდელი გაწვრთნილია, ჩვენი მიზანია მისი გამძლეობის გაზრდა ადამიანის ჩართულობით მოწინააღმდეგე მონაცემების გამოყენებით. ამისათვის საჭიროა, მომხმარებლებს ჰქონდეთ მასთან ურთიერთქმედების საშუალება: კერძოდ, თქვენ გსურთ, რომ მომხმარებლებს შეეძლოთ დაწერონ/დახატონ რიცხვები 0-9-დან ტილოზე და მოდელი ეცადოს მათ კლასიფიცირებას. ყოველივე ამის გაკეთება შეგიძლიათ 🤗 Spaces-ის მეშვეობით, რომელიც საშუალებას გაძლევთ სწრაფად და მარტივად შექმნათ დემო თქვენი ML მოდელებისთვის. შეიტყვეთ მეტი Spaces-ის შესახებ და როგორ ააწყოთ ისინი აქ. ქვემოთ მოცემულია მარტივი „Space“, MNIST_Model-თან ურთიერთქმედებისთვის, რომელიც 20 ეპოქის განმავლობაში ვავარჯიშე (სატესტო ნაკრებზე 89%-იან სიზუსტეს მივაღწიე). თქვენ ხატავთ რიცხვს თეთრ ტილოზე და მოდელი იწინასწარმეტყველებს რიცხვს თქვენი გამოსახულებიდან. სრულ „Space“-ზე წვდომა შეგიძლიათ აქ. სცადეთ ამ მოდელის მოტყუება😁. გამოიყენეთ თქვენი ყველაზე სასაცილო ხელწერა; დაწერეთ ტილოს გვერდებზე; გაერთეთ! მოახერხეთ ზემოთ მოცემული მოდელის მოტყუება?😀 თუ კი, მაშინ დროა, მონიშნოთ თქვენი მოწინააღმდეგე მაგალითი. მონიშვნა მოიცავს: მე დავწერე მორგებული ფუნქცია ამ ყველაფრის გასაკეთებლად. დამატებითი დეტალებისთვის იხილეთ სრული კოდი აქ. შენიშვნა: Gradio-ს აქვს ჩაშენებული მონიშვნის უკუგამოძახების ფუნქცია, რომელიც საშუალებას გაძლევთ მარტივად მონიშნოთ თქვენი მოდელის მოწინააღმდეგე ნიმუშები. მეტი წაიკითხეთ ამის შესახებ აქ. საბოლოო ნაბიჯი არის სამივე კომპონენტის (მოდელის კონფიგურაცია, მასთან ურთიერთქმედება და მისი მონიშვნა) გაერთიანება ერთ დემო „Space“-ში! ამ მიზნით, მე შევქმენი MNIST Adversarial Space MNIST-ის ხელნაწერი ამოცნობის ამოცანისთვის დინამიური მოწინააღმდეგე მონაცემთა შეგროვებისთვის. თავისუფლად გამოსცადეთ ქვემოთ. დინამიური მოწინააღმდეგე მონაცემთა შეგროვება (DADC) სულ უფრო მეტ პოპულარობას იძენს მანქანური სწავლების საზოგადოებაში, როგორც მრავალფეროვანი, არაგაჯერებადი, ადამიანზე ორიენტირებული მონაცემთა ნაკრების შეგროვების საშუალება და მოდელის შეფასებისა და ამოცანის შესრულების გაუმჯობესების გზა. ადამიანის მიერ გენერირებული მოწინააღმდეგე მონაცემების დინამიურად შეგროვებით, მოდელების ჩართულობით, ჩვენ შეგვიძლია გავაუმჯობესოთ ჩვენი მოდელების განზოგადების პოტენციალი. მოდელის შეცდომაში შეყვანისა და შეგროვებულ მოწინააღმდეგე მონაცემებზე მისი გაწვრთნის ეს პროცესი უნდა განმეორდეს მრავალი რაუნდის განმავლობაში 1. ერიკ უოლესი და სხვები, ბუნებრივი ენის დასკვნის ამოცანებზე ჩატარებულ ექსპერიმენტებში, აჩვენებენ, რომ მიუხედავად იმისა, რომ მოკლევადიან პერსპექტივაში სტანდარტული არა-მოწინააღმდეგე მონაცემთა შეგროვება უკეთესად მუშაობს, გრძელვადიან პერსპექტივაში დინამიური მოწინააღმდეგე მონაცემთა შეგროვება იწვევს უმაღლეს სიზუსტეს შესამჩნევი სხვაობით. 🤗 Spaces-ის გამოყენებით, შედარებით ადვილი ხდება პლატფორმის აგება თქვენი მოდელისთვის მოწინააღმდეგე მონაცემების დინამიურად შეგროვებისა და მათზე გაწვრთნისთვის.