ამ მორგებადობის ხელშესაწყობად, Explosion-მა დაიწყო პლაგინების გამოშვება. ეს პლაგინები ღიად ინტეგრირდება მესამე მხარის ხელსაწყოებთან, რაც მომხმარებლებს უბიძგებს იმუშაონ მორგებულ ანოტაციის სამუშაო პროცესებზე. თუმცა, ერთი კონკრეტული მორგება განსაკუთრებულ აღნიშვნას იმსახურებს. გასულ კვირას, Explosion-მა წარმოადგინა Prodigy-HF, რომელიც გვთავაზობს კოდის „რეცეპტებს“, რომლებიც უშუალოდ ინტეგრირდება Hugging Face-ის სტეკთან. ეს იყო Prodigy-ის მხარდაჭერის ფორუმზე ერთ-ერთი ყველაზე მოთხოვნადი ფუნქცია, ამიტომ ძალიან მოხარულები ვართ, რომ ის უკვე ხელმისაწვდომია. პირველი მთავარი მახასიათებელი ისაა, რომ ეს პლაგინი საშუალებას გაძლევთ გაწვრთნათ და ხელახლა გამოიყენოთ Hugging Face მოდელები თქვენს ანოტირებულ მონაცემებზე. ეს ნიშნავს, რომ თუ თქვენ ანოტაციას უკეთებდით მონაცემებს ჩვენს ინტერფეისში დასახელებული ერთეულების ამოცნობისთვის (NER), შეგიძლიათ პირდაპირ დახვეწოთ BERT მოდელები ამ მონაცემების გამოყენებით. პლაგინის ინსტალაციის შემდეგ, შეგიძლიათ ბრძანების ხაზიდან გამოიყენოთ hf.train.ner „რეცეპტი“ ტრანსფორმატორული მოდელის უშუალოდ თქვენს მონაცემებზე გასაწვრთნელად. ეს დახვეწავს distilbert-base-uncased მოდელს Prodigy-ში შენახული მონაცემთა ნაკრებისთვის და შეინახავს მას დისკზე. ანალოგიურად, ეს პლაგინი მხარს უჭერს ტექსტის კლასიფიკაციის მოდელებსაც ძალიან მსგავსი ინტერფეისის მეშვეობით. ეს დიდ მოქნილობას გვთავაზობს, რადგან ხელსაწყო უშუალოდ ინტეგრირდება Hugging Face ტრანსფორმატორების AutoTokenizer და AutoModel კლასებთან. ნებისმიერი ტრანსფორმატორული მოდელი „ჰაბზე“ (Hugging Face Hub) შეიძლება დახვეწილ იქნას თქვენს საკუთარ მონაცემთა ნაკრებზე სულ ერთი ბრძანებით. ეს მოდელები დისკზე სერიალიზებული იქნება, რაც იმას ნიშნავს, რომ შეგიძლიათ ატვირთოთ ისინი Hugging Face Hub-ზე, ან ხელახლა გამოიყენოთ მონაცემთა ანოტაციის პროცესში დასახმარებლად. ამან შეიძლება მნიშვნელოვნად დაზოგოს დრო, განსაკუთრებით NER ამოცანებისთვის. გაწვრთნილი NER მოდელის ხელახლა გამოსაყენებლად შეგიძლიათ გამოიყენოთ hf.correct.ner „რეცეპტი“. ეს მოგცემთ მსგავს ინტერფეისს, როგორც ადრე, მაგრამ ახლა მოდელის პროგნოზებიც გამოჩნდება ინტერფეისში. მეორე ფუნქცია, რომელიც არანაკლებ ამაღელვებელია, არის ის, რომ ახლა შეგიძლიათ თქვენი ანოტირებული მონაცემთა ნაკრებები Hugging Face Hub-ზე გამოაქვეყნოთ. ეს შესანიშნავია, თუ დაინტერესებული ხართ მონაცემთა ნაკრებების გაზიარებით, რომელთა გამოყენებაც სხვებს სურთ. ჩვენ განსაკუთრებით მოგვწონს ეს ატვირთვის ფუნქცია, რადგან ის ხელს უწყობს თანამშრომლობას. ადამიანებს შეუძლიათ დამოუკიდებლად მოახდინონ საკუთარი მონაცემთა ნაკრებების ანოტაცია, მაგრამ მაინც მიიღონ სარგებელი, როდესაც ამ მონაცემებს ფართო საზოგადოებას უზიარებენ. ვიმედოვნებთ, რომ Hugging Face-ის ეკოსისტემასთან ეს უშუალო ინტეგრაცია მრავალ მომხმარებელს საშუალებას მისცემს, მეტი ექსპერიმენტი ჩაატარონ. Hugging Face Hub გვთავაზობს მრავალ მოდელს ამოცანების ფართო სპექტრისთვის, ასევე ენების ფართო სპექტრისთვის. ნამდვილად ვიმედოვნებთ, რომ ეს ინტეგრაცია გააადვილებს მონაცემთა ანოტაციას, მაშინაც კი, თუ თქვენ გაქვთ უფრო დომენისთვის სპეციფიკური და ექსპერიმენტული გამოყენების შემთხვევა. ამ ბიბლიოთეკისთვის მეტი ფუნქცია გზაშია და თავისუფლად დაგვიკავშირდით Prodigy-ის ფორუმზე, თუ მეტი შეკითხვა გაქვთ. ასევე გვინდა მადლობა გადავუხადოთ Hugging Face-ის გუნდს ამ პლაგინთან დაკავშირებული უკუკავშირისთვის, განსაკუთრებით @davanstrien-ს, რომელმაც ატვირთვის ფუნქციის დამატება შემოგვთავაზა. მადლობა!