Renumics Spotlight საშუალებას გაძლევთ შექმნათ ინტერაქტიული ვიზუალიზაციები თქვენს მონაცემებში კრიტიკული კლასტერების იდენტიფიცირებისთვის. ვინაიდან Spotlight-ს ესმის მონაცემთა სემანტიკა Hugging Face-ის მონაცემთა ნაკრებებში, მისი გამოყენების დაწყება შეგიძლიათ მხოლოდ ერთი ხაზი კოდით: Spotlight იძლევა საშუალებას გამოიყენოთ მოდელის შედეგები, როგორიცაა პროგნოზები და ემბედინგები (embeddings), რათა უფრო ღრმად გაიგოთ მონაცემთა სეგმენტები და მოდელის ხარვეზები: მონაცემთა ინსპექტირება არის ძალიან მნიშვნელოვანი ამოცანა მანქანური სწავლების (ML) განვითარების თითქმის ყველა ეტაპზე, თუმცა ის შეიძლება იყოს ძალიან შრომატევადი. „მონაცემთა ხელით ინსპექტირებას ალბათ ყველაზე მაღალი ღირებულება-პრესტიჟის თანაფარდობა აქვს მანქანურ სწავლებაში არსებულ ნებისმიერ აქტივობასთან შედარებით.“ — გრეგ ბროკმანი. Spotlight გეხმარებათ გახადოთ მონაცემთა ინსპექტირება უფრო მასშტაბური ორი მიმართულებით: მორგებული მონაცემთა ინსპექტირების სამუშაო პროცესების შექმნა და შენარჩუნება, და შესაბამისი მონაცემთა ნიმუშებისა და კლასტერების მოძიება ინსპექტირებისთვის. შემდეგ სექციებში ჩვენ ვაჩვენებთ რამდენიმე მაგალითს Hugging Face-ის მონაცემთა ნაკრებებზე დაყრდნობით. Datasets ბიბლიოთეკას აქვს რამდენიმე მახასიათებელი, რაც მას იდეალურ ინსტრუმენტად აქცევს ML მონაცემთა ნაკრებებთან მუშაობისთვის: ის ინახავს ცხრილის მონაცემებს (მაგ., მეტამონაცემები, ლეიბლები) არასტრუქტურირებულ მონაცემებთან ერთად (მაგ., სურათები, აუდიო) საერთო Arrows ცხრილში. Datasets ასევე აღწერს მონაცემთა მნიშვნელოვან სემანტიკას ფუნქციების (მაგ., სურათები, აუდიო) და დამატებითი ამოცანების სპეციფიკური მეტამონაცემების მეშვეობით. Spotlight პირდაპირ მუშაობს datasets ბიბლიოთეკაზე. ეს ნიშნავს, რომ მონაცემთა ვიზუალიზაციისა და ინსპექტირებისთვის არ არის საჭირო მონაცემთა ნაკრების კოპირება ან წინასწარი დამუშავება. Spotlight ტვირთავს ცხრილის მონაცემებს მეხსიერებაში ეფექტური, კლიენტის მხარის მონაცემთა ანალიზის უზრუნველსაყოფად. მეხსიერებაზე ინტენსიური არასტრუქტურირებული მონაცემთა ნიმუშები (მაგ., აუდიო, სურათები, ვიდეო) იტვირთება მოთხოვნის შესაბამისად (lazily). უმეტეს შემთხვევაში, მონაცემთა ტიპები და ლეიბლების რუკებები პირდაპირ მონაცემთა ნაკრებიდან გამომდინარეობს. აქ ჩვენ ვაჩვენებთ CIFAR-100 მონაცემთა ნაკრების ვიზუალიზაციას ერთი ხაზი კოდით: იმ შემთხვევებში, როდესაც მონაცემთა ტიპები ორაზროვანია ან არ არის მითითებული, Spotlight API იძლევა მათ ხელით მინიჭების საშუალებას: ნედლი არასტრუქტურირებული მონაცემთა ნაკრებების შესწავლა ხშირად მცირე ინფორმაციას იძლევა. მოდელის შედეგების, როგორიცაა პროგნოზები ან ემბედინგები, გამოყენება დაგეხმარებათ კრიტიკული მონაცემთა ნიმუშებისა და კლასტერების აღმოჩენაში. Spotlight-ს აქვს ვიზუალიზაციის რამდენიმე ვარიანტი (მაგ., მსგავსების რუკა, შეცდომების მატრიცა), რომლებიც კონკრეტულად იყენებენ მოდელის შედეგებს. გირჩევთ შეინახოთ თქვენი პროგნოზირების შედეგები პირდაპირ Hugging Face-ის მონაცემთა ნაკრებში. ეს საშუალებას გაძლევთ არა მხოლოდ ისარგებლოთ datasets ბიბლიოთეკის ჯგუფური დამუშავების შესაძლებლობებით, არამედ შეინარჩუნოთ ლეიბლების რუკებები. ჩვენ შეგვიძლია გამოვიყენოთ transformers ბიბლიოთეკა CIFAR-100 გამოსახულების კლასიფიკაციის პრობლემაზე ემბედინგებისა და პროგნოზების გამოსათვლელად. ბიბლიოთეკებს ვამონტაჟებთ pip-ის საშუალებით: ახლა შეგვიძლია გამოვთვალოთ გამდიდრება: თუ არ გსურთ სრული ინფერენსის გაშვება, შეგიძლიათ ალტერნატიულად ჩამოტვირთოთ წინასწარ გამოთვლილი მოდელის შედეგები CIFAR-100-ისთვის ამ გაკვეთილის შესასრულებლად: ახლა შეგვიძლია გამოვიყენოთ შედეგები Spotlight-ში შესაბამისი მონაცემთა ნიმუშებისა და კლასტერების ინტერაქტიულად შესასწავლად: ვიზუალიზაციის განლაგება შეიძლება ინტერაქტიულად შეიცვალოს, შეინახოს და ჩაიტვირთოს GUI-ში: შეგიძლიათ აირჩიოთ სხვადასხვა ვიჯეტის ტიპები და კონფიგურაციები. ინსპექტორის ვიჯეტი საშუალებას იძლევა წარმოვადგინოთ მულტიმოდალური მონაცემთა ნიმუშები, მათ შორის ტექსტი, გამოსახულება, აუდიო, ვიდეო და დროის სერიების მონაცემები. ასევე შეგიძლიათ განსაზღვროთ განლაგებები Python API-ის მეშვეობით. ეს ვარიანტი განსაკუთრებით გამოსადეგია მორგებული მონაცემთა ინსპექტირებისა და კურაციის სამუშაო პროცესების შესაქმნელად, მათ შორის EDA, მოდელის გამართვა (debugging) და მოდელის მონიტორინგის ამოცანები. მონაცემთა პრობლემების ვიჯეტთან ერთად, Python API გთავაზობთ შესანიშნავ საშუალებას არსებული სკრიპტების შედეგების (მაგ., მონაცემთა ხარისხის შემოწმება ან მოდელის მონიტორინგი) მასშტაბურ მონაცემთა ინსპექტირების სამუშაო პროცესში ინტეგრირებისთვის. Spotlight შეგიძლიათ გამოიყენოთ პირდაპირ თქვენს ლოკალურ NLP, აუდიო, CV ან მულტიმოდალურ მონაცემთა ნაკრებზე. თუ გსურთ თქვენი მონაცემთა ნაკრების ან მოდელის შედეგების ჩვენება Hugging Face hub-ზე, შეგიძლიათ გამოიყენოთ Hugging Face Spaces მისთვის Spotlight ვიზუალიზაციის გასაშვებად. ჩვენ უკვე მოვამზადეთ მაგალითი Spaces მრავალი პოპულარული NLP, აუდიო და CV მონაცემთა ნაკრებისთვის hub-ზე. თქვენ შეგიძლიათ უბრალოდ გააორმაგოთ (duplicate) ერთ-ერთი ასეთი Space და მიუთითოთ თქვენი მონაცემთა ნაკრები HF_DATASET ცვლადში. სურვილისამებრ შეგიძლიათ აირჩიოთ მონაცემთა ნაკრები, რომელიც შეიცავს მოდელის შედეგებს და კონფიგურაციის სხვა ვარიანტებს, როგორიცაა გაყოფა (splits), ქვე-ნაკრებები (subsets) ან მონაცემთა ნაკრების რევიზიები. Spotlight-ის საშუალებით შეგიძლიათ შექმნათ ინტერაქტიული ვიზუალიზაციები და გამოიყენოთ მონაცემთა გამდიდრება თქვენს Hugging Face მონაცემთა ნაკრებებში კრიტიკული კლასტერების იდენტიფიცირებისთვის. ამ ბლოგში ჩვენ განვიხილეთ როგორც აუდიო ML, ისე კომპიუტერული ხედვის მაგალითი. Spotlight შეგიძლიათ გამოიყენოთ უშუალოდ თქვენი NLP, აუდიო, CV ან მულტიმოდალური მონაცემთა ნაკრების შესასწავლად და კურაციისთვის. მეტი სტატია ჩვენი ბლოგიდან · დარეგისტრირდით ან შეხვიდეთ კომენტარისთვის