Hugging Face-ის 🤗 Datasets: აუდიო მონაცემთა ნაკრებების ჩამოტვირთვა და დამუშავება

🤗 Datasets არის ღია კოდის ბიბლიოთეკა, რომელიც განკუთვნილია ყველა სფეროდან მონაცემთა ნაკრებების ჩამოსატვირთად და მოსამზადებლად. მისი მინიმალისტური API მომხმარებლებს საშუალებას აძლევს, პითონის ერთი ხაზის კოდით ჩამოტვირთონ და მოამზადონ მონაცემთა ნაკრებები, ფუნქციების კომპლექტით, რომელიც უზრუნველყოფს ეფექტურ წინასწარ დამუშავებას. ხელმისაწვდომი მონაცემთა ნაკრებების რაოდენობა შეუდარებელია, ხელმისაწვდომია მანქანური სწავლების ყველა ყველაზე პოპულარული მონაცემთა ნაკრები. გარდა ამისა, 🤗 Datasets აღჭურვილია მრავალი აუდიო-სპეციფიკური ფუნქციით, რაც მკვლევრებსა და პრაქტიკოსებს უმარტივებს აუდიო მონაცემთა ნაკრებებთან მუშაობას. ამ ბლოგში ჩვენ წარმოგიდგენთ ამ ფუნქციებს და ვაჩვენებთ, თუ რატომ არის 🤗 Datasets საუკეთესო ადგილი აუდიო მონაცემთა ნაკრებების ჩამოსატვირთად და მოსამზადებლად. Hugging Face Hub არის პლატფორმა მოდელების, მონაცემთა ნაკრებებისა და დემოების ჰოსტინგისთვის, ყველა მათგანი ღია კოდისაა და საჯაროდ ხელმისაწვდომია. ის წარმოადგენს აუდიო მონაცემთა ნაკრებების მზარდი კოლექციის საცავს, რომელიც მოიცავს მრავალფეროვან სფეროებს, ამოცანებსა და ენებს. 🤗 Datasets-თან მჭიდრო ინტეგრაციის წყალობით, Hub-ზე არსებული ყველა მონაცემთა ნაკრები შეიძლება ჩამოიტვირთოს ერთი ხაზის კოდით. მოდით, გადავიდეთ Hub-ზე და გავფილტროთ მონაცემთა ნაკრებები ამოცანის მიხედვით: ამ სტატიის დაწერის მომენტისთვის, Hub-ზე ხელმისაწვდომია 77 მეტყველების ამოცნობის მონაცემთა ნაკრები და 28 აუდიო კლასიფიკაციის მონაცემთა ნაკრები, და ეს რიცხვები მუდმივად იზრდება. თქვენ შეგიძლიათ აირჩიოთ ნებისმიერი მათგანი თქვენი საჭიროებების შესაბამისად. მოდით, შევამოწმოთ მეტყველების ამოცნობის პირველი შედეგი. `common_voice`-ზე დაწკაპუნებით გამოჩნდება მონაცემთა ნაკრების ბარათი: აქ ჩვენ შეგვიძლია ვიპოვოთ დამატებითი ინფორმაცია მონაცემთა ნაკრების შესახებ, ვნახოთ, თუ რომელი მოდელებია გაწვრთნილი ამ მონაცემთა ნაკრებზე და, რაც ყველაზე საინტერესოა, მოვუსმინოთ რეალურ აუდიო ნიმუშებს. მონაცემთა ნაკრების გადახედვა (Dataset Preview) წარმოდგენილია მონაცემთა ნაკრების ბარათის შუაში. ის გვიჩვენებს პირველ 100 ნიმუშს თითოეული ქვეჯგუფისა და გაყოფისთვის. უფრო მეტიც, ის ატვირთავს აუდიო ნიმუშებს, მზად არის ჩვენთვის რეალურ დროში მოსასმენად. თუ დავაჭერთ დაკვრის ღილაკს პირველ ნიმუშზე, შეგვიძლია მოვისმინოთ აუდიო და ვნახოთ შესაბამისი ტექსტი. მონაცემთა ნაკრების გადახედვა (Dataset Preview) შესანიშნავი საშუალებაა აუდიო მონაცემთა ნაკრებების გამოსაცდელად, სანამ მათ გამოყენებაზე საბოლოოდ გადაწყვეტთ. თქვენ შეგიძლიათ აირჩიოთ ნებისმიერი მონაცემთა ნაკრები Hub-ზე, გადახედოთ ნიმუშებს და მოუსმინოთ აუდიოს სხვადასხვა ქვეჯგუფებისა და გაყოფებისთვის, რათა შეაფასოთ, არის თუ არა ის სწორი მონაცემთა ნაკრები თქვენი საჭიროებებისთვის. მას შემდეგ, რაც მონაცემთა ნაკრებს შეარჩევთ, მისი ჩატვირთვა ძალიან მარტივია, რათა დაიწყოთ მისი გამოყენება. 🤗 Datasets-ის ერთ-ერთი მთავარი განმსაზღვრელი მახასიათებელია მონაცემთა ნაკრების ჩამოტვირთვისა და მომზადების შესაძლებლობა პითონის კოდის მხოლოდ ერთ ხაზში. ეს შესაძლებელი ხდება `load_dataset` ფუნქციის მეშვეობით. ტრადიციულად, მონაცემთა ნაკრების ჩატვირთვა მოიცავს: i) ნედლი მონაცემების ჩამოტვირთვას, ii) მის ამოღებას შეკუმშული ფორმატიდან და iii) ინდივიდუალური ნიმუშებისა და გაყოფების მომზადებას. `load_dataset`-ის გამოყენებით, მთელი შრომატევადი სამუშაო ხდება კულისებში. მოდით, განვიხილოთ GigaSpeech მონაცემთა ნაკრების ჩატვირთვის მაგალითი Speech Colab-იდან. GigaSpeech შედარებით ახალი მეტყველების ამოცნობის მონაცემთა ნაკრებია აკადემიური მეტყველების სისტემების ბენჩმარკინგისთვის და არის ერთ-ერთი მრავალი აუდიო მონაცემთა ნაკრებიდან, რომელიც ხელმისაწვდომია Hugging Face Hub-ზე. GigaSpeech მონაცემთა ნაკრების ჩასატვირთად, ჩვენ უბრალოდ ვიღებთ მონაცემთა ნაკრების იდენტიფიკატორს Hub-ზე (`speechcolab/gigaspeech`) და ვუთითებთ მას `load_dataset` ფუნქციას. GigaSpeech წარმოდგენილია ხუთ კონფიგურაციაში, მზარდი ზომით, xs (10 საათი) -დან xl (10,000 საათი) -მდე. ამ გაკვეთილის მიზნებისთვის, ჩვენ ჩავტვირთავთ ამ კონფიგურაციებიდან ყველაზე მცირეს. მონაცემთა ნაკრების იდენტიფიკატორი და სასურველი კონფიგურაცია არის ყველაფერი, რაც გვჭირდება მონაცემთა ნაკრების ჩამოსატვირთად: და აი, GigaSpeech მონაცემთა ნაკრები მზადაა! აუდიო მონაცემთა ნაკრების ჩატვირთვის უბრალოდ არ არსებობს უფრო მარტივი გზა. ჩვენ ვხედავთ, რომ გვაქვს წვრთნის, ვალიდაციის და ტესტირების გაყოფები წინასწარ დაყოფილი, თითოეულისთვის შესაბამისი ინფორმაციით. `load_dataset` ფუნქციის მიერ დაბრუნებული ობიექტი `gigaspeech` არის `DatasetDict`. ჩვენ შეგვიძლია მოვექცეთ მას ისევე, როგორც ჩვეულებრივ პითონის ლექსიკონს. სასწავლო გაყოფის მისაღებად, ჩვენ გადავცემთ შესაბამის გასაღებს `gigaspeech` ლექსიკონს: ეს აბრუნებს `Dataset` ობიექტს, რომელიც შეიცავს მონაცემებს სასწავლო გაყოფისთვის. ჩვენ შეგვიძლია ერთი დონით უფრო ღრმად ჩავიდეთ და მივიღოთ გაყოფის პირველი ელემენტი. ეს კვლავ შესაძლებელია სტანდარტული პითონის ინდექსირების საშუალებით: ჩვენ ვხედავთ, რომ სასწავლო გაყოფის მიერ დაბრუნებულია მრავალი მახასიათებელი, მათ შორის `segment_id`, `speaker`, `text`, `audio` და სხვა. მეტყველების ამოცნობისთვის, ჩვენ დავინტერესდებით `text` და `audio` სვეტებით. 🤗 Datasets-ის `remove_columns` მეთოდის გამოყენებით, ჩვენ შეგვიძლია წავშალოთ მონაცემთა ნაკრების ის მახასიათებლები, რომლებიც არ არის საჭირო მეტყველების ამოცნობისთვის: მოდით, შევამოწმოთ, რომ წარმატებით შევინარჩუნეთ `text` და `audio` სვეტები: შესანიშნავია! ჩვენ ვხედავთ, რომ გვაქვს ორი საჭირო სვეტი `text` და `audio`. `text` არის სტრიქონი ნიმუშის ტრანსკრიფციით, ხოლო `audio` არის ამპლიტუდის მნიშვნელობების 1-განზომილებიანი მასივი 16KHz შერჩევის სიხშირით. ეს არის ჩვენი ჩატვირთული მონაცემთა ნაკრები! მონაცემთა ნაკრების ჩატვირთვა 🤗 Datasets-ით მხოლოდ გართობის ნახევარია. ახლა ჩვენ შეგვიძლია გამოვიყენოთ ხელმისაწვდომი ინსტრუმენტების კომპლექტი ჩვენი მონაცემების ეფექტურად წინასწარ დასამუშავებლად მოდელის წვრთნისთვის ან ინფერენციისთვის. ამ სექციაში ჩვენ შევასრულებთ მონაცემთა დამუშავების სამ ეტაპს.