საზოგადოების მხარდაჭერით, მონაცემთა ნაკრებების სპრინტის ფარგლებში, ჩვენ ასობით NLP მონაცემთა ნაკრები დავამატეთ მრავალ ენასა და დიალექტზე! 🤗 ❤️ თუმცა, ტექსტური მონაცემთა ნაკრებები მხოლოდ დასაწყისია. მონაცემები წარმოდგენილია უფრო მდიდარი ფორმატებით, როგორიცაა 🎵 აუდიო, 📸 გამოსახულებები, ან თუნდაც აუდიოსა და ტექსტის, ან გამოსახულებისა და ტექსტის კომბინაცია. ამ მონაცემთა ნაკრებებზე გაწვრთნილი მოდელები იძლევა საოცარი აპლიკაციების შექმნის საშუალებას, როგორიცაა გამოსახულების შინაარსის აღწერა ან გამოსახულებასთან დაკავშირებულ კითხვებზე პასუხის გაცემა. 🤗 Datasets გუნდი ქმნის ინსტრუმენტებსა და ფუნქციებს, რათა ამ ტიპის მონაცემთა ნაკრებებთან მუშაობა მაქსიმალურად მარტივი იყოს დეველოპერებისთვის საუკეთესო გამოცდილების უზრუნველსაყოფად. პარალელურად, ჩვენ დავამატეთ ახალი დოკუმენტაცია, რომელიც დაგეხმარებათ მეტი გაიგოთ აუდიო და გამოსახულების მონაცემთა ნაკრებების ჩატვირთვისა და დამუშავების შესახებ. „სწრაფი დაწყება“ (Quickstart) არის ერთ-ერთი პირველი ადგილი, სადაც ახალი მომხმარებლები ეცნობიან ბიბლიოთეკის ფუნქციებს შეჯამებული სახით. ამიტომაც განვაახლეთ „სწრაფი დაწყება“, რათა მასში შევიტანოთ ინფორმაცია იმის შესახებ, თუ როგორ გამოიყენოთ 🤗 Datasets აუდიო და გამოსახულების მონაცემთა ნაკრებებთან სამუშაოდ. აირჩიეთ სასურველი მონაცემთა ნაკრების მოდალობა და იხილეთ სრული მაგალითი იმისა, თუ როგორ უნდა ჩატვირთოთ და დაამუშავოთ მონაცემთა ნაკრები, რათა ის მზად იყოს PyTorch-ით ან TensorFlow-ით საწვრთნელად. ასევე, „სწრაფი დაწყება“ განახლდა to_tf_dataset ფუნქციით, რომელიც მონაცემთა ნაკრებს გარდაქმნის tf.data.Dataset-ად ისეთივე სიმარტივით, როგორც დედა დათვი ზრუნავს თავის ბელებზე. ეს ნიშნავს, რომ თქვენ არ მოგიწევთ კოდის დაწერა მონაცემთა ნაკრების პაკეტების შემთხვევითი შერევისა და ჩატვირთვისთვის, რათა ის შეუფერხებლად იმუშაოს TensorFlow-თან. მონაცემთა ნაკრების tf.data.Dataset-ად გარდაქმნის შემდეგ, შეგიძლიათ გაწვრთნათ თქვენი მოდელი ჩვეულებრივი TensorFlow ან Keras მეთოდებით. იხილეთ „სწრაფი დაწყება“ დღესვე, რათა გაეცნოთ სხვადასხვა მონაცემთა ნაკრების მოდალობასთან მუშაობას და გამოსცადოთ ახალი to_tf_dataset ფუნქცია! თითოეულ მონაცემთა ნაკრების მოდალობას აქვს დატვირთვისა და დამუშავების საკუთარი სპეციფიკა. მაგალითად, აუდიო მონაცემთა ნაკრების ჩატვირთვისას, აუდიო სიგნალი ავტომატურად გაიშიფრება და ხელახლა დამუშავდება (resampled) Audio ფუნქციის მიერ. ეს საკმაოდ განსხვავდება ტექსტური მონაცემთა ნაკრების ჩატვირთვისგან! იმისათვის, რომ ყველა მოდალობაზე მორგებული დოკუმენტაცია უფრო ხელმისაწვდომი ყოფილიყო, შეიქმნა ახალი სპეციალური სექციები სახელმძღვანელოებით, რომლებიც ფოკუსირებულია თითოეული მოდალობის ჩატვირთვისა და დამუშავების ჩვენებაზე. თუ თქვენ ეძებთ კონკრეტულ ინფორმაციას მონაცემთა ნაკრების მოდალობასთან მუშაობის შესახებ, პირველ რიგში გადახედეთ ამ სპეციალურ სექციებს. ამასთან, არასპეციფიკური ფუნქციები, რომლებიც ფართოდ გამოიყენება, დოკუმენტირებულია „ზოგადი გამოყენების“ (General Usage) სექციაში. დოკუმენტაციის ამგვარი რეორგანიზაცია საშუალებას მოგვცემს უკეთ მოვერგოთ მონაცემთა სხვა ტიპებს, რომელთა მხარდაჭერასაც მომავალში ვგეგმავთ. იხილეთ სპეციალური სახელმძღვანელოები, რათა მეტი გაიგოთ სხვადასხვა მოდალობის მონაცემთა ნაკრებების ჩატვირთვისა და დამუშავების შესახებ. როგორც წესი, 🤗 Datasets-ის მომხმარებლები წერენ მონაცემთა ნაკრების ჩატვირთვის სკრიპტს, რათა ჩამოტვირთონ და შექმნან მონაცემთა ნაკრები შესაბამისი საწვრთნელი და სატესტო გაყოფით. ImageFolder მონაცემთა ნაკრებების კონსტრუქტორის წყალობით, თქვენ აღარ გჭირდებათ კოდის დაწერა გამოსახულების მონაცემთა ნაკრების ჩამოსატვირთად და შესაქმნელად. გამოსახულების კლასიფიკაციისთვის გამოსახულების მონაცემთა ნაკრების ჩატვირთვა ისეთივე მარტივია, როგორც დარწმუნდეთ, რომ თქვენი მონაცემთა ნაკრები საქაღალდეშია მოწყობილი. გამოსახულების იარლიყები გენერირდება იარლიყების სვეტში საქაღალდის სახელწოდების საფუძველზე. ImageFolder საშუალებას გაძლევთ მყისიერად დაიწყოთ მუშაობა გამოსახულების მონაცემთა ნაკრებთან, რაც გამორიცხავს მონაცემთა ნაკრების ჩატვირთვის სკრიპტის დასაწერად საჭირო დროსა და ძალისხმევას. მაგრამ მოიცადეთ, კიდევ უფრო უკეთესია! თუ თქვენ გაქვთ ფაილი, რომელიც შეიცავს გარკვეულ მეტამონაცემებს თქვენი გამოსახულების მონაცემთა ნაკრების შესახებ, ImageFolder შეიძლება გამოყენებულ იქნას სხვა გამოსახულების ამოცანებისთვის, როგორიცაა გამოსახულების აღწერა (image captioning) და ობიექტების ამოცნობა (object detection). მაგალითად, ობიექტების ამოცნობის მონაცემთა ნაკრებებს ხშირად აქვთ შემოსაზღვრული ველები (bounding boxes) – გამოსახულებაში არსებული კოორდინატები, რომლებიც ობიექტის მდებარეობას განსაზღვრავს. ImageFolder-ს შეუძლია გამოიყენოს ეს ფაილი, რათა დააკავშიროს შემოსაზღვრული ველის და კატეგორიის მეტამონაცემები თითოეული გამოსახულებისთვის საქაღალდეში არსებულ შესაბამის გამოსახულებებთან. შეგიძლიათ გამოიყენოთ ImageFolder თითქმის ნებისმიერი ტიპის გამოსახულების ამოცანისთვის, თუ გაქვთ მეტამონაცემების ფაილი საჭირო ინფორმაციით. მეტი ინფორმაციისთვის იხილეთ ImageFolder-ის სახელმძღვანელო. ისევე, როგორც 🤗 Datasets ბიბლიოთეკის პირველმა იტერაციამ მოახდინა ტექსტური მონაცემთა ნაკრებების სტანდარტიზაცია და მათი ჩამოტვირთვა და დამუშავება სუპერ მარტივი გახადა, ჩვენ ძალიან მოხარულები ვართ, რომ იგივე დონის მომხმარებლისთვის მოსახერხებელი ფუნქციონალი შემოგვაქვს აუდიო და გამოსახულების მონაცემთა ნაკრებებისთვის. ამის გაკეთებით, ვიმედოვნებთ, რომ მომხმარებლებისთვის უფრო ადვილი იქნება მოდელებისა და აპლიკაციების გაწვრთნა, შექმნა და შეფასება ყველა სხვადასხვა მოდალობის მასშტაბით. მომდევნო თვეებში ჩვენ გავაგრძელებთ ახალი ფუნქციებისა და ინსტრუმენტების დამატებას აუდიო და გამოსახულების მონაცემთა ნაკრებებთან მუშაობის მხარდასაჭერად. Hugging Face-ის ქუჩაზე ხმა დადის, რომ მალე გამოჩნდება რაღაც სახელწოდებით AudioFolder! 🤫 სანამ ელოდებით, შეგიძლიათ გადახედოთ აუდიო დამუშავების სახელმძღვანელოს და შემდეგ იმუშაოთ ისეთ აუდიო მონაცემთა ნაკრებთან, როგორიცაა GigaSpeech. შემოგვიერთდით ფორუმზე ნებისმიერი კითხვისა და გამოხმაურებისთვის აუდიო და გამოსახულების მონაცემთა ნაკრებებთან მუშაობის შესახებ. თუ აღმოაჩენთ რაიმე ხარვეზს, გთხოვთ, გახსნათ GitHub Issue, რათა ჩვენ მას მივხედოთ. თუ უფრო თავგადასავლების მოყვარული ხართ? წვლილი შეიტანეთ ჰაბზე აუდიო და გამოსახულების მონაცემთა ნაკრებების მზარდ, საზოგადოებაზე ორიენტირებულ კოლექციაში! შექმენით მონაცემთა ნაკრების საცავი ჰაბზე და ატვირთეთ თქვენი მონაცემთა ნაკრები. თუ დახმარება გჭირდებათ, გახსენით დისკუსია თქვენი საცავის „საზოგადოების“ ჩანართში და დაუკავშირდით 🤗 Datasets გუნდის ერთ-ერთ წევრს.