🤗 Accelerate: გაამარტივეთ PyTorch-ის განაწილებული ტრენინგი სრული კონტროლის შენარჩუნებით

გაუშვით თქვენი PyTorch-ის სავარჯიშო სკრიპტები ნებისმიერი ტიპის მოწყობილობაზე. PyTorch-ზე დაფუძნებული მაღალი დონის ბიბლიოთეკების უმეტესობა უზრუნველყოფს განაწილებული ტრენინგისა და შერეული სიზუსტის მხარდაჭერას, მაგრამ მათ მიერ შემოტანილი აბსტრაქცია მომხმარებლისგან მოითხოვს ახალი API-ის შესწავლას, თუ მათ სურთ ძირითადი სავარჯიშო ციკლის კონფიგურირება. 🤗 Accelerate შეიქმნა PyTorch-ის იმ მომხმარებლებისთვის, რომლებსაც სურთ ჰქონდეთ სრული კონტროლი თავიანთ სავარჯიშო ციკლებზე, მაგრამ არ სურთ დაწერონ (და შეინარჩუნონ) ის შაბლონური კოდი, რომელიც საჭიროა განაწილებული ტრენინგის (რამდენიმე GPU-ზე ერთ ან მეტ კვანძზე, TPU-ებზე, ...) ან შერეული სიზუსტის ტრენინგის გამოსაყენებლად. სამომავლო გეგმები მოიცავს fairscale-ის, deepspeed-ის, AWS SageMaker-ისთვის სპეციფიკური მონაცემთა-პარალელიზმისა და მოდელის პარალელიზმის მხარდაჭერას. ის გთავაზობთ ორ რამეს: მარტივ და თანმიმდევრულ API-ს, რომელიც აბსტრაგირებს შაბლონურ კოდს, და გამშვებ ბრძანებას, რათა მარტივად გაუშვათ ეს სკრიპტები სხვადასხვა კონფიგურაციაზე. მოდით, ჯერ მაგალითს გადავხედოთ: PyTorch-ის ნებისმიერ სტანდარტულ სავარჯიშო სკრიპტში მხოლოდ ხუთი ხაზის დამატებით, შეგიძლიათ ეს სკრიპტი გაუშვათ ნებისმიერი ტიპის განაწილებულ გარემოში, ასევე შერეული სიზუსტით ან მის გარეშე. 🤗 Accelerate თქვენთვის აგვარებს მოწყობილობაზე განთავსებასაც, ასე რომ, შეგიძლიათ კიდევ უფრო გაამარტივოთ ზემოთ მოცემული სავარჯიშო ციკლი: ამის საპირისპიროდ, ქვემოთ მოცემულია ის ცვლილებები, რომლებიც საჭიროა ამ კოდის განაწილებული ტრენინგით გასაშვებად: ეს ცვლილებები თქვენს სავარჯიშო სკრიპტს მრავალ GPU-ზე ამუშავებს, მაგრამ შემდეგ თქვენი სკრიპტი შეწყვეტს მუშაობას CPU-ზე ან ერთ GPU-ზე (თუ ყველგან if ოპერატორების დამატებას არ დაიწყებთ). კიდევ უფრო შემაწუხებელია ის, რომ თუ გსურთ თქვენი სკრიპტის ტესტირება TPU-ებზე, მოგიწევთ კოდის სხვადასხვა ხაზის შეცვლა. იგივე ეხება შერეული სიზუსტის ტრენინგსაც. 🤗 Accelerate-ის დაპირებაა: იმის სანახავად, თუ როგორ მუშაობს ბიბლიოთეკა პრაქტიკაში, მოდით, გადავხედოთ კოდის თითოეულ ხაზს, რომელიც უნდა დავამატოთ სავარჯიშო ციკლს. გარდა იმისა, რომ გვაწვდის ძირითად ობიექტს, რომელსაც გამოიყენებთ, ეს ხაზი გარემოდან გაანალიზებს განაწილებული ტრენინგის ტიპს და შეასრულებს საჭირო ინიციალიზაციას. შეგიძლიათ აიძულოთ ტრენინგი CPU-ზე ან შერეული სიზუსტის ტრენინგი, თუ init-ს გადასცემთ cpu=True ან fp16=True პარამეტრებს. ორივე ამ ვარიანტის დაყენება შესაძლებელია თქვენი სკრიპტის გამშვების გამოყენებითაც. ეს არის API-ის ძირითადი ნაწილი და ის მოამზადებს სამ ძირითად ტიპის ობიექტს: მოდელებს (torch.nn.Module), ოპტიმიზატორებს (torch.optim.Optimizer) და მონაცემთა ჩამტვირთავებს (torch.data.dataloader.DataLoader). მოდელის მომზადება მოიცავს მის შესაფერის კონტეინერში შეფუთვას (მაგალითად, DistributedDataParallel) და შესაბამის მოწყობილობაზე განთავსებას. როგორც ჩვეულებრივი განაწილებული ტრენინგის შემთხვევაში, თქვენ დაგჭირდებათ მოდელის ამოხსნა შესანახად, ან მისი სპეციფიკური მეთოდების მისაწვდომად, რისი გაკეთებაც შესაძლებელია accelerator.unwrap_model(model)-ის გამოყენებით. ოპტიმიზატორი ასევე შეფუთულია სპეციალურ კონტეინერში, რომელიც შეასრულებს საჭირო ოპერაციებს ნაბიჯში, რათა შერეულმა სიზუსტემ იმუშაოს. ის ასევე სწორად გაუმკლავდება მდგომარეობის ლექსიკონის (state dict) მოწყობილობაზე განთავსებას, თუ ის არ არის ცარიელი ან ჩატვირთულია checkpoint-იდან. აქ იმალება მაგიის უმეტესი ნაწილი. როგორც კოდის მაგალითში ნახეთ, ბიბლიოთეკა არ ეყრდნობა DistributedSampler-ს, ის რეალურად იმუშავებს ნებისმიერ შემგროვებელთან (sampler), რომელსაც გადასცემთ თქვენს dataloader-ს (თუ ოდესმე მოგიწევთ თქვენი პერსონალური შემგროვებლის განაწილებული ვერსიის დაწერა, ამის საჭიროება აღარ არის!). მონაცემთა ჩამტვირთავი შეფუთულია კონტეინერში, რომელიც შემგროვებლიდან მხოლოდ მიმდინარე პროცესისთვის შესაბამის ინდექსებს აიღებს (ან გამოტოვებს პაკეტებს სხვა პროცესებისთვის, თუ იყენებთ IterableDataset-ს) და პაკეტებს შესაბამის მოწყობილობაზე განათავსებს. იმისათვის, რომ ეს იმუშაოს, Accelerate გთავაზობთ დამხმარე ფუნქციას, რომელიც განაწილებული ტრენინგის დროს გაშვებულ თითოეულ პროცესზე შემთხვევითი რიცხვების გენერატორებს მოახდენს სინქრონიზაციას. ნაგულისხმევად, ის მხოლოდ თქვენი შემგროვებლის გენერატორს ახდენს სინქრონიზაციას, ასე რომ, თქვენი მონაცემთა გაფართოება (data augmentation) განსხვავებული იქნება თითოეულ პროცესზე, მაგრამ შემთხვევითი არევა (random shuffling) იგივე დარჩება. რა თქმა უნდა, შეგიძლიათ გამოიყენოთ ეს დამხმარე ფუნქცია მეტი შემთხვევითი რიცხვების გენერატორის სინქრონიზაციისთვის, თუ ეს დაგჭირდებათ. ეს უკანასკნელი ხაზი ამატებს საჭირო ნაბიჯებს უკუგავლისთვის (ძირითადად შერეული სიზუსტისთვის, მაგრამ სხვა ინტეგრაციებს აქ სპეციფიკური ქცევა დასჭირდება). შეფასება შეიძლება გაეშვას ნორმალურად ყველა პროცესზე, ან თუ უბრალოდ გსურთ მისი გაშვება მთავარ პროცესზე, შეგიძლიათ გამოიყენოთ მოსახერხებელი ტესტი: მაგრამ ასევე შეგიძლიათ ძალიან მარტივად გაუშვათ განაწილებული შეფასება Accelerate-ის გამოყენებით, აი, რა უნდა დაამატოთ თქვენს შეფასების ციკლს: როგორც ტრენინგისთვის, თქვენ უნდა დაამატოთ ერთი ხაზი თქვენი შეფასების მონაცემთა ჩამტვირთავის მოსამზადებლად. შემდეგ შეგიძლიათ უბრალოდ გამოიყენოთ accelerator.gather, რათა შეაგროვოთ პროცესებს შორის პროგნოზებისა და ეტიკეტების ტენსორები. ბოლო დასამატებელი ხაზი ჭრის პროგნოზებსა და ეტიკეტებს თქვენს მონაცემთა ნაკრებში არსებული მაგალითების რაოდენობამდე, რადგან მომზადებული შეფასების მონაცემთა ჩამტვირთავი დააბრუნებს რამდენიმე დამატებით ელემენტს იმის უზრუნველსაყოფად, რომ პაკეტებს ყველა პროცესზე ერთი და იგივე ზომა ჰქონდეთ. Accelerate-ის გამოყენებით შექმნილი სკრიპტები სრულად თავსებადი იქნება თქვენს ტრადიციულ გამშვებებთან, როგორიცაა torch.distributed.launch. მაგრამ მათთვის ყველა არგუმენტის დამახსოვრება ცოტა შემაწუხებელია და როდესაც თქვენი ინსტანცია 4 GPU-ით გაქვთ დაყენებული, თქვენი ტრენინგების უმეტესობას მათ გამოყენებით გაუშვებთ. Accelerate-ს მოყვება