მანქანური სწავლების ნებისმიერი მოდელის კარგი მუშაობისთვის, მომხმარებლებს ხშირად სჭირდებათ პარამეტრების დარეგულირების (parameter tuning) რაიმე ფორმის განხორციელება. თუმცა, თითქმის ყველა (1, 2) ან უგულებელყოფს ჰიპერპარამეტრების დარეგულირებას (hyperparameter tuning), ან ირჩევს გამარტივებულ ბადისებრ ძიებას (grid search) მცირე საძიებო სივრცით. მიუხედავად ამისა, მარტივი ექსპერიმენტები აჩვენებს მოწინავე დარეგულირების ტექნიკის გამოყენების სარგებელს. ქვემოთ მოცემულია Hugging Face transformers-ის BERT მოდელზე RTE მონაცემთა ნაკრებზე ჩატარებული ბოლოდროინდელი ექსპერიმენტი. გენეტიკურ ოპტიმიზაციის ტექნიკებს, როგორიცაა PBT, შეუძლიათ მუშაობის მნიშვნელოვანი გაუმჯობესება მოიტანონ სტანდარტულ ჰიპერპარამეტრების ოპტიმიზაციის ტექნიკებთან შედარებით. თუ თქვენ იყენებთ Transformers-ს, მოგინდებათ გქონდეთ ძლიერი ჰიპერპარამეტრების დარეგულირების გადაწყვეტილებებზე მარტივი წვდომის საშუალება, Transformers ფრეიმვორკის მორგებადობის დაკარგვის გარეშე. Transformers 3.1 ვერსიაში Hugging Face Transformers-მა და Ray Tune-მა გააერთიანეს ძალები, რათა შემოეთავაზებინათ მარტივი, მაგრამ მძლავრი ინტეგრაცია. Ray Tune არის პოპულარული Python ბიბლიოთეკა ჰიპერპარამეტრების დარეგულირებისთვის, რომელიც გთავაზობთ უახლესი ალგორითმების დიდ რაოდენობას, ასევე ინტეგრაციას საუკეთესო ინსტრუმენტებთან, როგორიცაა Weights and Biases და tensorboard. ამ ახალი Hugging Face + Ray Tune ინტეგრაციის დემონსტრირებისთვის, ჩვენ ვიყენებთ Hugging Face Datasets ბიბლიოთეკას BERT-ის MRPC-ზე დასარეგულირებლად. ამ მაგალითის გასაშვებად, გთხოვთ, ჯერ გაუშვით: pip install "ray[tune]" transformers datasets scipy sklearn torch უბრალოდ ჩართეთ Ray-ის ერთ-ერთი სტანდარტული დარეგულირების ალგორითმი სულ რამდენიმე ხაზის კოდის დამატებით. ნაგულისხმევად, ყოველი ცდა გამოიყენებს 1 CPU-ს და სურვილისამებრ 1 GPU-ს, თუ ხელმისაწვდომია. შეგიძლიათ გამოიყენოთ მრავალი GPU პარალელური ჰიპერპარამეტრების ძიებისთვის `resources_per_trial` არგუმენტის გადაცემით. ასევე შეგიძლიათ მარტივად შეცვალოთ სხვადასხვა პარამეტრების დარეგულირების ალგორითმები, როგორიცაა HyperBand, ბაიესური ოპტიმიზაცია (Bayesian Optimization), პოპულაციაზე დაფუძნებული ტრენინგი (Population-Based Training). ამ მაგალითის გასაშვებად, ჯერ გაუშვით: pip install hyperopt. ის ასევე მუშაობს Weights and Biases-თან ყოველგვარი დამატებითი კონფიგურაციის გარეშე! თუ მოგეწონათ ეს ბლოგპოსტი, აუცილებლად გადახედეთ: მეტი სტატია ჩვენი ბლოგიდან · დარეგისტრირდით ან შეხვიდეთ კომენტარის დასაწერად.