დღეს ჩვენ ვაცხადებთ Hugging Face-სა და Amazon-ს შორის სტრატეგიულ პარტნიორობას, რომლის მიზანია კომპანიებისთვის უახლესი მანქანური სწავლების (ML) მოდელების გამოყენების გამარტივება და ხელოვნური ინტელექტის (NLP) ინოვაციური ფუნქციების უფრო სწრაფად დანერგვა. ამ პარტნიორობის ფარგლებში, Hugging Face იყენებს Amazon Web Services-ს, როგორც სასურველ ღრუბლოვან პროვაიდერს, რათა მიაწოდოს მომსახურება თავის მომხმარებლებს. როგორც პირველი ნაბიჯი საერთო მომხმარებლებისთვის შესაძლებლობების გასაზრდელად, Hugging Face და Amazon წარმოგიდგენთ Hugging Face-ის ახალ ღრმა სწავლების კონტეინერებს (DLCs), რათა Amazon SageMaker-ში Hugging Face Transformer მოდელების გაწვრთნა მარტივზე მარტივი გახდეს. იმის გასაგებად, თუ როგორ გამოიყენოთ Hugging Face-ის ახალი DLC-ები Amazon SageMaker Python SDK-თან ერთად, იხილეთ ქვემოთ მოცემული სახელმძღვანელოები და რესურსები. 2021 წლის 8 ივლისს ჩვენ გავაფართოვეთ Amazon SageMaker-ის ინტეგრაცია ტრანსფორმერების მოდელების მარტივი განთავსებისა და ინფერენციის დასამატებლად. თუ გსურთ გაიგოთ, როგორ შეგიძლიათ მარტივად განათავსოთ Hugging Face-ის მოდელები Amazon SageMaker-ის გამოყენებით, იხილეთ ახალი ბლოგ-პოსტი და დოკუმენტაცია. Amazon SageMaker-ში ხელმისაწვდომი Hugging Face-ის ახალი ღრმა სწავლების კონტეინერების (DLCs) წყალობით, ტრანსფორმერებზე დაფუძნებული ხელოვნური ინტელექტის (NLP) უახლესი მოდელების გაწვრთნა არასდროს ყოფილა ასეთი მარტივი. ხელმისაწვდომია ვარიანტები, რომლებიც სპეციალურად ოპტიმიზებულია TensorFlow-ისა და PyTorch-ისთვის, ერთ-GPU-იანი, ერთ-კვანძოვანი მრავალ-GPU-იანი და მრავალკვანძოვანი კლასტერებისთვის. Hugging Face DLC-ების გარდა, ჩვენ შევქმენით უმაღლესი დონის Hugging Face გაფართოება SageMaker Python-SDK-ისთვის, მონაცემთა მეცნიერების გუნდების დასაჩქარებლად, რაც ექსპერიმენტების დაყენებისა და გაშვებისთვის საჭირო დროს დღეებიდან წუთებამდე ამცირებს. თქვენ შეგიძლიათ გამოიყენოთ Hugging Face DLC-ები Amazon SageMaker-ის მოდელის ავტომატური დარეგულირების ფუნქციასთან ერთად, რათა ავტომატურად მოახდინოთ თქვენი სავარჯიშო ჰიპერპარამეტრების ოპტიმიზაცია და სწრაფად გაზარდოთ თქვენი მოდელების სიზუსტე. SageMaker Studio-ს ვებ-დაფუძნებული ინტეგრირებული განვითარების გარემოს (IDE) წყალობით, თქვენ მარტივად შეგიძლიათ თვალყური ადევნოთ და შეადაროთ თქვენს ექსპერიმენტებსა და სავარჯიშო არტეფაქტებს. Hugging Face DLC-ების მეშვეობით, SageMaker-ის მომხმარებლები ისარგებლებენ PyTorch-ისა და TensorFlow-ისთვის ჩაშენებული შესრულების ოპტიმიზაციებით, რათა უფრო სწრაფად გაწვრთნან NLP მოდელები, ასევე მოქნილობით აირჩიონ სავარჯიშო ინფრასტრუქტურა, რომელსაც საუკეთესო ფასი/შესრულების თანაფარდობა აქვს მათი დატვირთვისთვის. Hugging Face DLC-ები სრულად არის ინტეგრირებული SageMaker-ის განაწილებული სწავლების ბიბლიოთეკებთან, რათა მოდელები გაწვრთნას უფრო სწრაფად, ვიდრე ოდესმე იყო შესაძლებელი, Amazon EC2-ზე ხელმისაწვდომი ინსტანციების უახლესი თაობის გამოყენებით. ქვემოთ შეგიძლიათ იხილოთ ყველა მნიშვნელოვანი რესურსი: გამოქვეყნებული ბლოგ-პოსტები, ვიდეოები, დოკუმენტაცია და ნიმუში Notebook-ები/სკრიპტები. ამ გაცნობით სახელმძღვანელოში ჩვენ გამოვიყენებთ Hugging Face-ის ახალ DLC-ებს და Amazon SageMaker-ის გაფართოებას, რათა გავწვრთნათ ტრანსფორმერის მოდელი ბინარული ტექსტის კლასიფიკაციისთვის transformers და datasets ბიბლიოთეკების გამოყენებით. მაგალითისთვის გამოვიყენებთ Amazon SageMaker Notebook Instance-ს. აქ შეგიძლიათ გაიგოთ, როგორ დააყენოთ Notebook Instance. **რას ვაპირებთ:** როგორც ზემოთ აღინიშნა, ამისთვის გამოვიყენებთ SageMaker Notebook Instance-ებს. დასაწყებად უნდა შეხვიდეთ თქვენს Jupyer Notebook-ში ან JupyterLab-ში და შექმნათ ახალი Notebook-ი conda_pytorch_p36 kernel-ით. შენიშვნა: Jupyter-ის გამოყენება არჩევითია: ჩვენ ასევე შეგვიძლია SageMaker-ის სავარჯიშო სამუშაოების გაშვება ნებისმიერი ადგილიდან, სადაც გვაქვს SDK დაყენებული, ღრუბელთან კავშირი და შესაბამისი ნებართვები, მაგალითად, ლეპტოპიდან, სხვა IDE-დან ან ამოცანების განრიგებიდან, როგორიცაა Airflow ან AWS Step Functions. ამის შემდეგ შეგვიძლია დავაინსტალიროთ საჭირო დამოკიდებულებები. SageMaker-ზე ტრენინგის გასაშვებად, უნდა შევქმნათ sagemaker Session და მივაწოდოთ IAM როლი სწორი ნებართვებით. ეს IAM როლი მოგვიანებით დაერთვება TrainingJob-ს, რაც მას საშუალებას მისცემს ჩამოტვირთოს მონაცემები, მაგალითად, Amazon S3-დან. SageMaker TrainingJob-ში ჩვენ ვასრულებთ python სკრიპტს დასახელებული არგუმენტებით. ამ მაგალითში ჩვენ ვიყენებთ PyTorch-ს ტრანსფორმერებთან ერთად. სკრიპტი იყენებს datasets ბიბლიოთეკას ჩვენი IMDB მონაცემთა ნაკრების ჩამოსატვირთად და წინასწარი დამუშავებისთვის. წინასწარი დამუშავების შემდეგ, მონაცემთა ნაკრები აიტვირთება მიმდინარე სესიის ნაგულისხმევ s3 bucket-ში (sess.default_bucket()), რომელიც გამოყენებული იქნება ჩვენს სავარჯიშო სამუშაოში. IMDB მონაცემთა ნაკრები შედგება 25000 სავარჯიშო და 25000 შესამოწმებელი მაღალპოლარული ფილმის მიმოხილვისგან. SageMaker Trainingjob-ის შესაქმნელად შეგვიძლია გამოვიყენოთ HuggingFace Estimator. Estimator მართავს სრულფასოვან Amazon SageMaker ტრენინგს. Estimator-ში ჩვენ განვსაზღვრავთ, რომელი fine-tuning სკრიპტი უნდა იქნას გამოყენებული, როგორც entry_point, რომელი instance_type უნდა იქნას გამოყენებული, რომელი ჰიპერპარამეტრები გადაეცემა. გარდა ამისა, ხელმისაწვდომია არაერთი გაფართოებული კონტროლი, როგორიცაა გამომავალი და კონტროლის წერტილის მდებარეობების მორგება, ლოკალური მეხსიერების ზომის ან ქსელის კონფიგურაციის მითითება. SageMaker ზრუნავს ყველა საჭირო Amazon EC2 ინსტანციის გაშვებასა და მართვაზე Hugging Face DLC-თან ერთად. ის ტვირთავს მოწოდებულ fine-tuning სკრიპტს, მაგალითად, ჩვენს train.py-ს, შემდეგ ჩამოტვირთავს მონაცემებს S3 bucket-დან (sess.default_bucket()) კონტეინერში. როგორც კი მონაცემები მზად იქნება, სავარჯიშო სამუშაო ავტომატურად დაიწყება. ჰიპერპარამეტრები, რომლებსაც თქვენ განსაზღვრავთ HuggingFace Estimator-ში, გადაეცემა დასახელებული არგუმენტების სახით. ჩვენი [გაშვებისთვის...]