დღეს სიამოვნებით გაგიზიარებთ ინფერენსის ახალ გადაწყვეტას, რომელიც Amazon SageMaker-თან ერთად Hugging Face Transformers-ის დეპლოირებას უმარტივესს ხდის! ახალი Hugging Face Inference DLC-ების (Deep Learning Containers) მეშვეობით, შეგიძლიათ განათავსოთ თქვენი გაწვრთნილი მოდელები ინფერენსისთვის მხოლოდ ერთი დამატებითი კოდის ხაზით, ან აირჩიოთ 10,000-ზე მეტი საჯაროდ ხელმისაწვდომი მოდელი Model Hub-დან და განათავსოთ ისინი Amazon SageMaker-ის გამოყენებით. SageMaker-ში მოდელების დეპლოირება გთავაზობთ საპროდუქციო გარემოსთვის მზა ენდპოინტებს, რომლებიც ადვილად მასშტაბირდება თქვენს AWS გარემოში, ჩაშენებული მონიტორინგითა და უამრავი საწარმოო ფუნქციონალით. ეს იყო საოცარი თანამშრომლობა და ვიმედოვნებთ, რომ ისარგებლებთ ამ შესაძლებლობით! აი, როგორ გამოიყენოთ ახალი SageMaker Hugging Face Inference Toolkit Transformers-ზე დაფუძნებული მოდელების დეპლოირებისთვის: სულ ესაა! 🚀 იმისათვის, რომ მეტი გაიგოთ ახალი Hugging Face DLC-ების Amazon SageMaker Python SDK-თან ერთად გამოყენების შესახებ, იხილეთ ქვემოთ მოცემული სახელმძღვანელოები და რესურსები. ქვემოთ შეგიძლიათ იხილოთ ყველა მნიშვნელოვანი რესურსი თქვენი მოდელების Amazon SageMaker-ზე განსათავსებლად. Hugging Face Transformers-ისთვის ოპტიმიზებული Deep Learning Containers-ის (ინფერენსისთვის განკუთვნილი ღრმა სწავლის კონტეინერები) გარდა, ჩვენ შევქმენით ახალი Inference Toolkit Amazon SageMaker-ისთვის. ეს ახალი Inference Toolkit იყენებს transformers ბიბლიოთეკის pipeline-ებს, რათა მოდელების დეპლოირება შესაძლებელი გახდეს ყოველგვარი კოდის გარეშე (zero-code deployments), წინასწარი ან შემდგომი დამუშავებისთვის რაიმე კოდის დაწერის საჭიროების გარეშე. ქვემოთ, განყოფილებაში „დაწყება“ (Getting Started) ნახავთ ორ მაგალითს, თუ როგორ უნდა განათავსოთ თქვენი მოდელები Amazon SageMaker-ზე. კოდის გარეშე დეპლოირების გარდა, Inference Toolkit მხარს უჭერს „მოიტანე საკუთარი კოდი“ (bring your own code) მეთოდებს, სადაც შეგიძლიათ გადაფაროთ ნაგულისხმევი მეთოდები. მეტი შეგიძლიათ გაიგოთ „მოიტანე საკუთარი კოდის“ შესახებ აქ დოკუმენტაციაში, ან შეგიძლიათ იხილოთ ნიმუში ნოუთბუქი „custom inference code-ის დეპლოირება Amazon SageMaker-ზე“. transformers pipeline-ების გამოყენებით, ჩვენ შევქმენით API, რომელიც გაგიმარტივებთ pipeline-ის ყველა ფუნქციონალით სარგებლობას. API-ს აქვს 🤗 Accelerated Inference API-ის მსგავსი ინტერფეისი, რაც იმას ნიშნავს, რომ თქვენი შეტანები (inputs) უნდა განისაზღვროს inputs key-ში, ხოლო თუ გსურთ დამატებითი მხარდაჭერილი pipeline პარამეტრები, შეგიძლიათ დაამატოთ ისინი parameters key-ში. ქვემოთ შეგიძლიათ იხილოთ მოთხოვნების მაგალითები. ამ სახელმძღვანელოში ჩვენ გამოვიყენებთ ახალ Hugging Face Inference DLC-ებს და Amazon SageMaker Python SDK-ს, რათა განვათავსოთ ორი transformer მოდელი ინფერენსისთვის. პირველ მაგალითში, ჩვენ ინფერენსისთვის ვათავსებთ Amazon SageMaker-ში გაწვრთნილ Hugging Face Transformer მოდელს. მეორე მაგალითში, ჩვენ უშუალოდ ვათავსებთ 10,000-ზე მეტი საჯაროდ ხელმისაწვდომი Hugging Face Transformers მოდელიდან ერთ-ერთს Model Hub-დან Amazon SageMaker-ზე ინფერენსისთვის. მაგალითისთვის გამოვიყენებთ Amazon SageMaker Notebook Instance-ს. აქ შეგიძლიათ გაიგოთ, თუ როგორ დააყენოთ Notebook Instance. დასაწყებად, გახსენით თქვენი Jupyter Notebook ან JupyterLab და შექმენით ახალი Notebook conda_pytorch_p36 kernel-ით. შენიშვნა: Jupyter-ის გამოყენება სავალდებულო არ არის: SageMaker API-ის გამოძახებების გაშვება ასევე შეგვიძლია ნებისმიერი ადგილიდან, სადაც გვაქვს SDK დაინსტალირებული, ღრუბელთან კავშირი და შესაბამისი ნებართვები, როგორიცაა ლეპტოპი, სხვა IDE, ან დავალებების დამგეგმავი (task scheduler) როგორიცაა Airflow ან AWS Step Functions. ამის შემდეგ შეგვიძლია დავაინსტალიროთ საჭირო დამოკიდებულებები (dependencies). SageMaker-ზე მოდელის განსათავსებლად, უნდა შევქმნათ sagemaker Session და მივაწოდოთ IAM როლი სწორი ნებართვებით. get_execution_role მეთოდი მოწოდებულია SageMaker SDK-ის მიერ, როგორც არჩევითი მოხერხებულობა. როლის მითითება ასევე შეგიძლიათ კონკრეტული role ARN-ის დაწერით, რომლის გამოყენებაც გსურთ თქვენი ენდპოინტისთვის. ეს IAM როლი მოგვიანებით დაერთვება ენდპოინტს, მაგალითად, მოდელის Amazon S3-დან ჩამოსატვირთად. თქვენი SageMaker-ზე გაწვრთნილი Hugging Face მოდელის განსათავსებლად ორი გზა არსებობს. შეგიძლიათ განათავსოთ ის ტრენინგის დასრულების შემდეგ, ან მოგვიანებით, model_data-ის გამოყენებით, რომელიც მიუთითებს თქვენს შენახულ მოდელზე Amazon S3-ზე. ქვემოთ აღნიშნული ორი ვარიანტის გარდა, შეგიძლიათ შექმნათ Hugging Face ენდპოინტები დაბალი დონის SDK-ების გამოყენებით, როგორიცაა boto3 და AWS CLI, Terraform და CloudFormation შაბლონებით. თუ თქვენს მოდელს ტრენინგის დასრულებისთანავე განათავსებთ, უნდა დარწმუნდეთ, რომ ყველა საჭირო მოდელის არტიფაქტი შენახულია თქვენს სატრენინგო სკრიპტში, ტოკენიზატორისა და მოდელის ჩათვლით. ტრენინგის შემდეგ უშუალოდ დეპლოირების უპირატესობა ისაა, რომ SageMaker მოდელის კონტეინერის მეტამონაცემები შეიცავს საწყის სატრენინგო სამუშაოს, რაც უზრუნველყოფს ტრენინგის სამუშაოდან განთავსებულ მოდელამდე წარმოშობის ისტორიას (lineage). ჩვენი მოთხოვნის გაშვების შემდეგ, შეგვიძლია ენდპოინტი კვლავ წავშალოთ. თუ თქვენ უკვე გაწვრთნეთ თქვენი მოდელი და გსურთ მისი განთავსება მოგვიანებით, შეგიძლიათ გამოიყენოთ model_data არგუმენტი, რათა მიუთითოთ თქვენი ტოკენიზატორისა და მოდელის წონების მდებარეობა. ჩვენი მოთხოვნის გაშვების შემდეგ, ენდპოინტის წაშლა კვლავ შეგვიძლია: მოდელის უშუალოდ Hugging Face Model Hub-დან Amazon SageMaker-ზე განსათავსებლად, HuggingFaceModel-ის შექმნისას უნდა განვსაზღვროთ ორი გარემოს ცვლადი. უნდა განვსაზღვროთ: ჩვენი მოთხოვნის გაშვების შემდეგ, შეგვიძლია ენდპოინტი კვლავ წავშალოთ. სრულ ხშირად დასმულ კითხვებს შეგიძლიათ გაეცნოთ დოკუმენტაციაში. კითხვა: რომელი მოდელების განთავსება შემიძლია ინფერენსისთვის? პასუხი: შეგიძლიათ განათავსოთ: კითხვა: რომელი პაიპ