სიამოვნებით ვაცხადებთ, რომ Hugging Face-ის პოპულარული ღია მოდელები ახლა უკვე ხელმისაწვდომია Amazon Bedrock-ზე, ახალი Bedrock Marketplace-ის მეშვეობით! AWS-ის მომხმარებლებს ახლა შეუძლიათ Bedrock Marketplace-ის ფარგლებში 83 ღია მოდელის განთავსება, რათა შექმნან საკუთარი გენერაციული ხელოვნური ინტელექტის (Generative AI) აპლიკაციები. შიდა მექანიზმების დონეზე, Bedrock Marketplace-ის მოდელის ენდპოინტებს მართავს Amazon Sagemaker Jumpstart. Bedrock Marketplace-ის მეშვეობით, ახლა შეგიძლიათ SageMaker JumpStart-ის გამოყენების სიმარტივე და Amazon Bedrock-ის სრულად მართული ინფრასტრუქტურა გააერთიანოთ, რაც მოიცავს თავსებადობას მაღალი დონის API-ებთან, როგორიცაა Agents (აგენტები), Knowledge Bases (ცოდნის ბაზები), Guardrails (დაცვის მექანიზმები) და Model Evaluations (მოდელის შეფასებები). Sagemaker Jumpstart-ის ენდპოინტების Amazon Bedrock-ში რეგისტრაციისას, თქვენ იხდით მხოლოდ Sagemaker-ის გამომთვლელი რესურსების საფასურს და მოქმედებს Amazon Bedrock-ის API-ების ჩვეულებრივი ტარიფები. ამ ბლოგში ჩვენ გაჩვენებთ, თუ როგორ უნდა განათავსოთ Gemma 2 27B Instruct მოდელი და გამოიყენოთ ის Amazon Bedrock-ის API-ებთან ერთად. ისწავლეთ როგორ: არსებობს ღია მოდელის Amazon Bedrock-თან გამოსაყენებლად განთავსების ორი გზა: ორივე გზა მსგავსია, ამიტომ ჩვენ გაგაცნობთ Bedrock Model catalog-ის მეშვეობით განთავსების პროცესს. დასაწყებად, Amazon Bedrock-ის კონსოლში დარწმუნდით, რომ იმ 14 რეგიონიდან ერთ-ერთში ხართ, სადაც Bedrock Marketplace ხელმისაწვდომია. შემდეგ, ნავიგაციის პანელის „Foundation models“ (ფუნდამენტური მოდელები) განყოფილებაში აირჩიეთ „Model catalog“ (მოდელების კატალოგი). აქ შეგიძლიათ მოძებნოთ როგორც სერვერless მოდელები, ასევე Amazon Bedrock Marketplace-ში არსებული მოდელები. შედეგები გაფილტრეთ „Hugging Face“-ის პროვაიდერის მიხედვით და შეგიძლიათ დაათვალიეროთ 83 ხელმისაწვდომი ღია მოდელი. მაგალითად, მოვძებნოთ და ავირჩიოთ Google Gemma 2 27B Instruct. მოდელის არჩევისას იხსნება მოდელის დეტალების გვერდი, სადაც შეგიძლიათ იხილოთ მეტი ინფორმაცია მოდელის პროვაიდერისგან, როგორიცაა მოდელის შესახებ მნიშვნელოვანი ასპექტები და გამოყენების ინსტრუქციები, მათ შორის API ზარების მაგალითები. ზედა მარჯვენა კუთხეში დავაჭიროთ „Deploy“ (განთავსება). ეს მიგიყვანთ განთავსების გვერდზე, სადაც შეგიძლიათ აირჩიოთ ენდპოინტის სახელი, ინსტანციის კონფიგურაცია და გაფართოებული პარამეტრები, რომლებიც დაკავშირებულია ქსელის კონფიგურაციასთან და სერვისის როლთან, რომელიც გამოიყენება Sagemaker-ში განთავსების შესასრულებლად. გამოვიყენოთ ნაგულისხმევი გაფართოებული პარამეტრები და რეკომენდებული ინსტანციის ტიპი. ასევე მოგეთხოვებათ მოდელის პროვაიდერის End User License Agreement (EULA - საბოლოო მომხმარებლის სალიცენზიო შეთანხმება) მიღება. ქვედა მარჯვენა კუთხეში დავაჭიროთ „Deploy“ (განთავსება). ჩვენ ახლახან დავიწყეთ GoogleGemma 2 27B Instruct მოდელის განთავსება ml.g5.48xlarge ინსტანციაზე, რომელიც განთავსებულია თქვენს Amazon Sagemaker tenancy-ში და თავსებადია Amazon Bedrock-ის API-ებთან! ენდპოინტის განთავსებას შეიძლება რამდენიმე წუთი დასჭირდეს. ის გამოჩნდება „Marketplace deployments“ (Marketplace-ის განთავსებები) გვერდზე, რომელსაც იპოვით ნავიგაციის პანელის „Foundation models“ (ფუნდამენტური მოდელები) განყოფილებაში. მოდელის სწრაფად ტესტირება შეგიძლიათ Playground-ში მომხმარებლის ინტერფეისის (UI) მეშვეობით. თუმცა, განთავსებული მოდელის პროგრამული გზით, Amazon Bedrock-ის ნებისმიერი API-ის გამოყენებით გამოძახებისთვის, საჭიროა მიიღოთ ენდპოინტის ARN. მართული განთავსებების სიიდან აირჩიეთ თქვენი მოდელის განთავსება, რათა დააკოპიროთ მისი ენდპოინტის ARN. თქვენ შეგიძლიათ თქვენი ენდპოინტის მიმართვა AWS SDK-ის გამოყენებით თქვენთვის სასურველ ენაზე ან AWS CLI-ის მეშვეობით. აქ მოცემულია Bedrock Converse API-ის გამოყენების მაგალითი AWS SDK for Python-ის (boto3) მეშვეობით: სულ ესაა! თუ გსურთ მეტის შესწავლა, გაეცანით Bedrock-ის დოკუმენტაციას. არ დაგავიწყდეთ თქვენი ენდპოინტის წაშლა ექსპერიმენტის დასრულების შემდეგ, რათა შეწყვიტოთ ხარჯების დაგროვება! გვერდის ზედა მარჯვენა კუთხეში, სადაც ენდპოინტის ARN-ს იღებთ, შეგიძლიათ წაშალოთ თქვენი ენდპოინტი ღილაკზე „Delete“ დაჭერით.