დღეს Hugging Face წარმოგიდგენთ ინფერენსს PRO მომხმარებლებისთვის – საზოგადოებრივ სერვისს, რომელიც გთავაზობთ წვდომას კურირებული ენდპოინტების API-ებზე ზოგიერთი ყველაზე მოთხოვნადი მოდელისთვის, ასევე გაუმჯობესებულ მოთხოვნათა ლიმიტებს უფასო ინფერენსის API-ს გამოყენებისთვის. PRO ვერსიის გამოსაწერად ეწვიეთ Hugging Face-ის შესაბამის გვერდს. Hugging Face PRO მომხმარებლებს ახლა უკვე აქვთ წვდომა ექსკლუზიურ API ენდპოინტებზე ძლიერი მოდელების კურირებული სიისთვის, რომლებიც სარგებლობენ ულტრა-სწრაფი ინფერენსით, რაც ტექსტის გენერაციის ინფერენსითაა უზრუნველყოფილი. ეს არის დამატებითი უპირატესობა უფასო ინფერენსის API-ის თავზე, რომელიც ხელმისაწვდომია Hugging Face-ის ყველა მომხმარებლისთვის 200,000-ზე მეტ მოდელზე ტესტირებისა და პროტოტიპირების გასაადვილებლად. PRO მომხმარებლები სარგებლობენ ამ მოდელებზე მოთხოვნათა უფრო მაღალი ლიმიტებით, ასევე ექსკლუზიური წვდომით დღეს არსებულ ზოგიერთ საუკეთესო მოდელზე. Hub-ში არსებული ათასობით საჯარო მოდელის გარდა, PRO მომხმარებლები იღებენ უფასო წვდომას და უფრო მაღალ მოთხოვნათა ლიმიტებს შემდეგ უახლეს მოდელებზე: ინფერენსი PRO მომხმარებლებისთვის აადვილებს ექსპერიმენტებსა და პროტოტიპირებას ახალ მოდელებთან მათი საკუთარ ინფრასტრუქტურაზე განლაგების საჭიროების გარეშე. ის PRO მომხმარებლებს აძლევს წვდომას მზა HTTP ენდპოინტებზე ზემოთ ჩამოთვლილი ყველა მოდელისთვის. ის არ არის განკუთვნილი მძიმე საწარმოო აპლიკაციებისთვის – ამისთვის Hugging Face გირჩევთ გამოიყენოთ Inference Endpoints. ინფერენსი PRO მომხმარებლებისთვის ასევე იძლევა საშუალებას გამოიყენოთ აპლიკაციები, რომლებიც LLM ენდპოინტზეა დამოკიდებული, მაგალითად, VS Code გაფართოების გამოყენება კოდის ავტოდავსებისთვის, ან Hugging Chat-ის თქვენი საკუთარი ვერსიის ქონა. ინფერენსის გამოყენება PRO მომხმარებლებისთვის ისეთივე მარტივია, როგორც POST მოთხოვნის გაგზავნა იმ მოდელის API ენდპოინტზე, რომლის გაშვებაც გსურთ. ასევე დაგჭირდებათ PRO ანგარიშის ავთენტიფიკაციის ტოკენის მიღება თქვენი ტოკენის პარამეტრების გვერდიდან და მისი გამოყენება მოთხოვნაში. მაგალითად, ტექსტის გენერირებისთვის Meta Llama 3 8B Instruct-ის გამოყენებით ტერმინალის სესიაში, საჭიროა POST მოთხოვნის გაგზავნა მოდელის ენდპოინტზე შესაბამისი ტოკენითა და მონაცემებით, რის შედეგადაც მიიღებთ გენერირებულ ტექსტს. ასევე შეგიძლიათ გამოიყენოთ ტრანსფორმერების მრავალი ნაცნობი გენერაციის პარამეტრი, როგორიცაა ტემპერატურა (temperature) ან მაქსიმალური ახალი ტოკენების რაოდენობა (max_new_tokens). გენერაციის პარამეტრების შესახებ მეტი დეტალისთვის, იხილეთ „ტექსტის გენერაციის კონტროლი“ სექცია. თქვენი მოთხოვნების Python-ში გასაგზავნად, შეგიძლიათ ისარგებლოთ InferenceClient-ით, მოსახერხებელი უტილიტით, რომელიც ხელმისაწვდომია huggingface_hub Python ბიბლიოთეკაში. InferenceClient არის სასარგებლო ფუნქცია, რომელიც საშუალებას გაძლევთ მარტივად განახორციელოთ ზარები Inference API-სა და Inference Endpoints-ზე. თუ არ გსურთ ტოკენის ყოველ ჯერზე გადაცემა კლიენტის ინსტანცირებისას, შეგიძლიათ გამოიყენოთ `notebook_login()` (Jupyter ნოუთბუქებში), `huggingface-cli login` (ტერმინალში), ან `login(token=YOUR_TOKEN)` (ყველგან სხვაგან) ერთჯერადად შესასვლელად. ამის შემდეგ ტოკენი ავტომატურად იქნება გამოყენებული. Python-ის გარდა, შეგიძლიათ გამოიყენოთ JavaScript-იც ინფერენსის ზარების თქვენს JS ან Node აპლიკაციებში ინტეგრირებისთვის. დასაწყებად გაეცანით huggingface.js-ს. ჩატის საუბრებისთვის მომზადებული მოდელები გაწვრთნილია ძალიან სპეციფიკური ჩატის შაბლონებით, რომლებიც დამოკიდებულია გამოყენებულ მოდელზე. ყურადღება უნდა მიაქციოთ ფორმატს, რომელსაც მოდელი ელოდება და ზუსტად გაიმეოროთ ის თქვენს მოთხოვნებში. მაგალითად, Llama 2-ის შემთხვევაში, მრავალეტაპიან საუბარში პირველი შეტყობინების სტრუქტურა იყენებს `<>` გამყოფს სისტემური მოთხოვნისთვის, ხოლო შეკითხვა ჩასმულია `[INST]` გამყოფებს შორის. საუბრის გასაგრძელებლად, მოდელის პასუხი ემატება თანმიმდევრობას, რასაც მოსდევს ახალი შემდგომი ინსტრუქცია. ეს ფორმატი შეიძლება გამოყენებულ იქნას Code Llama Instruct-თანაც, რათა ტექნიკურ საუბრებში ჩაერთოთ კოდში გათვითცნობიერებულ ასისტენტთან! დამატებითი დეტალებისთვის, გთხოვთ, იხილოთ Hugging Face-ის Llama 2-ის ბლოგპოსტი. კოდის მოდელები, როგორიცაა Code Llama, შეიძლება გამოყენებულ იქნას კოდის ავტოდავსებისთვის: თქვენ აწვდით საწყის სტრიქონს, რომელიც შეიძლება შეიცავდეს კოდს ან კომენტარებს, და მოდელი შეეცდება გააგრძელოს თანმიმდევრობა სარწმუნო შინაარსით. კოდის მოდელები ასევე შეიძლება გამოყენებულ იქნას „შევსებისთვის“ (infilling), უფრო სპეციალიზებული ამოცანისთვის, სადაც თქვენ აწვდით პრეფიქსისა და სუფიქსის თანმიმდევრობებს, და მოდელი იწინასწარმეტყველებს, რა უნდა იყოს მათ შორის. ეს შესანიშნავია ისეთი აპლიკაციებისთვის, როგორიცაა IDE გაფართოებები. infilling-ისთვის გამოყენებული ფორმატი კონკრეტულ შაბლონს მიჰყვება. ამ ამოცანის მუშაობის შესახებ მეტი დეტალისთვის, გთხოვთ, იხილოთ Hugging Face-ის ბლოგპოსტი Code Llama-ს შესახებ. SDXL ასევე ხელმისაწვდომია PRO მომხმარებლებისთვის. ენდპოინტის მიერ დაბრუნებული პასუხი შედგება ბაიტური ნაკადისგან, რომელიც წარმოადგენს გენერირებულ სურათს. თუ იყენებთ InferenceClient-ს, ის ავტომატურად გაშიფრავს მას PIL გამოსახულებად თქვენთვის. გენერაციის კონტროლის შესახებ მეტი დეტალისთვის, გთხოვთ, იხილოთ შესაბამისი სექცია. ტექსტის გენერაციის ყველა მოდელი ახლა მხარს უჭერს Messages API-ს, შესაბამისად, ისინი თავსებადია OpenAI კლიენტის ბიბლიოთეკებთან, მათ შორის LangChain-სა და LlamaIndex-თან. ოფიციალური openai კლიენტის ბიბლიოთეკის Llama-სთან ერთად გამოყენებაც მარტივადაა შესაძლებელი.