Hugging Face აერთიანებს სერვერულ ინფერენსზე წვდომას ახალი პარტნიორობითა და ფუნქციებით

დიდი ხანია, რაც ჰაბზე სერვერულ Inference API-ს ვმასპინძლობთ (v1 ჯერ კიდევ 2020 წლის ზაფხულში გამოვუშვით – დრო მართლაც სწრაფად მიფრინავს 🤯). მიუხედავად იმისა, რომ ამან ხელი შეუწყო მარტივ კვლევასა და პროტოტიპირებას, ჩვენ დავხვეწეთ ჩვენი ძირითადი ღირებულებითი წინადადება საზოგადოებასთან დიდი მონაცემთა ნაკრებებისა და მოდელების თანამშრომლობის, შენახვის, ვერსიონირებისა და გავრცელების მიმართულებით. ამავდროულად, სერვერული პროვაიდერები აყვავდნენ და Hugging Face-ისთვის დადგა დრო, რომ შეეთავაზებინა მარტივი და ერთიანი წვდომა სერვერულ ინფერენსზე შესანიშნავი პროვაიდერების მეშვეობით. ისევე, როგორც ვმუშაობთ ისეთ დიდ პარტნიორებთან, როგორებიცაა AWS, Nvidia და სხვები, მოდელის გვერდებზე „Deploy“ ღილაკის საშუალებით გამოყოფილი განთავსების ოფციებისთვის, ბუნებრივი იყო, რომ გვეთანამშრომლა სერვერული ინფერენსის მომდევნო თაობის პროვაიდერებთან, მოდელზე ორიენტირებული, სერვერული ინფერენსისთვის. აი, რას იძლევა ეს, თუ ავიღებთ DeepSeek-ai/DeepSeek-R1-ის დროულ მაგალითს, მოდელს, რომელმაც ბოლო დღეებში დიდი პოპულარობა მოიპოვა 🔥: როდრიგო ლიანგი, SambaNova-ს თანადამფუძნებელი და აღმასრულებელი დირექტორი: „მოხარულები ვართ, რომ ვთანამშრომლობთ Hugging Face-თან, რათა დავაჩქაროთ მისი Inference API. Hugging Face-ის დეველოპერებს ახლა აქვთ წვდომა ბევრად უფრო სწრაფ ინფერენსის სიჩქარეზე საუკეთესო ღია კოდის მოდელების ფართო სპექტრზე.“ ზეკე სიკელიანოსი, Replicate-ის დამფუძნებელი დიზაინერი: „Hugging Face არის ღია კოდის მოდელების წონების ფაქტობრივი სახლი და გადამწყვეტი როლი ითამაშა ხელოვნური ინტელექტის მსოფლიოსთვის უფრო ხელმისაწვდომობის საქმეში. ჩვენ Replicate-ში შიდა მოხმარებისთვის ვიყენებთ Hugging Face-ს, როგორც ჩვენს სასურველ წონების რეესტრს და პატივი გვაქვს, რომ ვიყოთ ერთ-ერთი პირველი ინფერენსის პროვაიდერი, რომელიც ამ გაშვებაში იქნება წარმოდგენილი.“ ეს მხოლოდ დასაწყისია და მომდევნო კვირებში ამას საზოგადოებასთან ერთად გავავითარებთ! შემდეგი მაგალითი გვიჩვენებს, თუ როგორ გამოვიყენოთ DeepSeek-R1 Together AI-ის, როგორც ინფერენსის პროვაიდერის, გამოყენებით. შეგიძლიათ გამოიყენოთ Hugging Face-ის ტოკენი ავტომატური მარშრუტიზაციისთვის Hugging Face-ის გავლით, ან თქვენი საკუთარი Together AI API გასაღები, თუ გაქვთ. დააინსტალირეთ `huggingface_hub` ვერსია `v0.28.0` ან უფრო ახალი (გამოშვების შენიშვნები). შენიშვნა: ასევე შეგიძლიათ გამოიყენოთ OpenAI-ის კლიენტის ბიბლიოთეკა Inference პროვაიდერების გამოსაძახებლად; იხილეთ აქ DeepSeek მოდელის მაგალითი. აი, როგორ შექმნათ გამოსახულება ტექსტური მოთხოვნიდან FLUX.1-dev-ის გამოყენებით, რომელიც მუშაობს `fal.ai`-ზე: სხვა პროვაიდერზე გადასასვლელად, შეგიძლიათ უბრალოდ შეცვალოთ პროვაიდერის სახელი, ყველაფერი დანარჩენი იგივე რჩება. ჩვენ მარშრუტიზაციის პროქსის უშუალოდ `huggingface.co` დომენის ქვეშ ვაქვეყნებთ, ასე რომ შეგიძლიათ პირდაპირ გამოიძახოთ ის; ეს ძალიან სასარგებლოა OpenAI-თან თავსებადი API-ებისთვის, მაგალითად. შეგიძლიათ უბრალოდ შეცვალოთ URL, როგორც საბაზისო URL: `https://router.huggingface.co/{:provider}`. აი, როგორ შეგიძლიათ გამოიძახოთ `Llama-3.3-70B-Instruct` Sambanova-ს, როგორც ინფერენსის პროვაიდერის, გამოყენებით `cURL`-ის მეშვეობით. პირდაპირი მოთხოვნებისთვის, ანუ როდესაც იყენებთ გასაღებს ინფერენსის პროვაიდერისგან, გადასახადს შესაბამისი პროვაიდერი გიხდით. მაგალითად, თუ იყენებთ Together AI-ის გასაღებს, გადასახადი გეჭრებათ თქვენს Together AI ანგარიშზე. მარშრუტიზებული მოთხოვნებისთვის, ანუ როდესაც ავთენტაციას გადიხართ ჰაბის მეშვეობით, მხოლოდ სტანდარტულ პროვაიდერის API ტარიფებს იხდით. ჩვენგან არ არის დამატებითი მარკირება, ჩვენ უბრალოდ პირდაპირ გადავცემთ პროვაიდერის ხარჯებს. (მომავალში, შესაძლოა, დავაფუძნოთ შემოსავლის გაზიარების ხელშეკრულებები ჩვენს პროვაიდერ პარტნიორებთან.) მნიშვნელოვანი შენიშვნა ‼️ PRO მომხმარებლები ყოველთვიურად იღებენ $2 ღირებულების ინფერენსის კრედიტებს. მათი გამოყენება შეგიძლიათ პროვაიდერების მასშტაბით. 🔥 გამოიწერეთ Hugging Face PRO გეგმა, რათა მიიღოთ წვდომა ინფერენსის კრედიტებზე, ZeroGPU-ზე, Spaces Dev Mode-ზე, 20-ჯერ მაღალ ლიმიტებზე და სხვა. ჩვენ ასევე ვთავაზობთ უფასო ინფერენსს მცირე კვოტით ჩვენს დარეგისტრირებულ უფასო მომხმარებლებს, მაგრამ გთხოვთ, განაახლოთ PRO-ზე, თუ შეგიძლიათ! სიამოვნებით მივიღებთ თქვენს გამოხმაურებას! აქ არის Hub-ის დისკუსია, რომელიც შეგიძლიათ გამოიყენოთ: https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49