მოხარულნი ვართ გაცნობოთ, რომ Groq ახლა უკვე Hugging Face Hub-ის მხარდაჭერილი დასკვნის პროვაიდერია! Groq უერთდება ჩვენს მზარდ ეკოსისტემას, აფართოებს სერვერული დასკვნის შესაძლებლობებს უშუალოდ Hub-ის მოდელის გვერდებზე. დასკვნის პროვაიდერები ასევე შეუფერხებლად არის ინტეგრირებული ჩვენს კლიენტურ SDK-ებში (როგორც JS-ისთვის, ასევე Python-ისთვის), რაც ძალიან ამარტივებს მრავალი მოდელის გამოყენებას თქვენთვის სასურველ პროვაიდერებთან. Groq მხარს უჭერს ტექსტური და საკომუნიკაციო მოდელების ფართო სპექტრს, მათ შორის უახლეს ღია წყაროს მოდელებს, როგორიცაა Meta-ს Llama 4, Qwen-ის QWQ-32B და მრავალი სხვა. Groq-ის ტექნოლოგიის გულში დევს ენის დამუშავების ერთეული (LPU™), ახალი ტიპის ბოლო-დან-ბოლომდე დამუშავების სისტემა, რომელიც უზრუნველყოფს უსწრაფეს დასკვნას გამოთვლითი თვალსაზრისით ინტენსიური აპლიკაციებისთვის თანმიმდევრული კომპონენტით, როგორიცაა დიდი ენობრივი მოდელები (LLMs). LPU-ები შექმნილია GPU-ების შეზღუდვების დასაძლევად დასკვნის ამოცანებში, რაც მნიშვნელოვნად ამცირებს შეყოვნებას და ზრდის გამტარუნარიანობას. ეს მათ იდეალურს ხდის რეალურ დროში AI აპლიკაციებისთვის. Groq გთავაზობთ სწრაფ AI დასკვნას საჯაროდ ხელმისაწვდომი მოდელებისთვის. ისინი უზრუნველყოფენ API-ს, რომელიც დეველოპერებს საშუალებას აძლევს მარტივად მოახდინონ ამ მოდელების ინტეგრირება თავიანთ აპლიკაციებში. იგი გვთავაზობს მოთხოვნილებისამებრ, გადახდის მოდელს ('pay-as-you-go') ღია წყაროს LLM-ების ფართო სპექტრზე წვდომისთვის. ახლა თქვენ შეგიძლიათ გამოიყენოთ Groq-ის დასკვნის API, როგორც დასკვნის პროვაიდერი Huggingface-ზე. მოუთმენლად ველით, თუ რას შექმნით ამ ახალი პროვაიდერის გამოყენებით. დაწვრილებით წაიკითხეთ Groq-ის, როგორც დასკვნის პროვაიდერის გამოყენების შესახებ მის გამოყოფილ დოკუმენტაციის გვერდზე. მხარდაჭერილი მოდელების სია იხილეთ აქ. შემდეგი მაგალითი გვიჩვენებს, თუ როგორ გამოიყენოთ Meta-ს Llama 4 Groq-ის, როგორც დასკვნის პროვაიდერის მეშვეობით. შეგიძლიათ გამოიყენოთ Hugging Face ტოკენი Hugging Face-ის გავლით ავტომატური მარშრუტიზაციისთვის, ან თქვენი საკუთარი Groq API გასაღები, თუ გაქვთ. დააინსტალირეთ huggingface_hub წყაროდან (იხილეთ ინსტრუქციები). ოფიციალური მხარდაჭერა მალე გამოვა v0.33.0 ვერსიაში. პირდაპირი მოთხოვნებისთვის, ანუ როდესაც იყენებთ დასკვნის პროვაიდერის გასაღებს, თქვენ იხდით შესაბამის პროვაიდერთან. მაგალითად, თუ იყენებთ Groq API გასაღებს, თქვენი ანგარიში Groq-ის სისტემაში დაიბეგრება. მარშრუტიზებული მოთხოვნებისთვის, ანუ როდესაც აუთენტიფიკაციას გადიხართ Hugging Face Hub-ის საშუალებით, თქვენ იხდით მხოლოდ სტანდარტულ პროვაიდერის API ტარიფებს. ჩვენგან დამატებითი გადასახადი არ არის, ჩვენ უბრალოდ პირდაპირ გადავცემთ პროვაიდერის ხარჯებს. (მომავალში, შესაძლოა, დავამყაროთ შემოსავლის განაწილების შეთანხმებები ჩვენს პროვაიდერ პარტნიორებთან.) მნიშვნელოვანი შენიშვნა ‼️ PRO მომხმარებლები ყოველთვიურად იღებენ $2 ღირებულების დასკვნის კრედიტებს. მათი გამოყენება შეგიძლიათ სხვადასხვა პროვაიდერზე. 🔥 გამოიწერეთ Hugging Face PRO გეგმა, რათა მიიღოთ წვდომა დასკვნის კრედიტებზე, ZeroGPU-ზე, Spaces Dev Mode-ზე, 20-ჯერ მაღალ ლიმიტებზე და სხვა მრავალ ფუნქციაზე. ჩვენ ასევე გთავაზობთ უფასო დასკვნას მცირე კვოტით ჩვენი დარეგისტრირებული უფასო მომხმარებლებისთვის, მაგრამ გთხოვთ, განაახლოთ PRO გეგმამდე, თუ შეგიძლიათ! მოხარულნი ვიქნებით მივიღოთ თქვენი გამოხმაურება! გააზიარეთ თქვენი აზრები და/ან კომენტარები აქ: https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49 მეტი სტატია ჩვენი ბლოგიდან Groq-ის ინტეგრაცია Hugging Face-ზე, როგორც დასკვნის პროვაიდერის, უზრუნველყოფს ულტრა-დაბალი შეყოვნების და მაღალი გამტარუნარიანობის LPU-ზე დაფუძნებულ დასკვნას უახლესი ღია წყაროს LLM-ებისთვის – ეს არის გარდამტეხი მომენტი რეალურ დროში AI განლაგებისთვის. დარეგისტრირდით ან შეხვიდეთ კომენტარის დასატოვებლად