Hugging Face-ში ჩვენი მთავარი მიზანია, მაქსიმალურად გავამარტივოთ მანქანური სწავლის (ML) განვითარება და ოპერაციები, უმაღლესი ხარისხის სტანდარტების დათმობის გარეშე. ML პროექტის მთელი სასიცოცხლო ციკლის განმავლობაში, უახლესი მოდელების ტესტირება და განთავსება მინიმალური სირთულეებით გადამწყვეტია. თანაბრად მნიშვნელოვანია ხარჯისა და წარმადობის თანაფარდობის ოპტიმიზაცია, რისთვისაც მადლობას ვუხდით ჩვენს მეგობრებს Intel-დან, რომელთაც დააფინანსეს ჩვენი უფასო, CPU-ზე დაფუძნებული ინფერენსის გადაწყვეტილებები. ეს კიდევ ერთი მნიშვნელოვანი ნაბიჯია ჩვენს პარტნიორობაში. ეს ასევე შესანიშნავი სიახლეა ჩვენი მომხმარებლებისთვის, რომლებსაც ახლა შეუძლიათ Intel Xeon Ice Lake არქიტექტურის მიერ მოწოდებული დაჩქარებით სარგებლობა სრულიად უფასოდ. ახლა კი, განვიხილოთ თქვენი ინფერენსის ვარიანტები Hugging Face-თან ერთად: **Inference Widget** ჩემი ერთ-ერთი საყვარელი ფუნქცია Hugging Face-ის ჰაბზე არის Inference Widget. მოდელის გვერდზე განთავსებული Inference Widget საშუალებას გაძლევთ ატვირთოთ ნიმუში მონაცემები და ერთი დაწკაპუნებით გააკეთოთ პროგნოზი. აი წინადადების მსგავსების მაგალითი sentence-transformers/all-MiniLM-L6-v2 მოდელით: ეს საუკეთესო საშუალებაა სწრაფად გაიგოთ, რას აკეთებს მოდელი, როგორია მისი გამომავალი მონაცემები და როგორ მუშაობს ის თქვენი მონაცემთა ნაკრების რამდენიმე ნიმუშზე. მოდელი იტვირთება მოთხოვნის საფუძველზე ჩვენს სერვერებზე და იტვირთება, როდესაც ის აღარ არის საჭირო. თქვენ არ გჭირდებათ რაიმე კოდის დაწერა და ეს ფუნქცია უფასოა. ასეთი სერვისი შეუძლებელია არ მოგეწონოთ. **Inference API** Inference API არის ის, რაც Inference Widget-ს აძლევს ძალას. მარტივი HTTP მოთხოვნით, შეგიძლიათ ჩატვირთოთ ნებისმიერი ჰაბის მოდელი და მასთან ერთად იწინასწარმეტყველოთ თქვენი მონაცემები წამებში. მოდელის URL და მოქმედი ჰაბის ტოკენი არის ყველაფერი, რაც გჭირდებათ. Inference API არის პროგნოზირების სერვისის შექმნის უმარტივესი გზა, რომელსაც შეგიძლიათ დაუყოვნებლივ მიმართოთ თქვენი აპლიკაციიდან განვითარებისა და ტესტირების დროს. არ გჭირდებათ ინდივიდუალური API ან მოდელის სერვერი. გარდა ამისა, შეგიძლიათ მყისიერად გადახვიდეთ ერთი მოდელიდან მეორეზე და შეადაროთ მათი წარმადობა თქვენს აპლიკაციაში. და იცით რა? Inference API უფასოა გამოსაყენებლად. ვინაიდან დაწესებულია მოთხოვნების რაოდენობის ლიმიტი, ჩვენ არ გირჩევთ Inference API-ის გამოყენებას პროდუქციისთვის. ამის ნაცვლად, უნდა განიხილოთ Inference Endpoints. **Inference Endpoints** მას შემდეგ, რაც კმაყოფილი იქნებით თქვენი ML მოდელის წარმადობით, დროა ის განათავსოთ პროდუქციისთვის. სამწუხაროდ, „სენდბოქსის“ დატოვებისას ყველაფერი საზრუნავად იქცევა: უსაფრთხოება, სკალირება, მონიტორინგი და ა.შ. სწორედ აქ ბევრი ML პროექტი წააწყდება სირთულეებს და ზოგჯერ მარცხდება. ამ პრობლემის გადასაჭრელად ჩვენ შევქმენით Inference Endpoints. რამდენიმე დაწკაპუნებით, Inference Endpoints საშუალებას გაძლევთ განათავსოთ ნებისმიერი ჰაბის მოდელი უსაფრთხო და სკალირებად ინფრასტრუქტურაზე, რომელიც განთავსებულია თქვენს მიერ არჩეულ AWS ან Azure რეგიონში. დამატებითი პარამეტრები მოიცავს CPU და GPU ჰოსტინგს, ჩაშენებულ ავტომატურ სკალირებას და სხვა. ეს ამარტივებს შესაბამისი ხარჯისა და წარმადობის თანაფარდობის პოვნას, ფასები საათში სულ რაღაც 0.06 აშშ დოლარიდან იწყება. Inference Endpoints მხარს უჭერს უსაფრთხოების სამ დონეს: * **საჯარო (Public):** Endpoint მუშაობს Hugging Face-ის საჯარო ქვექსელში და ინტერნეტში ნებისმიერ პირს შეუძლია მასზე წვდომა ავთენტიფიკაციის გარეშე. * **დაცული (Protected):** Endpoint მუშაობს Hugging Face-ის საჯარო ქვექსელში და ინტერნეტში ნებისმიერ პირს შესაბამისი Hugging Face ტოკენით შეუძლია მასზე წვდომა. * **პირადი (Private):** Endpoint მუშაობს Hugging Face-ის პირად ქვექსელში და მიუწვდომელია ინტერნეტით. ის ხელმისაწვდომია მხოლოდ პირადი კავშირით თქვენს AWS ან Azure ანგარიშში. ეს დააკმაყოფილებს შესაბამისობის უმკაცრეს მოთხოვნებს. Inference Endpoints-ის შესახებ მეტის გასაგებად, გთხოვთ, წაიკითხოთ ეს სახელმძღვანელო და დოკუმენტაცია. **Spaces** და ბოლოს, Spaces არის კიდევ ერთი production-ready ვარიანტი თქვენი მოდელის ინფერენსისთვის განთავსებისთვის მარტივი UI ფრეიმვორკის (მაგალითად, Gradio) თავზე, და ჩვენ ასევე მხარს ვუჭერთ აპარატურულ განახლებებს, როგორიცაა მოწინავე Intel CPU-ები და NVIDIA GPU-ები. თქვენი მოდელების დემონსტრირების უკეთესი გზა არ არსებობს! Spaces-ის შესახებ მეტის გასაგებად, გთხოვთ, გაეცნოთ დოკუმენტაციას და თავისუფლად დაათვალიეროთ პოსტები ან დასვათ შეკითხვები ჩვენს ფორუმზე. ეს არ შეიძლება იყოს უფრო მარტივი. უბრალოდ შეხვიდეთ Hugging Face-ის ჰაბზე და დაათვალიერეთ ჩვენი მოდელები. როდესაც იპოვით თქვენთვის სასურველს, შეგიძლიათ სცადოთ Inference Widget პირდაპირ გვერდზე. ღილაკზე „განთავსება“ (Deploy) დაჭერით, მიიღებთ ავტომატურად გენერირებულ კოდს მოდელის უფასო Inference API-ზე განთავსებისთვის შესაფასებლად და პირდაპირ ბმულს მის პროდუქციისთვის განთავსებისთვის Inference Endpoints-ის ან Spaces-ის გამოყენებით. გთხოვთ, სცადოთ და შეგვატყობინოთ თქვენი აზრი. სიამოვნებით წავიკითხავთ თქვენს გამოხმაურებას Hugging Face-ის ფორუმზე. გმადლობთ წაკითხვისთვის!