Hugging Face-ში ჩვენი მთავარი მიზანია, მაქსიმალურად გავამარტივოთ მანქანური სწავლების (ML) მოდელების შემუშავება და ოპერირება, თანამედროვე ხარისხის სტანდარტებზე კომპრომისის გარეშე. ამ კუთხით, უახლესი მოდელების ტესტირებისა და გაშვების შესაძლებლობა მინიმალური ძალისხმევით, ML პროექტის მთელი სასიცოცხლო ციკლის განმავლობაში, კრიტიკულად მნიშვნელოვანია. თანაბრად მნიშვნელოვანია ხარჯების ეფექტურობისა და წარმადობის ოპტიმიზაცია და გვინდა მადლობა გადავუხადოთ ჩვენს მეგობრებს Intel-დან, ჩვენი უფასო, CPU-ზე დაფუძნებული ინფერენსის გადაწყვეტილებების სპონსორობისთვის. ეს ჩვენი პარტნიორობის კიდევ ერთი მნიშვნელოვანი ნაბიჯია. ეს ასევე შესანიშნავი ამბავია ჩვენი მომხმარებელთა საზოგადოებისთვის, რომლებსაც ახლა შეუძლიათ Intel Xeon Ice Lake არქიტექტურით მიღებული სიჩქარის გაუმჯობესებით სარგებლობა ნულოვანი დანახარჯით. ახლა, მოდით განვიხილოთ Hugging Face-ის ინფერენსის ვარიანტები. Hugging Face hub-ზე ჩემი ერთ-ერთი საყვარელი ფუნქციაა Inference Widget. მოდელის გვერდზე განთავსებული Inference Widget საშუალებას გაძლევთ, ატვირთოთ ნიმუში მონაცემები და ერთი დაწკაპუნებით მიიღოთ პროგნოზი. აქ მოცემულია წინადადების მსგავსების მაგალითი sentence-transformers/all-MiniLM-L6-v2 მოდელით: ეს საუკეთესო გზაა იმისთვის, რომ სწრაფად გაიგოთ, რას აკეთებს მოდელი, რა შედეგს იძლევა და როგორ მუშაობს თქვენი მონაცემთა ნაკრებიდან რამდენიმე ნიმუშზე. მოდელი იტვირთება მოთხოვნის შესაბამისად ჩვენს სერვერებზე და იტვირთება მაშინ, როდესაც ის აღარ არის საჭირო. არ გჭირდებათ კოდის დაწერა და ეს ფუნქცია უფასოა. რატომ არ უნდა მოგეწონოთ? Inference API არის ის, რაც Inference Widget-ს უზრუნველყოფს კულისებს მიღმა. მარტივი HTTP მოთხოვნით, შეგიძლიათ ჩატვირთოთ ნებისმიერი hub მოდელი და მიიღოთ მონაცემების პროგნოზი წამებში. მოდელის URL და მოქმედი hub ტოკენი არის ყველაფერი, რაც გჭირდებათ. აი, როგორ შემიძლია xlm-roberta-base მოდელის ჩატვირთვა და პროგნოზირება ერთი ხაზით: Inference API არის ყველაზე მარტივი გზა პროგნოზირების სერვისის შესაქმნელად, რომლის გამოძახებაც შეგიძლიათ თქვენი აპლიკაციიდან დეველოპმენტისა და ტესტირების დროს. არ გჭირდებათ მორგებული API ან მოდელის სერვერი. გარდა ამისა, შეგიძლიათ მყისიერად გადახვიდეთ ერთი მოდელიდან მეორეზე და შეადაროთ მათი წარმადობა თქვენს აპლიკაციაში. და იცით რა? Inference API უფასოა გამოსაყენებლად. ვინაიდან მოქმედებს მოთხოვნების ლიმიტი, ჩვენ არ გირჩევთ Inference API-ის გამოყენებას სამრეწველო გამოყენებისთვის (production). ამის ნაცვლად, უნდა განიხილოთ Inference Endpoints. მას შემდეგ, რაც კმაყოფილი იქნებით თქვენი ML მოდელის წარმადობით, დროა ის სამრეწველო გამოყენებისთვის გაუშვათ. სამწუხაროდ, როდესაც სატესტო გარემოს (sandbox) ტოვებთ, ყველაფერი საზრუნავად იქცევა: უსაფრთხოება, მასშტაბირება, მონიტორინგი და ა.შ. ეს არის ის წერტილი, სადაც ბევრი ML პროექტი ხვდება სირთულეებს და ზოგჯერ მარცხდება. ჩვენ შევქმენით Inference Endpoints ამ პრობლემის გადასაჭრელად. მხოლოდ რამდენიმე დაწკაპუნებით, Inference Endpoints საშუალებას გაძლევთ, გაუშვათ ნებისმიერი hub მოდელი უსაფრთხო და მასშტაბირებად ინფრასტრუქტურაზე, რომელიც განთავსებულია თქვენთვის სასურველ AWS ან Azure რეგიონში. დამატებითი პარამეტრები მოიცავს CPU და GPU ჰოსტინგს, ჩაშენებულ ავტომატურ მასშტაბირებას და სხვას. ეს ამარტივებს შესაბამისი ხარჯების/წარმადობის შეფარდების პოვნას, სადაც ფასი იწყება საათში $0.06-დან. Inference Endpoints მხარს უჭერს უსაფრთხოების სამ დონეს: Public (საჯარო): ენდპოინტი მუშაობს Hugging Face-ის საჯარო ქვექსელში და ინტერნეტის ნებისმიერ მომხმარებელს შეუძლია მასზე წვდომა ყოველგვარი ავთენტიფიკაციის გარეშე. Protected (დაცული): ენდპოინტი მუშაობს Hugging Face-ის საჯარო ქვექსელში და ინტერნეტის ნებისმიერ მომხმარებელს შესაბამისი Hugging Face ტოკენით შეუძლია მასზე წვდომა. Private (პირადი): ენდპოინტი მუშაობს Hugging Face-ის პირად ქვექსელში და მიუწვდომელია ინტერნეტში. ის ხელმისაწვდომია მხოლოდ პირადი კავშირით თქვენს AWS ან Azure ანგარიშში. ეს დააკმაყოფილებს შესაბამისობის უმკაცრეს მოთხოვნებს. Inference Endpoints-ის შესახებ მეტის გასაგებად, გთხოვთ, წაიკითხოთ ეს სამეურვეო მასალა და დოკუმენტაცია. დაბოლოს, Spaces არის კიდევ ერთი მზა ვარიანტი თქვენი მოდელის ინფერენსისთვის მარტივი UI ფრეიმვორკის (მაგალითად, Gradio) თავზე განსათავსებლად, და ჩვენ ასევე მხარს ვუჭერთ აპარატურულ განახლებებს, როგორიცაა მოწინავე Intel CPU-ები და NVIDIA GPU-ები. მოდელების დემონსტრირების უკეთესი გზა არ არსებობს! Spaces-ის შესახებ მეტის გასაგებად, გთხოვთ, გაეცნოთ დოკუმენტაციას და თავისუფლად დაათვალიეროთ პოსტები ან დასვათ შეკითხვები ჩვენს ფორუმზე. უფრო მარტივი არ შეიძლება იყოს. უბრალოდ შედით Hugging Face hub-ზე და დაათვალიერეთ ჩვენი მოდელები. როგორც კი იპოვით თქვენთვის სასურველს, შეგიძლიათ სცადოთ Inference Widget პირდაპირ გვერდზე. ღილაკზე „Deploy“ დაწკაპუნებით, თქვენ მიიღებთ ავტომატურად გენერირებულ კოდს მოდელის უფასო Inference API-ზე განსათავსებლად შეფასებისთვის, და პირდაპირ ბმულს მის სამრეწველო გამოყენებისთვის Inference Endpoints-ით ან Spaces-ით განსათავსებლად. გთხოვთ, სცადოთ და შეგვატყობინოთ თქვენი აზრი. მოხარული ვიქნებით წავიკითხოთ თქვენი გამოხმაურება Hugging Face-ის ფორუმზე.