TGI 1.4.0 ვერსიიდან მოყოლებული, გთავაზობთ API-ს, რომელიც თავსებადია OpenAI-ის Chat Completion API-თან. ახალი Messages API მომხმარებლებს საშუალებას აძლევს, შეუფერხებლად გადავიდნენ OpenAI-ის მოდელებიდან ღია LLM-ებზე. API შეიძლება პირდაპირ იქნას გამოყენებული OpenAI-ის კლიენტის ბიბლიოთეკებთან ან მესამე მხარის ხელსაწყოებთან, როგორიცაა LangChain ან LlamaIndex. ახალი Messages API ასევე ხელმისაწვდომია Inference Endpoints-ში, როგორც გამოყოფილი, ასევე serverless ვერსიებით. სწრაფი დაწყებისთვის, ჩვენ დეტალური მაგალითები მოვიყვანეთ, თუ როგორ უნდა: შეზღუდვები: Messages API ამჟამად არ უჭერს მხარს ფუნქციის გამოძახებას (function calling) და იმუშავებს მხოლოდ იმ LLM-ებთან, რომლებსაც აქვთ `chat_template` განსაზღვრული თავიანთი ტოკენიზატორის კონფიგურაციაში, მაგალითად Mixtral 8x7B Instruct-ის შემთხვევაში. Inference Endpoints გთავაზობთ უსაფრთხო, საწარმოო გადაწყვეტას Hub-დან ნებისმიერი მანქანური სწავლების მოდელის მარტივად განთავსებისთვის Hugging Face-ის მიერ მართულ გამოყოფილ ინფრასტრუქტურაზე. ამ მაგალითში, ჩვენ განვათავსებთ Nous-Hermes-2-Mixtral-8x7B-DPO-ს, რომელიც არის Mixtral-ის დახვეწილი მოდელი, Inference Endpoints-ზე Text Generation Inference-ის გამოყენებით. ჩვენ შეგვიძლია მოდელის განთავსება სულ რამდენიმე დაწკაპუნებით UI-დან, ან გამოვიყენოთ `huggingface_hub` Python ბიბლიოთეკა Inference Endpoints-ის პროგრამულად შესაქმნელად და სამართავად. აქ ჩვენ ვაჩვენებთ Hub ბიბლიოთეკის გამოყენებას. ქვემოთ მოცემულ ჩვენს API გამოძახებაში, ჩვენ უნდა მივუთითოთ endpoint-ის სახელი და მოდელის საცავი, ტექსტის გენერაციის ამოცანასთან ერთად. ამ მაგალითში ჩვენ ვიყენებთ დაცულ ტიპს, ამიტომ განთავსებულ endpoint-ზე წვდომისთვის საჭირო იქნება მოქმედი Hugging Face ტოკენი. ჩვენ ასევე უნდა დავაკონფიგურიროთ აპარატურის მოთხოვნები, როგორიცაა ვენდორი, რეგიონი, ამაჩქარებელი, ინსტანციის ტიპი და ზომა. თქვენ შეგიძლიათ ნახოთ ხელმისაწვდომი რესურსების ოფციების სია ამ API გამოძახების გამოყენებით, და იხილოთ რეკომენდებული კონფიგურაციები შერჩეული მოდელებისთვის ჩვენს კატალოგში აქ. შენიშვნა: შესაძლოა დაგჭირდეთ კვოტის განახლების მოთხოვნა ელფოსტის გაგზავნით [email protected]ზე. ჩვენს განთავსებას რამდენიმე წუთი დასჭირდება ასამუშავებლად. ჩვენ შეგვიძლია გამოვიყენოთ .wait() უტილიტა გაშვებული thread-ის დასაბლოკად, სანამ endpoint მიაღწევს საბოლოო "მუშა" (running) მდგომარეობას. როდესაც მუშაობას დაიწყებს, ჩვენ შეგვიძლია დავადასტუროთ მისი სტატუსი და გამოვცადოთ UI Playground-ის საშუალებით: შესანიშნავია, ახლა უკვე გვაქვს მოქმედი endpoint! TGI-ში Messages-ის მხარდაჭერა Inference Endpoints-ს პირდაპირ თავსებადს ხდის OpenAI Chat Completion API-თან. ეს ნიშნავს, რომ ნებისმიერი არსებული სკრიპტი, რომელიც იყენებს OpenAI მოდელებს OpenAI კლიენტის ბიბლიოთეკების მეშვეობით, შეიძლება პირდაპირ შეიცვალოს ნებისმიერი ღია LLM-ის გამოსაყენებლად, რომელიც მუშაობს TGI endpoint-ზე! ამ შეუფერხებელი გადასვლის წყალობით, შეგიძლიათ დაუყოვნებლივ ისარგებლოთ ღია მოდელების მრავალი უპირატესობით: ვნახოთ როგორ. ქვემოთ მოცემული მაგალითი გვიჩვენებს, თუ როგორ ხდება ეს გადასვლა OpenAI Python Library-ის გამოყენებით. უბრალოდ შეცვალეთ თქვენი endpoint-ის URL-ით (აუცილებლად შეიტანეთ v1/ სუფიქსი) და შეავსეთ ველი მოქმედი Hugging Face მომხმარებლის ტოკენით. შეიძლება მოპოვებული იქნას Inference Endpoints UI-დან, ან endpoint ობიექტიდან, რომელიც ზემოთ შევქმენით `endpoint.url`-ის გამოყენებით. შემდეგ შეგვიძლია კლიენტის ჩვეულებრივად გამოყენება, შეტყობინებების სიის გადაცემით ჩვენი Inference Endpoint-დან პასუხების ნაკადური გზით მისაღებად. კულისებში, TGI-ის Messages API ავტომატურად გარდაქმნის შეტყობინებების სიას მოდელის მიერ მოთხოვნილ ინსტრუქციის ფორმატში თავისი `chat template`-ის გამოყენებით. აქ არის იგივე ნაკადური მაგალითი, ოღონდ OpenAI Javascript/Typescript Library-ის გამოყენებით. ახლა, ვნახოთ, როგორ გამოვიყენოთ ეს ახლად შექმნილი endpoint თქვენს სასურველ RAG ფრეიმვორკთან ერთად. მის LangChain-ში გამოსაყენებლად, უბრალოდ შექმენით ChatOpenAI-ის ინსტანცია და გადაეცით თქვენი და შემდეგნაირად: ჩვენ შეგვიძლია პირდაპირ გამოვიყენოთ იგივე ChatOpenAI კლასი, რომელსაც OpenAI მოდელებთან ერთად გამოვიყენებდით. ეს საშუალებას აძლევს მთელ წინა კოდს იმუშაოს ჩვენს endpoint-თან მხოლოდ ერთი სტრიქონის შეცვლით. მოდით, ახლა გამოვიყენოთ ამ გზით დეკლარირებული LLM მარტივ RAG pipeline-ში, რათა ვუპასუხოთ შეკითხვას HF ბლოგის პოსტის შინაარსის შესახებ. ანალოგიურად, შეგიძლიათ გამოიყენოთ TGI endpoint LlamaIndex-შიც. ჩვენ გამოვიყენებთ OpenAILike კლასს და შევქმნით მის ინსტანციას დამატებითი არგუმენტების კონფიგურაციით (ანუ, `is_local`, `is_function_calling_model`, `is_chat_model`, `context_window`). გაითვალისწინეთ, რომ `context_window` არგუმენტი უნდა ემთხვეოდეს თქვენი endpoint-ის `MAX_TOTAL_TOKENS`-ისთვის ადრე დაყენებულ მნიშვნელობას. ახლა შეგვიძლია მისი გამოყენება მსგავს RAG pipeline-ში. გაითვალისწინეთ, რომ თქვენს Inference Endpoint-ში `MAX_INPUT_LENGTH`-ის წინა არჩევანი პირდაპირ იმოქმედებს მოძიებული ნაწილების (chunk) რაოდენობაზე (`similarity_top_k`), რომელთა დამუშავებაც მოდელს შეუძლია. როდესაც თქვენს endpoint-თან მუშაობას დაასრულებთ, შეგიძლიათ მისი დაპაუზება ან წაშლა. ამ ნაბიჯის შესრულება შესაძლებელია UI-ის მეშვეობით, ან პროგრამულად, როგორც ქვემოთაა მოცემული. Text Generation Inference-ში ახალი Messages API უზრუნველყოფს გლუვ გადასვლას OpenAI მოდელებიდან ღია LLM-ებზე. მოუთმენლად ველით, თუ რა გამოყენების სცენარებს შექმნით ღია LLM-ებით, რომლებიც მუშაობენ TGI-ზე!