LangChain-ში Hugging Face-თან დაკავშირებული ყველა კლასი საზოგადოების მიერ იყო კოდირებული. მიუხედავად იმისა, რომ ეს პროცესი წარმატებით მიმდინარეობდა, დროთა განმავლობაში ზოგიერთი მათგანი მოძველდა შიდა პერსპექტივის ნაკლებობის გამო. პარტნიორი პაკეტის სტატუსის მოპოვებით, ჩვენი მიზანია შევამციროთ დრო, რომელიც საჭიროა Hugging Face-ის ეკოსისტემაში არსებული ახალი ფუნქციების LangChain-ის მომხმარებლებისთვის მიწოდებისთვის. `langchain-huggingface` შეუფერხებლად ინტეგრირდება LangChain-თან, რაც უზრუნველყოფს Hugging Face-ის მოდელების ეფექტურ და პროდუქტიულ გამოყენებას LangChain-ის ეკოსისტემაში. ეს პარტნიორობა არ არის მხოლოდ ტექნოლოგიების გაზიარებაზე, არამედ ერთობლივ ვალდებულებაზე, შევინარჩუნოთ და მუდმივად გავაუმჯობესოთ ეს ინტეგრაცია. `langchain-huggingface`-ის დაწყება მარტივია. აქ მოცემულია, თუ როგორ შეგიძლიათ დააინსტალიროთ და დაიწყოთ პაკეტის გამოყენება: მას შემდეგ, რაც პაკეტი დაინსტალირდება, მოდით განვიხილოთ, თუ რა შედის მასში! ტრანსფორმატორებს შორის, „Pipeline“ (კონვეიერი) Hugging Face-ის ყველაზე მრავალმხრივი ინსტრუმენტია. ვინაიდან LangChain ძირითადად RAG (Retrieval Augmented Generation) და Agent გამოყენების შემთხვევებისთვის არის შექმნილი, აქ „pipeline“-ის ფარგლები შემცირებულია შემდეგ ტექსტზე ორიენტირებულ ამოცანებამდე: „ტექსტის გენერაცია“ (text-generation), „ტექსტიდან-ტექსტზე გენერაცია“ (text2text-generation), „შეჯამება“ (summarization), „თარგმანი“ (translation). მოდელების ჩატვირთვა შესაძლებელია პირდაპირ `from_model_id` მეთოდით, ან შეგიძლიათ თავად განსაზღვროთ „pipeline“ კლასისთვის გადაცემამდე. ამ კლასის გამოყენებისას, მოდელი ჩაიტვირთება ქეშში და გამოიყენებს თქვენი კომპიუტერის აპარატურას; შესაბამისად, თქვენ შეიძლება შეზღუდული იყოთ თქვენს კომპიუტერზე არსებული რესურსებით. ამ კლასის გამოყენების ორი გზა არსებობს. შეგიძლიათ მიუთითოთ მოდელი `repo_id` პარამეტრით. ეს ენდპოინტები იყენებენ უსერვერო API-ს, რაც განსაკუთრებით მომგებიანია პროფესიონალური ან საწარმოო ანგარიშების მომხმარებლებისთვის. მიუხედავად ამისა, ჩვეულებრივ მომხმარებლებს უკვე შეუძლიათ წვდომა ჰქონდეთ საკმაო რაოდენობის მოთხოვნებზე, თუ მათ HF ტოკენს დააკავშირებენ იმ გარემოში, სადაც კოდს ასრულებენ. შიდა მექანიზმის დონეზე, ეს კლასი იყენებს `InferenceClient`-ს, რათა მოემსახუროს გამოყენების შემთხვევების ფართო სპექტრს, უსერვერო API-დან განთავსებულ TGI ინსტანციებამდე. ყველა მოდელს აქვს საკუთარი სპეციალური ტოკენები, რომლებითაც ის საუკეთესოდ მუშაობს. ამ ტოკენების თქვენს „prompt“-ში (მოთხოვნაში) დამატების გარეშე, თქვენი მოდელი მნიშვნელოვნად ნაკლებად ეფექტური იქნება. შეტყობინებების სიიდან დასრულების „prompt“-ზე გადასვლისას, LLM ტოკენაიზერების უმეტესობაში არსებობს ატრიბუტი სახელწოდებით `chat_template`. სხვადასხვა მოდელში `chat_template`-ის შესახებ მეტის გასაგებად, ეწვიეთ ამ სივრცეს! ეს კლასი არის „wrapper“ (შემოხვევა) სხვა LLM-ების გარშემო. ის შეყვანად იღებს შეტყობინებების სიას და შემდეგ ქმნის სწორ დასრულების „prompt“-ს `tokenizer.apply_chat_template` მეთოდის გამოყენებით. Hugging Face სავსეა ძალიან მძლავრი ემბედინგის (embedding) მოდელებით, რომელთა გამოყენებაც შეგიძლიათ პირდაპირ თქვენს „pipeline“-ში. პირველ რიგში აირჩიეთ თქვენი მოდელი. ემბედინგის მოდელის არჩევისთვის კარგი რესურსია MTEB ლიდერბორდი. ეს კლასი იყენებს `sentence-transformers` ემბედინგებს. ის გამოთვლის ემბედინგს ლოკალურად, შესაბამისად იყენებს თქვენი კომპიუტერის რესურსებს. `HuggingFaceEndpointEmbeddings` ძალიან ჰგავს იმას, რასაც `HuggingFaceEndpoint` აკეთებს LLM-ისთვის, იმ თვალსაზრისით, რომ ის ასევე იყენებს `InferenceClient`-ს შიდა მექანიზმის დონეზე ემბედინგების გამოსათვლელად. მისი გამოყენება შესაძლებელია „hub“-ზე არსებულ მოდელებთან და TEI ინსტანციებთან, მიუხედავად იმისა, ლოკალურად არის განთავსებული თუ ონლაინ. ჩვენ მზად ვართ, რომ `langchain-huggingface` ყოველდღიურად გავაუმჯობესოთ. აქტიურად დავაკვირდებით უკუკავშირს და პრობლემებს და ვეცდებით მათ რაც შეიძლება სწრაფად გადაჭრას. ასევე დავამატებთ ახალ ფუნქციებსა და შესაძლებლობებს და გავაფართოვებთ პაკეტს საზოგადოების გამოყენების შემთხვევების კიდევ უფრო ფართო სპექტრის მხარდასაჭერად. ჩვენ მტკიცედ მოგიწოდებთ, სცადოთ ეს პაკეტი და გამოთქვათ თქვენი აზრი, რადგან ეს გზას გაუხსნის პაკეტის მომავალს.