ამას უზარმაზარი ღირებულება აქვს ღია კოდის საზოგადოებისთვის, რადგან ის პრაქტიკოსებს საშუალებას აძლევს თვალყური ადევნონ საუკეთესო ღია კოდის მოდელებს. 2023 წლის ბოლოს, Vectara-ში ჩვენ წარმოვადგინეთ ჰიუზის ჰალუცინაციის შეფასების მოდელი (HHEM), ღია კოდის მოდელი, რომელიც ზომავს, თუ რამდენად ახდენს LLM „ჰალუცინაციას“ (წარმოქმნის უაზრო ან მიწოდებული წყაროს შინაარსის არასწორ ტექსტს). ის მოიცავს როგორც ღია კოდის მოდელებს, როგორიცაა Llama 2 ან Mistral 7B, ასევე კომერციულ მოდელებს, როგორიცაა OpenAI-ის GPT-4, Anthropic Claude ან Google-ის Gemini. ამ მოდელმა ხაზი გაუსვა მკვეთრ განსხვავებებს, რომლებიც ამჟამად არსებობს მოდელებს შორის მათი „ჰალუცინაციის“ მიდრეკილების თვალსაზრისით. იმის გამო, რომ ჩვენ ვაგრძელებთ ახალი მოდელების HHEM-ში დამატებას, ვეძებდით ღია კოდის გადაწყვეტას HHEM ლიდერბორდის სამართავად და განახლებისთვის. ცოტა ხნის წინ, Hugging Face-ის ლიდერბორდის გუნდმა გამოუშვა ლიდერბორდის შაბლონები (აქ და აქ). ეს არის Open LLM ლიდერბორდის მსუბუქი ვერსიები, რომლებიც ორივე ღია კოდის მქონეა და ორიგინალ კოდზე მარტივი გამოსაყენებელია. დღეს მოხარულნი ვართ გამოვაცხადოთ ახალი HHEM ლიდერბორდის გამოშვება, რომელიც HF ლიდერბორდის შაბლონით მუშაობს. ჰიუზის ჰალუცინაციის შეფასების მოდელის (HHEM) ლიდერბორდი ეძღვნება დოკუმენტის რეზიუმეებში „ჰალუცინაციების“ სიხშირის შეფასებას, რომლებიც გენერირებულია დიდი ენობრივი მოდელების (LLM) მიერ, როგორიცაა GPT-4, Google Gemini ან Meta-ს Llama 2. მის გამოსაყენებლად შეგიძლიათ მიჰყვეთ ინსტრუქციებს აქ. ამ მოდელის ღია კოდის გამოშვებით, ჩვენ, Vectara-ში, მიზნად ვისახავთ LLM „ჰალუცინაციების“ შეფასების დემოკრატიზაციას, რაც საზოგადოებას გააცნობს იმ განსხვავებებს, რომლებიც არსებობს LLM-ის მუშაობაში „ჰალუცინაციის“ მიდრეკილების თვალსაზრისით. HHEM-ის ჩვენი თავდაპირველი გამოშვება იყო Huggingface მოდელი Github საცავთან ერთად, მაგრამ მალევე მივხვდით, რომ გვჭირდებოდა მექანიზმი, რომელიც საშუალებას მისცემს ახალი ტიპის მოდელების შეფასებას. HF ლიდერბორდის კოდის შაბლონის გამოყენებით, ჩვენ შევძელით სწრაფად შეგვედგინა ახალი ლიდერბორდი, რომელიც იძლევა დინამიური განახლებების საშუალებას, და ჩვენ ვურჩევთ LLM საზოგადოებას, წარადგინოს ახალი შესაბამისი მოდელები HHEM შეფასებისთვის. Vectara HHEM ლიდერბორდის დასაყენებლად, ჩვენ რამდენიმე ნაბიჯის გადადგმა მოგვიწია, HF ლიდერბორდის შაბლონის კოდის ჩვენს საჭიროებებთან მისადაგება: მარტივი ლიდერბორდისთვის, სადაც შეფასების შედეგები თქვენი ბექენდის მიერ მიეწოდება შედეგების მონაცემთა ნაკრებს, ეს არის ყველაფერი რაც გჭირდებათ! ვინაიდან ჩვენი შეფასება უფრო რთულია, ჩვენ შემდეგ მოვარგეთ წყაროს კოდი HHEM ლიდერბორდის საჭიროებებს – დეტალები მოცემულია აქ: საბოლოო წყაროს კოდი ხელმისაწვდომია ჩვენი HHEM ლიდერბორდის საცავის „ფაილების“ ჩანართში. ყველა ამ ცვლილებით, ახლა ჩვენ გვაქვს შეფასების სისტემა მზად და ადვილად განლაგდება Huggingface Space-ად. HHEM არის ახალი კლასიფიკაციის მოდელი, რომელიც შეიძლება გამოყენებულ იქნას LLM-ების მიერ „ჰალუცინაციის“ ხარისხის შესაფასებლად. Hugging Face-ის ლიდერბორდის შაბლონის ჩვენმა გამოყენებამ უზრუნველყო საჭირო მხარდაჭერა ნებისმიერი ლიდერბორდის საერთო მოთხოვნისთვის: ახალი მოდელების შეფასების მოთხოვნების წარდგენის მართვისა და ლიდერბორდის განახლების შესაძლებლობა ახალი შედეგების მიღებისას. დიდი მადლობა Hugging Face-ის გუნდს ამ ღირებული ფრეიმვორკის ღია კოდის გახდისთვის და Vectara-ს გუნდის დახმარებისთვის მის განხორციელებაში. ჩვენ ველით, რომ ეს კოდი ხელახლა იქნება გამოყენებული საზოგადოების სხვა წევრების მიერ, რომლებიც მიზნად ისახავენ LLM ლიდერბორდების სხვა ტიპების გამოქვეყნებას. თუ გსურთ წვლილი შეიტანოთ HHEM-ში ახალი მოდელებით, გთხოვთ, წარადგინოთ ის ლიდერბორდზე – ჩვენ ძალიან ვაფასებთ ნებისმიერ წინადადებას ახალი მოდელების შესაფასებლად. და თუ გაქვთ რაიმე შეკითხვა Hugging Face LLM-ის ფრონტენდთან ან Vectara-სთან დაკავშირებით, გთხოვთ, მოგვმართოთ Vectara-ს ან Huggingface-ის ფორუმებზე.