მეტყველების სინთეზის სფეროში დიდი ხანია არ არსებობდა სხვადასხვა მოდელის ხარისხის ზუსტი გაზომვის მეთოდი. ობიექტური მეტრიკები, როგორიცაა WER (სიტყვების შეცდომის მაჩვენებელი), არასაიმედოა მოდელის ხარისხის გასაზომად, ხოლო სუბიექტური შეფასებები, როგორიცაა MOS (საშუალო აზრის ქულა), როგორც წესი, მცირე მასშტაბის ექსპერიმენტებია, რომლებიც ცოტა მსმენელთან ტარდება. შედეგად, ეს გაზომვები, როგორც წესი, არ არის სასარგებლო დაახლოებით მსგავსი ხარისხის ორი მოდელის შესადარებლად. ამ ხარვეზების აღმოსაფხვრელად, საზოგადოებას ვთავაზობთ მოდელების შეფასებას მარტივად გამოსაყენებელი ინტერფეისის მეშვეობით. ამ ხელსაწყოს გახსნით და შედეგების საზოგადოებისთვის ხელმისაწვდომობით, ჩვენ მიზნად ვისახავთ მოდელების რანჟირების დემოკრატიზაციას და მოდელების შედარებისა და შერჩევის პროცესის ყველასთვის ხელმისაწვდომობას. AI სისტემებისთვის ადამიანის შეფასება ახალი მიდგომა არ არის. ახლახან, LMSys-მა ეს მეთოდი წარმატებით გამოიყენა Chatbot Arena-ში, სადაც ამ დროისთვის 300,000-ზე მეტი შეფასება დაგროვდა. მისი წარმატების გამო, ჩვენ მსგავსი ჩარჩო მივიღეთ ჩვენი ლიდერბორდისთვის, სადაც ნებისმიერ ადამიანს შეუძლია შეაფასოს სინთეზირებული აუდიო. ლიდერბორდი მომხმარებელს საშუალებას აძლევს, შეიყვანოს ტექსტი, რომელსაც ორი მოდელი გაასინთეზებს. თითოეული ნიმუშის მოსმენის შემდეგ, მომხმარებელი ხმას მისცემს იმ მოდელს, რომელიც უფრო ბუნებრივად ჟღერს. ადამიანური მიკერძოების და ბოროტად გამოყენების რისკების გამო, მოდელების სახელები გამჟღავნდება მხოლოდ ხმის მიცემის შემდეგ. ჩვენ შევარჩიეთ რამდენიმე SOTA (State of the Art) მოდელი ჩვენი ლიდერბორდისთვის. მიუხედავად იმისა, რომ უმეტესობა ღია წყაროს მოდელია, ჩვენ ასევე ჩავრთეთ რამდენიმე საკუთრების მოდელი, რათა დეველოპერებს შეეძლოთ შეედარებინათ ღია წყაროს განვითარების მდგომარეობა საკუთრების მოდელებთან. მიუხედავად იმისა, რომ ხელმისაწვდომია მრავალი სხვა ღია და დახურული წყაროს მოდელი, ჩვენ ავირჩიეთ ისეთები, რომლებიც ზოგადად მიჩნეულია ყველაზე მაღალი ხარისხის საჯაროდ ხელმისაწვდომ მოდელებად. Arena-ში ხმის მიცემის შედეგები საჯაროდ ხელმისაწვდომი იქნება სპეციალურ ლიდერბორდზე. გაითვალისწინეთ, რომ თავდაპირველად ის ცარიელი იქნება, სანამ საკმარისი ხმები არ დაგროვდება, შემდეგ კი მოდელები თანდათან გამოჩნდება. როგორც შემფასებლები წარადგენენ ახალ ხმებს, ლიდერბორდი ავტომატურად განახლდება. Chatbot Arena-ის მსგავსად, მოდელები შეფასდება Elo რეიტინგის სისტემის მსგავსი ალგორითმის გამოყენებით, რომელიც ხშირად გამოიყენება ჭადრაკსა და სხვა თამაშებში. ვიმედოვნებთ, რომ TTS Arena ყველა დეველოპერისთვის სასარგებლო რესურსი იქნება. მოხარული ვიქნებით მივიღოთ თქვენი გამოხმაურება! გთხოვთ, ნუ მოგერიდებათ შეგვატყობინოთ ნებისმიერი კითხვის ან შემოთავაზების შესახებ X/Twitter DM-ის გამოგზავნით, ან Space-ის საზოგადოების ჩანართში დისკუსიის გახსნით. განსაკუთრებული მადლობა ყველა იმ ადამიანს, ვინც ამის განხორციელებაში დაგვეხმარა, მათ შორის კლემენტინ ფურიეს, ლუსიენ პუჟეს, იოაჩ ლაკომბს, მეინ ჰორსს და Hugging Face-ის გუნდს. კერძოდ, მინდა მადლობა გადავუხადო VB-ს მისი დროისა და ტექნიკური დახმარებისთვის. ასევე მადლობას ვუხდი სანჩიტ განდისა და აპოლინარიო პასოსს მათი გამოხმაურებისა და მხარდაჭერისთვის განვითარების პროცესში.