ინდუსტრიის ამ მნიშვნელოვანი ეტაპებით შთაგონებულმა, Upstage-მა 2023 წლის სექტემბერში Open Ko-LLM ლიდერბორდის ინიცირება მოახდინა. ჩვენი მიზანი იყო სწრაფად შეგვემუშავებინა და გაგვეცნო კორეული LLM მონაცემთა შეფასების ეკოსისტემა, რაც გლობალურ ტენდენციას, ღია და თანამშრომლობითი AI განვითარებისკენ, ეხმიანება. Open Ko-LLM ლიდერბორდის ჩვენი ხედვაა, რომ ხელი შევუწყოთ კორეული LLM შეფასების აქტიური ეკოსისტემის განვითარებას, გავაძლიეროთ გამჭვირვალობა მკვლევრებისთვის შედეგების გაზიარებისა და LLM სფეროში ფარული ნიჭის აღმოჩენის შესაძლებლობით. არსებითად, ჩვენ ვცდილობთ გავაფართოვოთ სათამაშო მოედანი კორეული LLM-ებისთვის. ამ მიზნით, ჩვენ შევიმუშავეთ ღია პლატფორმა, სადაც ინდივიდებს შეუძლიათ დაარეგისტრირონ თავიანთი კორეული LLM და ჩაერთონ კონკურსებში სხვა მოდელებთან ერთად. გარდა ამისა, ჩვენი მიზანი იყო შეგვექმნა ლიდერბორდი, რომელიც კორეული ენის უნიკალურ მახასიათებლებსა და კულტურას ასახავს. ამ მიზნის მისაღწევად, ჩვენ უზრუნველვყავით, რომ ჩვენი ნათარგმნი საორიენტაციო მონაცემთა ნაკრებები, როგორიცაა Ko-MMLU, ასახავდეს კორეული ენის გამორჩეულ ატრიბუტებს. Open Ko-LLM ლიდერბორდი ხასიათდება ბენჩმარკინგისადმი უნიკალური მიდგომით, კერძოდ: მიუხედავად იმისა, რომ ვაღიარებთ ღია ბენჩმარკების მეშვეობით კვლევითი საზოგადოებისთვის ფართო გავლენისა და სარგებლიანობის პოტენციალს, დახურული სატესტო ნაკრების გარემოს შენარჩუნების გადაწყვეტილება მიღებული იქნა უფრო კონტროლირებადი და სამართლიანი შედარებითი ანალიზის ხელშეწყობის მიზნით. Open Ko-LLM ლიდერბორდი შეფასების ხუთ ტიპს იყენებს: Open Ko-LLM ლიდერბორდმა მოლოდინს გადააჭარბა, 1000-ზე მეტი მოდელით. შედარებისთვის, ორიგინალური ინგლისური Open LLM ლიდერბორდი ამჟამად 4000-ზე მეტ მოდელს მასპინძლობს. Ko-LLM ლიდერბორდმა ამ რაოდენობის მეოთხედს მიაღწია გაშვებიდან სულ რაღაც ხუთ თვეში. ჩვენ მადლობელი ვართ ამ ფართო მონაწილეობისთვის, რაც კორეული LLM-ების განვითარების მიმართ აქტიურ ინტერესს აჩვენებს. განსაკუთრებით აღსანიშნავია მრავალფეროვანი კონკურენცია, რომელიც მოიცავს ინდივიდუალურ მკვლევრებს, კორპორაციებსა და აკადემიურ ინსტიტუტებს, როგორებიცაა KT, Lotte Information & Communication, Yanolja, MegaStudy Maum AI, 42Maru, ელექტრონიკისა და ტელეკომუნიკაციების კვლევითი ინსტიტუტი (ETRI), KAIST და კორეის უნივერსიტეტი. ერთ-ერთი გამორჩეული წარდგენილი მოდელია KT-ის Mi:dm 7B, რომელმაც არა მხოლოდ პირველი ადგილი დაიკავა 7 მილიარდი ან ნაკლები პარამეტრის მქონე მოდელებს შორის, არამედ საჯარო გამოყენებისთვისაც გახდა ხელმისაწვდომი, რაც მნიშვნელოვან ეტაპს წარმოადგენს. ჩვენ ასევე აღვნიშნავთ, რომ ზოგადად, მოდელების ორი ტიპი აჩვენებს ძლიერ შესრულებას ლიდერბორდზე: ასეთი დიდი ლიდერბორდის მართვა საკუთარი გამოწვევების გარეშე არ ყოფილა. Open Ko-LLM ლიდერბორდი მიზნად ისახავს მჭიდროდ შეესაბამებოდეს Open LLM ლიდერბორდის ფილოსოფიას, განსაკუთრებით Hugging Face-ის მოდელების ეკოსისტემასთან ინტეგრაციის კუთხით. ეს სტრატეგია უზრუნველყოფს ლიდერბორდის ხელმისაწვდომობას, რაც მონაწილეებისთვის ჩართულობას ამარტივებს – ეს გადამწყვეტი ფაქტორია მისი ფუნქციონირებისთვის. მიუხედავად ამისა, არსებობს შეზღუდვები ინფრასტრუქტურის გამო, რომელიც ეყრდნობა 16 A100 80GB GPU-ს. ეს კონფიგურაცია გამოწვევების წინაშე დგას, განსაკუთრებით 30 მილიარდზე მეტი პარამეტრის მქონე მოდელების გაშვებისას, რადგან ისინი ზედმეტად დიდ გამოთვლით რესურსებს საჭიროებენ. ეს იწვევს მრავალი წარდგენილი მოდელისთვის ხანგრძლივ მომლოდინე სტატუსს. ამ ინფრასტრუქტურული გამოწვევების მოგვარება აუცილებელია Open Ko-LLM ლიდერბორდის მომავალი გაუმჯობესებისთვის. ჩვენ ვაღიარებთ რამდენიმე შეზღუდვას მიმდინარე ლიდერბორდის მოდელებში, როდესაც ისინი რეალური სამყაროს კონტექსტში განიხილება: ამიტომ, ჩვენ ვგეგმავთ ლიდერბორდის შემდგომ განვითარებას, რათა მან ამ პრობლემებს გაუმკლავდეს და მრავალთა მიერ აღიარებული სანდო რესურსი გახდეს. სხვადასხვა ბენჩმარკების ინტეგრაციით, რომლებსაც ძლიერი კორელაცია აქვთ რეალური სამყაროს გამოყენების შემთხვევებთან, ჩვენ მიზნად ვისახავთ, რომ ლიდერბორდი არა მხოლოდ უფრო აქტუალური, არამედ ბიზნესისთვის ნამდვილად სასარგებლო გავხადოთ. ჩვენ გვსურს, ხიდი გავდოთ აკადემიურ კვლევებსა და პრაქტიკულ გამოყენებას შორის და განუწყვეტლივ განვაახლებთ და გავაუმჯობესებთ ლიდერბორდს, როგორც კვლევითი საზოგადოების, ასევე ინდუსტრიის სპეციალისტების უკუკავშირის საფუძველზე, რათა ბენჩმარკები დარჩეს მკაცრი, ყოვლისმომცველი და განახლებული. ამ ძალისხმევით, ვიმედოვნებთ, რომ წვლილს შევიტანთ სფეროს წინსვლაში, პლატფორმის მიწოდებით, რომელიც ზუსტად ზომავს და აჩქარებს დიდი ენობრივი მოდელების პროგრესს პრაქტიკული და ეფექტური პრობლემების გადაჭრაში. თუ თქვენ ავითარებთ მონაცემთა ნაკრებებს და გსურთ ჩვენთან თანამშრომლობა ამ მიმართულებით, სიამოვნებით გესაუბრებით. შეგიძლიათ დაგვიკავშირდეთ [email protected] ან [email protected] მისამართებზე! გვერდითი შენიშვნის სახით, ჩვენ მიგვაჩნია, რომ შეფასებები რეალურ ონლაინ გარემოში, ბენჩმარკებზე დაფუძნებული შეფასებებისგან განსხვავებით, მეტად მნიშვნელოვანია. ბენჩმარკებზე დაფუძნებული შეფასებების ფარგლებშიც კი, საჭიროა ბენჩმარკების ყოველთვიურად განახლება ან უფრო კონკრეტულად დომენზე ორიენტირებული ასპექტების შეფასება – ჩვენ მოხარული ვიქნებით, მხარი დავუჭიროთ ასეთ ინიციატივებს. Open Ko-LLM ლიდერბორდის გზა დაიწყო თანამშრომლობის შეთანხმებით კორეული სტილის ლიდერბორდის შესამუშავებლად, Upstage-სა და ეროვნული საინფორმაციო საზოგადოების სააგენტოს (NIA), კორეის საკვანძო ეროვნული ინსტიტუტის, პარტნიორობით. ამ პარტნიორობამ საწყისი სიგნალი მისცა და სულ რაღაც ერთ თვეში ჩვენ უკვე...