MIT-ის მკვლევრებმა LLM-ების გამოთვლითი ეფექტურობის გასაუმჯობესებლად უფრო ჭკვიანი მეთოდი შეიმუშავეს

დიდი ენობრივი მოდელების (LLM) უფრო ზუსტი გახდომისთვის რთულ კითხვებზე პასუხის გაცემისას, მკვლევრებს შეუძლიათ მოდელს მისცენ მეტი დრო პოტენციურ გადაწყვეტილებებზე ფიქრისთვის. მაგრამ არსებული მიდგომები, რომლებიც LLM-ებს ამ შესაძლებლობას ანიჭებს, ყველა პრობლემისთვის ფიქსირებულ გამოთვლით ბიუჯეტს აწესებს, მიუხედავად მისი სირთულისა. ეს ნიშნავს, რომ LLM-მა შესაძლოა გამოთვლითი რესურსები გაფლანგოს მარტივ კითხვებზე, ან ვერ გაუმკლავდეს რთულ პრობლემებს, რომლებიც მეტ მსჯელობას მოითხოვს. ამის გამოსასწორებლად, MIT-ის მკვლევრებმა შეიმუშავეს უფრო ჭკვიანი გზა გამოთვლითი ძალისხმევის გასანაწილებლად, როდესაც LLM პრობლემას წყვეტს. მათი მეთოდი მოდელს საშუალებას აძლევს, დინამიურად დაარეგულიროს თავისი გამოთვლითი ბიუჯეტი კითხვის სირთულისა და იმის ალბათობის მიხედვით, რომ თითოეული ნაწილობრივი ამონახსნი სწორ პასუხამდე მიგვიყვანს. მკვლევარებმა აღმოაჩინეს, რომ მათმა ახალმა მიდგომამ LLM-ებს საშუალება მისცა, გამოეყენებინათ არსებულ მეთოდებთან შედარებით მხოლოდ ნახევარი გამოთვლა, მიაღწიეს რა მსგავს სიზუსტეს სხვადასხვა სირთულის კითხვებზე. გარდა ამისა, მათი მეთოდი საშუალებას აძლევს მცირე, ნაკლებად რესურს ინტენსიურ LLM-ებს, იმუშაონ ისევე კარგად, ან თუნდაც უკეთესად, ვიდრე დიდ მოდელებს კომპლექსურ პრობლემებზე. LLM-ების საიმედოობისა და ეფექტურობის გაუმჯობესებით, განსაკუთრებით მაშინ, როდესაც ისინი კომპლექსურ მსჯელობის ამოცანებს უმკლავდებიან, ამ ტექნიკას შეუძლია შეამციროს გენერაციული ხელოვნური ინტელექტის სისტემების ენერგიის მოხმარება და LLM-ების გამოყენება უფრო მაღალი რისკის და დროის მიმართ მგრძნობიარე აპლიკაციებში გახადოს შესაძლებელი. „ინფერენციის გამოთვლითი ღირებულება სწრაფად იქცა ძირითად შეფერხებად წამყვანი მოდელების პროვაიდერებისთვის და ისინი აქტიურად ცდილობენ იპოვონ გზები, რათა გააუმჯობესონ გამოთვლითი ეფექტურობა მომხმარებლის მოთხოვნებზე. მაგალითად, GPT-5.1-ის ბოლო გამოშვება ხაზს უსვამს ჩვენს ნაშრომში შემოთავაზებული „ადაპტური მსჯელობის“ მიდგომის ეფექტურობას. მოდელებისთვის იმის ცოდნის უნარის მინიჭებით, თუ რა არ იციან, ჩვენ შეგვიძლია მათ მივცეთ საშუალება, მეტი გამოთვლა დახარჯონ ურთულეს პრობლემებსა და ყველაზე პერსპექტიულ გადაწყვეტილებებზე, ხოლო მარტივ ამოცანებზე გაცილებით ნაკლები ტოკენი გამოიყენონ. ეს მსჯელობას ხდის როგორც უფრო საიმედოს, ასევე გაცილებით ეფექტურს“, - ამბობს ნავიდ აზიზანი, ალფრედ ჰ.-სა და ჟან მ. ჰეისის კარიერული განვითარების ასისტენტ-პროფესორი მექანიკური ინჟინერიის დეპარტამენტში და მონაცემთა, სისტემებისა და საზოგადოების ინსტიტუტში (IDSS), ინფორმაციისა და გადაწყვეტილების სისტემების ლაბორატორიის (LIDS) მთავარი მკვლევარი და ამ ტექნიკის შესახებ ნაშრომის უფროსი ავტორი. აზიზანს ნაშრომზე შეუერთდნენ წამყვანი ავტორი იონგ-ჯინ პარკი, LIDS/MechE-ის მაგისტრანტი; კრისტჯან გრინევალდი, მკვლევარი მეცნიერი MIT-IBM Watson AI ლაბორატორიაში; კავეჰ ალიმი, IDSS-ის მაგისტრანტი; და ჰაო ვანგი, მკვლევარი მეცნიერი MIT-IBM Watson AI ლაბორატორიაში და Red Hat AI ინოვაციის გუნდში. კვლევა ამ კვირაში ნევრონული ინფორმაციის დამუშავების სისტემების კონფერენციაზე იქნება წარმოდგენილი. აზროვნებისთვის საჭირო გამოთვლები. ბოლო დროს შემუშავებული მიდგომა, რომელსაც „ინფერენციის დროის სკალირება“ (inference-time scaling) ეწოდება, დიდ ენობრივ მოდელს საშუალებას აძლევს, მეტი დრო დახარჯოს რთულ პრობლემებზე მსჯელობისთვის. ინფერენციის დროის სკალირების გამოყენებით, LLM-მა შეიძლება ერთდროულად წარმოქმნას რამდენიმე გადაწყვეტის მცდელობა ან გამოიკვლიოს მსჯელობის სხვადასხვა გზა, შემდეგ კი ამ კანდიდატებიდან საუკეთესოები აირჩიოს. ცალკეული მოდელი, რომელიც ცნობილია როგორც პროცესის ჯილდოს მოდელი (PRM), აფასებს თითოეულ პოტენციურ გადაწყვეტას ან მსჯელობის გზას. LLM იყენებს ამ ქულებს ყველაზე პერსპექტიული ვარიანტების იდენტიფიცირებისთვის. ტიპიური ინფერენციის დროის სკალირების მიდგომები LLM-ს პრობლემის დასაშლელად და ნაბიჯებზე მსჯელობისთვის ფიქსირებულ გამოთვლით რაოდენობას ანიჭებს. ამის ნაცვლად, მკვლევართა მეთოდი, ცნობილი როგორც ინსტანცია-ადაპტური სკალირება (instance-adaptive scaling), დინამიურად არეგულირებს პოტენციური ამონახსნების ან მსჯელობის ნაბიჯების რაოდენობას იმის მიხედვით, თუ რამდენად სავარაუდოა მათი წარმატება, როდესაც მოდელი პრობლემას უმკლავდება. „ასე წყვეტენ ადამიანები პრობლემებს. ჩვენ მოვიფიქრებთ რამდენიმე ნაწილობრივ ამონახსნს და შემდეგ ვწყვეტთ, გავაგრძელო რომელიმე მათგანით, თუ შევწყვიტო და გადავხედო, ან თუნდაც დავბრუნდე წინა ნაბიჯზე და იქიდან გავაგრძელო პრობლემის გადაჭრა?“ - განმარტავს ვანგი. ამის გასაკეთებლად, ფრეიმვორკი იყენებს PRM-ს კითხვის სირთულის შესაფასებლად, რაც LLM-ს ეხმარება შეაფასოს, თუ რა რაოდენობის გამოთვლითი ბიუჯეტი გამოიყენოს პოტენციური ამონახსნების გენერირებისა და მათზე მსჯელობისთვის. მოდელის მსჯელობის პროცესის ყოველ ნაბიჯზე, PRM ათვალიერებს კითხვასა და ნაწილობრივ პასუხებს და აფასებს, რამდენად პერსპექტიულია თითოეული მათგანი სწორი გადაწყვეტის მისაღებად. თუ LLM უფრო თავდაჯერებულია, მას შეუძლია შეამციროს პოტენციური გადაწყვეტილებების ან მსჯელობის ტრაექტორიების რაოდენობა, რითაც დაზოგავს გამოთვლით რესურსებს. მაგრამ მკვლევრებმა