მიუხედავად იმისა, რომ ენის მოდელები (LMs) უმჯობესდებიან ისეთ ამოცანებში, როგორიცაა გამოსახულების გენერირება, ტრივიალური კითხვები და მარტივი მათემატიკა, შესაძლოა იფიქროთ, რომ ადამიანის მსგავსი მსჯელობის უნარი უკვე ახლოსაა. სინამდვილეში, ისინი კვლავ საგრძნობლად ჩამორჩებიან ადამიანებს კომპლექსურ ამოცანებში. მაგალითად, სცადეთ სუდოკუს თამაში რომელიმე მათგანთან, სადაც რიცხვები ერთიდან ცხრამდე ისე უნდა შეავსოთ, რომ თითოეული მათგანი მხოლოდ ერთხელ გამოჩნდეს ცხრაკვადრატა ბადის სვეტებში, რიგებსა და სექციებში. თქვენი AI მოწინააღმდეგე ან ვერ შეავსებს უჯრებს დამოუკიდებლად, ან ამას არაეფექტურად გააკეთებს, თუმცა მას შეუძლია გადაამოწმოს, სწორად შეავსეთ თუ არა თქვენი უჯრები. მიუხედავად იმისა, ცდილობს თუ არა LM მოწინავე თავსატეხების ამოხსნას, მოლეკულების დიზაინს, თუ მათემატიკური დამტკიცებების წერას, სისტემას უჭირს ღია კითხვებზე პასუხის გაცემა, რომლებსაც მკაცრი წესები აქვთ. მოდელი უფრო უკეთესი შეკითხვებზე პასუხის გაცემაშია, თუ როგორ მიუდგეს ამ გამოწვევებს, ვიდრე თავად ცდილობს მათ გადაჭრას. უფრო მეტიც, პრაქტიკული პრობლემების გადაჭრა მოითხოვს LMs-ისგან ვარიანტების ფართო სპექტრის გათვალისწინებას შეზღუდვების დაცვით. მცირე LMs-ს არ შეუძლიათ ამის საიმედოდ გაკეთება დამოუკიდებლად; დიდ ენის მოდელებს (LLMs) ზოგჯერ შეუძლიათ, განსაკუთრებით თუ ისინი ოპტიმიზებულია მსჯელობის ამოცანებისთვის, მაგრამ მათ დიდი დრო სჭირდებათ პასუხის გასაცემად და იყენებენ დიდ გამოთვლით სიმძლავრეს. ამ მდგომარეობამ MIT-ის კომპიუტერული მეცნიერებისა და ხელოვნური ინტელექტის ლაბორატორიის (CSAIL) მკვლევრებს უბიძგა შეემუშავებინათ თანამშრომლობითი მიდგომა, სადაც LLM ახორციელებს დაგეგმვას, შემდეგ კი ამ სტრატეგიის სამუშაო ნაწილს მცირე მოდელებს უნაწილებს. მათი მეთოდი ეხმარება მცირე LMs-ს, მიაწოდონ უფრო ზუსტი პასუხები, ვიდრე წამყვან LLM-ებს, როგორიცაა OpenAI-ის GPT-4o, და მიუახლოვდნენ უმაღლესი დონის მსჯელობის სისტემების სიზუსტეს, როგორიცაა o1, თან ორივეზე უფრო ეფექტურია. მათი ფრეიმვორკი, სახელწოდებით „განაწილებითი შეზღუდვები ინფერენციული პროგრამირებით ენის მოდელების გამოყენებით“ (Distributional Constraints by Inference Programming with Language Models - DisCIPL), იყენებს დიდ მოდელს, რათა მართოს მცირე „მიმდევარი“ მოდელები ზუსტი პასუხებისკენ ისეთ ამოცანებში, როგორიცაა ტექსტური აღწერილობების, საბიუჯეტო სასურსათო სიების და მოგზაურობის მარშრუტების წერა. DisCIPL-ის შიდა მექანიზმები ჰგავს კომპანიის დაქირავებას კონკრეტული სამუშაოს შესასრულებლად. თქვენ აწვდით „ბოს“ მოდელს მოთხოვნას და ის ყურადღებით განიხილავს, თუ როგორ უნდა განახორციელოს ეს პროექტი. შემდეგ, LLM ამ ინსტრუქციებსა და მითითებებს მკაფიოდ გადასცემს მცირე მოდელებს. ის ასწორებს მიმდევარი LMs-ის გამომუშავებულ შედეგებს საჭიროების შემთხვევაში — მაგალითად, ცვლის ერთი მოდელის ფრაზას, რომელიც ლექსში არ ჯდება, მეორის უკეთესი ვარიანტით. LLM თავის მიმდევრებთან ურთიერთობს ენით, რომელიც მათ ყველას ესმით — ეს არის პროგრამირების ენა LMs-ის გასაკონტროლებლად, სახელწოდებით „LLaMPPL“. MIT-ის ალბათური გამოთვლის პროექტის მიერ 2023 წელს შემუშავებული ეს პროგრამა მომხმარებლებს საშუალებას აძლევს, დაშიფრონ კონკრეტული წესები, რომლებიც მოდელს სასურველი შედეგისკენ მიმართავს. მაგალითად, LLaMPPL შეიძლება გამოყენებულ იქნას უშეცდომო კოდის შესაქმნელად კონკრეტული ენის წესების ინსტრუქციებში ჩართვით. ისეთი მითითებები, როგორიცაა „დაწერე პოეზიის რვა ხაზი, სადაც თითოეულ ხაზს ზუსტად რვა სიტყვა აქვს“, დაშიფრულია LLaMPPL-ში, რაც მცირე მოდელებს უბიძგებს, წვლილი შეიტანონ პასუხის სხვადასხვა ნაწილში. MIT-ის დოქტორანტი გაბრიელ გრანდი, რომელიც ამ ნაშრომის წამყვანი ავტორია, აცხადებს, რომ DisCIPL საშუალებას აძლევს LMs-ს, ერთმანეთი საუკეთესო პასუხებისკენ წარმართონ, რაც აუმჯობესებს მათ საერთო ეფექტურობას. „ჩვენ ვმუშაობთ LMs-ის ინფერენციის ეფექტურობის გასაუმჯობესებლად, განსაკუთრებით ამ მოდელების მრავალ თანამედროვე აპლიკაციაში, რომლებიც მოიცავს შეზღუდვების დაქვემდებარებული შედეგების გენერირებას“, — დასძენს გრანდი, რომელიც ასევე CSAIL-ის მკვლევარია. „ენის მოდელები უფრო მეტ ენერგიას მოიხმარენ, რადგან ადამიანები მათ უფრო ხშირად იყენებენ, რაც ნიშნავს, რომ გვჭირდება მოდელები, რომლებსაც შეუძლიათ ზუსტი პასუხების მიწოდება მინიმალური გამოთვლითი სიმძლავრის გამოყენებით.“ „მართლაც ამაღელვებელია სტანდარტული ენის მოდელების ინფერენციის ახალი ალტერნატივების ხილვა“, — ამბობს კალიფორნიის უნივერსიტეტის, ბერკლის ასისტენტ პროფესორი ალან სური, რომელიც კვლევაში არ მონაწილეობდა. „ეს ნაშრომი გვთავაზობს ახალ მიდგომებს ენის მოდელირებისა და LLM-ების მიმართ, რომლებიც მნიშვნელოვნად ამცირებენ ინფერენციის შეფერხებას პარალელიზაციის გზით, მოითხოვენ არსებითად ნაკლებ პარამეტრებს, ვიდრე ამჟამინდელი LLM-ები, და აუმჯობესებენ ამოცანების შესრულებას სტანდარტულ სერიალიზებულ ინფერენციასთან შედარებით. ნაშრომი ასევე იძლევა შესაძლებლობებს მოდელის შედეგების გამჭვირვალობის, ინტერპრეტირებადობისა და კონტროლირებადობის შესასწავლად, რაც ჯერ კიდევ უზარმაზარი გადაუჭრელი პრობლემაა ამ ტექნოლოგიების დანერგვაში.“ „ქვესკნელის ამბავი“ შეიძლება ფიქრობდეთ, რომ დიდი მასშტაბის LMs „უკეთესია“ რთულ მოთხოვნებში, ვიდრე მცირე მოდელები, როდესაც საქმე სიზუსტესა და ეფექტურობას ეხება. DisCIPL ამ ამოცანებისთვის გასაკვირ ფაქტს გვთავაზობს: თუ თქვენ შეგიძლიათ მცირე მოდელების სიძლიერე გააერთიანოთ, შესაძლოა მსგავსი შედეგებით ეფექტურობის ზრდა დაინახოთ. მკვლევრები აღნიშნავენ, რომ თეორიულად, თქვენ შეგიძლიათ ათობით LM ჩართოთ DisCIPL ფრეიმვორკში ერთობლივი მუშაობისთვის, ზომის მიუხედავად. წერისა და მსჯელობის ექსპერიმენტებში მათ გამოიყენეს GPT-4o, როგორც „დამგეგმავი LM“, რომელიც ერთ-ერთი მოდელია, რომელიც ChatGPT-ს პასუხების გენერირებაში ეხმარება. მან