AI სიახლეები

„PaTH Attention“: MIT-ის მკვლევრები ტრანსფორმერების „პოზიციურ მეხსიერებას“ აუმჯობესებენ

MIT-ისა და MIT-IBM Watson AI Lab-ის მკვლევრებმა შეიმუშავეს ახალი AI კოდირების ტექნიკა, სახელად „PaTH Attention“, რომელიც მიზნად ისახავს დიდი ენობრივი მოდელების (LLMs) შეზღუდვების დაძლევას მდგომარეობის თვალთვალისა და თანმიმდევრული მსჯელობის კუთხით. არსებული „ყურადღების მექანიზმები“ ვერ აღიქვამენ სიტყვების თანმიმდევრობას ისე ეფექტურად, როგორც საჭიროა. „PaTH Attention“ პოზიციურ ინფორმაციას ადაპტირებადს და კონტექსტის გათვალისწინებით ამუშავებს, სტატიკური მეთოდებისგან განსხვავებით, რითაც აუმჯობესებს მ