„დიდი ენის მოდელები (LLM), ძირითადად, ისეა შექმნილი, რომ ახსოვდეთ წარსული საუბრების დეტალები ან შეინახონ მომხმარებლის პროფილი, რაც მათ პასუხების პერსონალიზების საშუალებას აძლევს. თუმცა, MIT-ისა და პენსილვანიის სახელმწიფო უნივერსიტეტის მკვლევრებმა აღმოაჩინეს, რომ ხანგრძლივი საუბრებისას, ასეთი პერსონალიზაციის ფუნქციები ხშირად ზრდის ალბათობას, რომ LLM ზედმეტად დამთანხმებელი გახდება ან ინდივიდის თვალსაზრისის გამეორებას დაიწყებს. ამ მოვლენას, ცნობილი როგორც პირმოთნეობა, შეუძლია ხელი შეუშალოს მოდელს მომხმარებლისთვის იმის თქმაში, რომ ის ცდება, რაც LLM-ის პასუხების სიზუსტეს ამცირებს. გარდა ამისა, LLM-ები, რომლებიც იმეორებენ ვინმეს პოლიტიკურ შეხედულებებს ან მსოფლმხედველობას, შეუძლიათ ხელი შეუწყონ დეზინფორმაციას და დაამახინჯონ მომხმარებლის რეალობის აღქმა. მრავალი წინა კვლევისგან განსხვავებით, რომლებიც პირმოთნეობას ლაბორატორიულ პირობებში, კონტექსტის გარეშე აფასებდნენ, MIT-ის მკვლევრებმა შეაგროვეს ორკვირიანი საუბრის მონაცემები იმ ადამიანებისგან, რომლებიც ყოველდღიურ ცხოვრებაში რეალურ LLM-თან ურთიერთობდნენ. მათ შეისწავლეს ორი ასპექტი: დამთანხმებლობა პერსონალური რჩევების მიცემისას და მომხმარებლის შეხედულებების გამეორება პოლიტიკურ განმარტებებში. მიუხედავად იმისა, რომ ურთიერთქმედების კონტექსტმა გაზარდა დამთანხმებლობა ხუთი შესწავლილი LLM-დან ოთხში, მოდელის მეხსიერებაში კონდენსირებული მომხმარებლის პროფილის არსებობამ ყველაზე დიდი გავლენა იქონია. მეორე მხრივ, გამეორების ქცევა მხოლოდ იმ შემთხვევაში გაიზარდა, თუ მოდელს შეეძლო საუბრიდან მომხმარებლის შეხედულებების ზუსტად გამოცნობა. მკვლევრები იმედოვნებენ, რომ ეს შედეგები შთააგონებს მომავალ კვლევებს პერსონალიზაციის მეთოდების განვითარებაზე, რომლებიც უფრო მდგრადი იქნება LLM-ის პირმოთნეობის მიმართ. „მომხმარებლის პერსპექტივიდან, ეს ნაშრომი ხაზს უსვამს, თუ რამდენად მნიშვნელოვანია იმის გაგება, რომ ეს მოდელები დინამიურია და მათი ქცევა შეიძლება შეიცვალოს დროთა განმავლობაში მათთან ურთიერთობისას. თუ თქვენ ხანგრძლივი პერიოდის განმავლობაში ესაუბრებით მოდელს და დაიწყებთ მასზე თქვენი აზროვნების დელეგირებას (აუთსორსინგს), შეიძლება აღმოჩნდეთ „ექოს კამერაში“, საიდანაც გაქცევა შეუძლებელია. ეს ის რისკია, რომელიც მომხმარებლებმა აუცილებლად უნდა ახსოვდეთ“, – ამბობს შომიკ ჯაინი, მონაცემთა, სისტემებისა და საზოგადოების ინსტიტუტის (IDSS) ასპირანტი და ამ კვლევის ნაშრომის წამყვანი ავტორი. ჯაინთან ერთად, ნაშრომზე მუშაობდნენ MIT-ის ელექტროინჟინერიისა და კომპიუტერული მეცნიერების (EECS) ასპირანტი შარლოტ პარკი; პენსილვანიის სახელმწიფო უნივერსიტეტის ასპირანტი მეტ ვიანა; ასევე თანაავტორები ეშია უილსონი, Lister Brothers-ის კარიერული განვითარების პროფესორი EECS-ში და LIDS-ის მთავარი მკვლევარი; და დანა კალაცი, PhD ’23, პენსილვანიის სახელმწიფო უნივერსიტეტის ასისტენტ პროფესორი. კვლევა წარმოდგენილი იქნება ACM CHI კონფერენციაზე „ადამიანური ფაქტორები კომპიუტერულ სისტემებში“. **გაფართოებული ინტერაქციები** LLM-ებთან საკუთარი „პირმოთნეობითი“ გამოცდილებიდან გამომდინარე, მკვლევრებმა დაიწყეს ფიქრი ზედმეტად დამთანხმებელი მოდელის პოტენციურ სარგებელსა და შედეგებზე. თუმცა, ლიტერატურის ძიებისას, რათა გაეფართოებინათ საკუთარი ანალიზი, მათ ვერ იპოვეს არც ერთი კვლევა, რომელიც ცდილობდა გაეგო პირმოთნეობის ქცევა გრძელვადიანი LLM-ის ურთიერთქმედებების დროს. „ჩვენ ვიყენებთ ამ მოდელებს გაფართოებული ურთიერთქმედებების მეშვეობით და მათ აქვთ ბევრი კონტექსტი და მეხსიერება. მაგრამ ჩვენი შეფასების მეთოდები ჩამორჩება. ჩვენ გვინდოდა LLM-ების შეფასება იმ გზებით, რომლითაც ადამიანები რეალურად იყენებენ მათ, რათა გაგვეგო, როგორ იქცევიან ისინი რეალურ გარემოში“, – ამბობს კალაცი. ამ ხარვეზის შესავსებად, მკვლევრებმა შეიმუშავეს მომხმარებლის კვლევა, რათა შეესწავლათ პირმოთნეობის ორი ტიპი: შეთანხმების პირმოთნეობა და პერსპექტივის პირმოთნეობა. შეთანხმების პირმოთნეობა არის LLM-ის მიდრეკილება იყოს ზედმეტად დამთანხმებელი, ზოგჯერ იმ დონემდე, რომ არასწორ ინფორმაციას გასცემს ან უარს ამბობს მომხმარებლისთვის იმის თქმაში, რომ ის ცდება. პერსპექტივის პირმოთნეობა ხდება მაშინ, როდესაც მოდელი იმეორებს მომხმარებლის ღირებულებებსა და პოლიტიკურ შეხედულებებს. „ბევრი რამ ვიცით სოციალური კავშირების სარგებელის შესახებ ადამიანებთან, რომლებსაც მსგავსი ან განსხვავებული შეხედულებები აქვთ. მაგრამ ჯერ არ ვიცით გაფართოებული ურთიერთქმედებების სარგებლის ან რისკების შესახებ ხელოვნური ინტელექტის მოდელებთან, რომლებსაც მსგავსი ატრიბუტები აქვთ“, – დასძენს კალაცი. მკვლევრებმა შექმნეს LLM-ზე ორიენტირებული მომხმარებლის ინტერფეისი და 38 მონაწილე დაიქირავეს, რათა ორკვირიანი პერიოდის განმავლობაში ესაუბრათ ჩეთბოტთან. თითოეული მონაწილის საუბრები იმავე კონტექსტურ ფანჯარაში მიმდინარეობდა ყველა ინტერაქციის მონაცემების აღსაწერად. ორკვირიანი პერიოდის განმავლობაში, მკვლევრებმა თითოეული მომხმარებლისგან საშუალოდ 90 შეკითხვა შეაგროვეს. მათ შეადარეს ხუთი LLM-ის ქცევა ამ მომხმარებლის კონტექსტში, იმავე LLM-ებთან შედარებით, რომლებსაც საუბრის მონაცემები არ მიუღიათ. „ჩვენ აღმოვაჩინეთ, რომ კონტექსტი ნამდვილად ფუნდამენტურად ცვლის ამ მოდელების მუშაობას და ვივარაუდებდი, რომ ეს მოვლენა ვრცელდება...