ZDNET-ის მიხედვით: დაგვიმატეთ, როგორც სასურველი წყარო Google-ზე. სულ უფრო მეტი კვლევა მიუთითებს აგენტური AI-ის რისკებზე, მაგალითად, გასულ კვირას MIT-ისა და მისი თანამშრომლების მიერ გამოქვეყნებული ანგარიში, რომელშიც აგენტებისთვის ზედამხედველობის, გაზომვისა და კონტროლის ნაკლებობა იყო დოკუმენტირებული. თუმცა, რა ხდება, როდესაც ერთი AI აგენტი მეორეს ხვდება? სტენფორდის, ნორთვესტერნის, ჰარვარდის, კარნეგი მელონის უნივერსიტეტებისა და რამდენიმე სხვა დაწესებულების მეცნიერების მიერ ამ კვირას გამოქვეყნებული ანგარიშის თანახმად, არსებობს მტკიცებულება, რომ სიტუაცია შეიძლება კიდევ უფრო გაუარესდეს. ასევე: AI აგენტები სწრაფები, უკონტროლოები და თავისუფლები არიან, აღმოაჩინა MIT-ის კვლევამ. აგენტი-აგენტთან ურთიერთქმედების შედეგი იყო სერვერული კომპიუტერების განადგურება, სერვისზე უარის თქმის შეტევები (DoS), გამოთვლითი რესურსების მასიური გადაჭარბებული მოხმარება და „მცირე შეცდომების სისტემატური ესკალაცია კატასტროფულ სისტემურ ავარიებად“. „როდესაც აგენტები ერთმანეთთან ურთიერთობენ, ინდივიდუალური შეცდომები გროვდება და ხარისხობრივად ახალი წარუმატებლობის რეჟიმები ჩნდება“, – წერენ ნორთვესტერნის უნივერსიტეტის წამყვანი ავტორი ნატალი შაპირა და მისი თანამშრომლები ანგარიშში „ქაოსის აგენტები“. „ეს არის ჩვენი დასკვნების კრიტიკული განზომილება“, – წერენ შაპირა და მისი გუნდი, „რადგან მრავალაგენტური განლაგება სულ უფრო გავრცელებულია და უსაფრთხოების არსებული შეფასებების უმეტესობა ფოკუსირებულია ერთაგენტურ გარემოებებზე.“ ეს დასკვნები განსაკუთრებით დროულია იმის გათვალისწინებით, რომ მრავალაგენტური ურთიერთქმედებები AI-ის მეინსტრიმში შემოიჭრა ბოტების სოციალური პლატფორმა Moltbook-ის ირგვლივ ბოლოდროინდელი აჟიოტაჟით. ასეთი მრავალაგენტური ცენტრი აგენტურ AI სისტემებს საშუალებას აძლევს, გაცვალონ მონაცემები და შეასრულონ ინსტრუქციები ერთმანეთზე, რაც ადრე შეუძლებელი იყო, ძირითადად ადამიანის ჩარევის გარეშე. ასევე: არის თუ არა Perplexity-ის ახალი კომპიუტერი OpenClaw-ის უსაფრთხო ვერსია? როგორ მუშაობს. ანგარიში, რომელიც შეიძლება ჩამოიტვირთოს arXiv-ის პრეპრინტ სერვერიდან, აღწერს „წითელი გუნდის“ ტესტს ურთიერთქმედი აგენტებისთვის ორი კვირის განმავლობაში, სისტემაში სისუსტეების აღმოჩენის მცდელობით მტრული ქცევის სიმულაციით. კვლევაში გამოვლინდა სისტემა, სადაც ადამიანები ძირითადად არ არიან ჩართულნი. ბოტები აგზავნიან ინფორმაციას წინ და უკან და ავალებენ ერთმანეთს ბრძანებების შესრულებას. მრავალი შემაშფოთებელი აღმოჩენის შორისაა აგენტები, რომლებიც ავრცელებენ პოტენციურად დესტრუქციულ ინსტრუქციებს სხვა აგენტებზე, აგენტები, რომლებიც ურთიერთგამყარებენ ცუდ უსაფრთხოების პრაქტიკას „ექო-პალატის“ მეშვეობით, და აგენტები, რომლებიც ჩართულნი არიან პოტენციურად დაუსრულებელ ურთიერთქმედებებში, მოიხმარენ სისტემურ რესურსებს დიდი რაოდენობით ყოველგვარი მკაფიო მიზნის გარეშე. ერთ-ერთი ყველაზე ძლიერი რისკია პასუხისმგებლობის დაკარგვა, რადგან აგენტებს შორის ურთიერთქმედება ბუნდოვანს ხდის ცუდი ქმედებების წყაროს. ასევე: რატომ მაშინებს Moltbook-ის სოციალური მედიის პლატფორმა AI აგენტებისთვის. როგორც შაპირამ და მისმა გუნდმა დაახასიათეს ეს სინდრომი: „როდესაც აგენტი A-ს ქმედებები იწვევს აგენტი B-ს რეაგირებას, რაც თავის მხრივ გავლენას ახდენს ადამიან მომხმარებელზე, პასუხისმგებლობის მიზეზობრივი ჯაჭვი ბუნდოვანი ხდება ისეთი გზებით, რომლებსაც არ აქვთ მკაფიო პრეცედენტი ერთაგენტურ ან ტრადიციულ პროგრამულ სისტემებში.“ ანგარიშის შექმნის ერთ-ერთი მიზეზი, როგორც შაპირამ და მისმა გუნდმა დაწერეს, იყო ის, რომ AI-ის ტესტები აქამდე არ იყო სათანადოდ შემუშავებული იმის გასაზომად, თუ რა ხდება, როდესაც მრავალი აგენტი ურთიერთქმედებს. „აგენტების უსაფრთხოების არსებული შეფასებები და საორიენტაციო მაჩვენებლები ხშირად ზედმეტად შეზღუდულია, რთული დასაკავშირებელია რეალურ განლაგებასთან და იშვიათად ტესტირდება სტრესულად არეულ, სოციალურად ჩაშენებულ გარემოებებში“, – წერენ ისინი. მკვლევარების ნაშრომის წინაპირობაა, რომ აგენტურ AI-ს შეუძლია შეასრულოს მოქმედებები ადამიანის მიერ მოთხოვნის აკრეფის გარეშე, როგორც ამას აკეთებთ ChatGPT-ის შემთხვევაში. აგენტურ AI-ს შეიძლება მიეცეს წვდომა სხვადასხვა რესურსზე, რომლითაც განახორციელებს მოქმედებებს. ეს რესურსები მოიცავს ელფოსტის ანგარიშებს და სხვა საკომუნიკაციო არხებს, როგორიცაა Discord, Signal, Telegram და სხვა. ელფოსტისა და ამ არხების გამოყენებისას, ბოტებს შეუძლიათ არა მხოლოდ მოქმედებების განხორციელება, არამედ სხვა ბოტებთან კომუნიკაცია და მათზე მოქმედება. ამ სცენარების შესამოწმებლად, ავტორებმა აირჩიეს, გასაკვირი არ არის, ღია კოდის პროგრამული უზრუნველყოფის ჩარჩო OpenClaw, რომელიც იანვარში ცნობილი გახდა იმით, რომ აგენტურ პროგრამებს სისტემურ რესურსებთან და სხვა აგენტებთან ურთიერთქმედების საშუალებას აძლევდა. OpenAI-მ პიტერ სტაინბერგი, OpenClaw-ის შემქმნელი, დაიქირავა, რაც ამ ნაშრომს კიდევ უფრო აქტუალურს ხდის. ასევე: 3 რჩევა ღია კოდის AI გროვაში ნავიგაციისთვის - 4M მოდელი და მეტი. ტიპიური OpenClaw ინსტანციებისგან განსხვავებით, ავტორებმა აგენტები არ გაუშვეს საკუთარ პერსონალურ კომპიუტერებზე. ამის ნაცვლად, მათ შექმნეს ინსტანციები ღრუბლოვან სერვის Fly.io-ზე, რამაც მეტი კონტროლის საშუალება მისცა აგენტური პროგრამებისთვის სისტემურ რესურსებზე წვდომის მინიჭებისას. ნატალი შაპირას და მისი კოლეგების მიერ ბოტ-ბოტთან ურთიერთქმედების შესამოწმებლად გამოყენებული „წითელი გუნდის“ მიდგომის მიმოხილვა. „თითოეულ აგენტს მიეცა საკუთარი 20 GB მუდმივი მოცულობა და მუშაობს 24/7, ხელმისაწვდომია ვებ-დაფუძნებული ინტერფეისის საშუალებით ტოკენზე დაფუძნებული ავთენტიფიკაციით“, – განმარტეს მათ. აგენტებს ამუშავებდა Anthropic-ის Claude Opus LLM-ები, და პროგრამებს მიეცა წვდომა Discord-სა და ელფოსტის სისტემებზე მესამე მხარის პროვაიდერ ProtonMail-ის მეშვეობით. „Discord-ი იყო ძირითადი ინტერფეისი ადამიან-აგენტისა და აგენტი-აგენტის ურთიერთქმედებისთვის“, – იტყობინებიან ისინი, სადაც „მკვლევარები აძლევდნენ ინსტრუქციებს, აკონტროლებდნენ პროგრესს და აწვდიდნენ უკუკავშირს Discord შეტყობინებების მეშვეობით.“ საინტერესოა, რომ აგენტის VM-ების დაყენების პროცესი იყო „არეული“ და „წარუმატებლობებთან...