აგენტური AI: უსაფრთხოების პრობლემები და გამჭვირვალობის ნაკლებობა
ბოლო პერიოდში აგენტური ხელოვნური ინტელექტის სწრაფ განვითარებას თან სდევს სერიოზული უსაფრთხოების რისკები და გამჭვირვალობის ნაკლებობა, რასაც ხაზს უსვამს ახალი კვლევა. მიუხედავად იმისა, რომ OpenAI-მ OpenClaw-ის შემქმნელი დაიქირავა, MIT-ის მიერ გამოქვეყნებული ანგარიში აჩვენებს, რომ აგენტური AI სისტემები ხშირად არ აწვდიან ინფორმაციას პოტენციური რისკების, მონიტორინგის შესაძლებლობების ან თუნდაც მათი AI ბუნების შესახებ. ეს ქმნის მნიშვნელოვან გამოწვევებს მომხმარებლებისთვის და საწარმოებისთვის, განსაკუთრებ
აგენტური ტექნოლოგია სრულად შედის ხელოვნური ინტელექტის მეინსტრიმში ამ კვირაში გაკეთებული განცხადებით, რომ OpenAI-მ დაიქირავა პიტერ სტაინბერგი, ღია კოდის პროგრამული უზრუნველყოფის ფრეიმვორკის, OpenClaw-ის შემქმნელი. OpenClaw-ის პროგრამულმა უზრუნველყოფამ გასულ თვეში დიდი ყურადღება მიიპყრო არა მხოლოდ თავისი ფართო შესაძლებლობებით – მაგალითად, აგენტებს შეუძლიათ თქვენი სახელით ელ.ფოსტის გაგზავნა და მიღება – არამედ მისი დრამატული უსაფრთხოების ხარვეზებითაც, მათ შორის თქვენი პირადი კომპიუტერის სრულად ხელში ჩაგდების უნარით. კვლევაში ხაზგასმულია, რომ ეს ვირუსული AI აგენტი სწრაფად ვითარდება და უსაფრთხოების სპეციალისტებისთვის კოშმარულ საფრთხეს წარმოადგენს.
აგენტებისადმი არსებული დიდი ინტერესისა და მათი დადებითი და უარყოფითი მხარეების შესახებ მცირე ცოდნის გათვალისწინებით, მნიშვნელოვანია, რომ MIT-ის მკვლევრებმა და პარტნიორმა დაწესებულებებმა ახლახან გამოაქვეყნეს 30 ყველაზე გავრცელებული აგენტური AI სისტემის ვრცელი მიმოხილვა. შედეგები ნათლად აჩვენებს, რომ აგენტური AI ამჟამად უსაფრთხოების კოშმარს წარმოადგენს — დისციპლინა, რომელიც ხასიათდება ინფორმაციის გაუმჟღავნებლობით, გამჭვირვალობის ნაკლებობით და აგენტების ფუნქციონირების ძირითადი პროტოკოლების მკაფიო არარსებობით. კერძოდ, OpenClaw-ს უსაფრთხოების კოშმარად მიიჩნევენ, რომელიც ხუთ ძირითად „წითელ დროშას“ შეიცავს, რასაც ყურადღება უნდა მიექცეს.
მოხსენების ყველაზე დიდი გამოვლენა არის ის, თუ რამდენად რთულია იმის იდენტიფიცირება, თუ რა შეიძლება არასწორად წავიდეს აგენტურ AI-სთან დაკავშირებით. ეს ძირითადად დეველოპერების მიერ ინფორმაციის არასაკმარისი გამჟღავნების შედეგია. „ჩვენ ვადგენთ მუდმივ შეზღუდვებს აგენტური სისტემების ეკოსისტემურ და უსაფრთხოებასთან დაკავშირებული მახასიათებლების შესახებ ანგარიშგებაში“, – წერს კემბრიჯის უნივერსიტეტის წამყვანი ავტორი ლეონ სტაუფერი MIT-ის, ვაშინგტონის უნივერსიტეტის, ჰარვარდის უნივერსიტეტის, სტენფორდის უნივერსიტეტის, პენსილვანიის უნივერსიტეტისა და იერუსალიმის ებრაული უნივერსიტეტის თანამშრომლებთან ერთად.
ინფორმაციის გამჟღავნების რვა სხვადასხვა კატეგორიაში ავტორებმა აღნიშნეს, რომ აგენტური სისტემების უმეტესობა არ აწვდის არანაირ ინფორმაციას უმეტეს კატეგორიაში. გამოტოვებები მოიცავს პოტენციური რისკების შესახებ ინფორმაციის გაუმჟღავნებლობას, მესამე მხარის ტესტირების შესახებ ინფორმაციის არარსებობას (ასეთის არსებობის შემთხვევაში). მოხსენებაში მოცემულია ცხრილი, რომელიც წითლად აღნიშნავს აგენტური სისტემების მიერ ინფორმაციის გაუმჟღავნებლობის ყველა შემთხვევას. 39-გვერდიანი მოხსენება, „2025 AI ინდექსი: აგენტური AI სისტემების სოციო-ტექნიკური მახასიათებლების დოკუმენტირება“, სავსეა დეტალებით იმის შესახებ, თუ რამდენად ცოტა რამის თვალყურის დევნება, მონიტორინგი და კონტროლია შესაძლებელი დღევანდელ აგენტურ AI ტექნოლოგიაში.
მაგალითად, „მრავალი კორპორატიული აგენტისთვის, საჯაროდ ხელმისაწვდომი ინფორმაციიდან გაუგებარია, არსებობს თუ არა ინდივიდუალური შესრულების კვალის მონიტორინგი“, რაც იმას ნიშნავს, რომ არ არსებობს ზუსტად იმის გაკონტროლების შესაძლებლობა, თუ რას აკეთებს აგენტური AI პროგრამა. ექსპერტები აფრთხილებენ, რომ AI აგენტები უკვე იწვევენ კატასტროფებს და ეს ფარული საფრთხე შეიძლება შეაფერხოს სისტემების უსაფრთხო განლაგება. „ოცდაათი აგენტიდან თორმეტი არ უზრუნველყოფს გამოყენების მონიტორინგს ან მხოლოდ ატყობინებს მომხმარებლებს ლიმიტის მიღწევის შემდეგ“, – აღნიშნეს ავტორებმა. ეს ნიშნავს, რომ თქვენ არ შეგიძლიათ თვალყური ადევნოთ, თუ რამდენ გამოთვლით რესურსს მოიხმარს აგენტური AI – ეს არის მთავარი საზრუნავი იმ საწარმოებისთვის, რომლებმაც ამის ბიუჯეტი უნდა დაგეგმონ. ამ აგენტების უმეტესობა ასევე არ ანიშნებს რეალურ სამყაროს, რომ ისინი ხელოვნური ინტელექტი არიან, ამიტომ შეუძლებელია იმის გარკვევა, ადამიანთან გაქვთ საქმე თუ ბოტთან.
„აგენტების უმეტესობა არ აცხადებს თავის AI ბუნებას საბოლოო მომხმარებლებისთვის ან მესამე მხარისთვის ნაგულისხმევად“, – აღნიშნეს მათ. გამჟღავნება ამ შემთხვევაში მოიცავდა ისეთ რამეებს, როგორიცაა გენერირებულ სურათის ფაილზე წყლის ნიშნის დადება, რათა ნათელი იყოს, როდის შეიქმნა სურათი AI-ის საშუალებით, ან ვებსაიტის „robots.txt“ ფაილზე პასუხის გაცემა, რათა აგენტი იდენტიფიცირდეს საიტისთვის, როგორც ავტომატიზაცია და არა როგორც ადამიანის ვიზიტორი. ზოგიერთი ეს პროგრამული ინსტრუმენტი არ იძლევა მოცემული აგენტის გაჩერების საშუალებას.
Alibaba-ს MobileAgent, HubSpot-ის Breeze, IBM-ის watsonx და ბერლინში დაფუძნებული პროგრამული უზრუნველყოფის მწარმოებლის n8n-ის მიერ შექმნილი ავტომატიზაციები „არ გააჩნიათ დოკუმენტირებული გაჩერების ოფციები ავტონომიური შესრულების მიუხედავად“, – განაცხადეს სტაუფერმა და მისმა გუნდმა. „კორპორატიული პლატფორმებისთვის ზოგჯერ არსებობს მხოლოდ ყველა აგენტის გაჩერების ან განლაგების უკან გაწვევის შესაძლებლობა“. იმის აღმოჩენა, რომ ვერ შეაჩერებ რაღაცას, რაც არასწორად მოქმედებს, ერთ-ერთი ყველაზე ცუდი შესაძლო სცენარია დიდი ორგანიზაციისთვის, სადაც მავნე შედეგები აჭარბებს ავტომატიზაციის სარგებელს.
ავტორები მოელიან, რომ ეს პრობლემები – გამჭვირვალობისა და კონტროლის საკითხები – შენარჩუნდება აგენტებთან დაკავშირებით და კიდევ უფრო თვალსაჩინო გახდება. „აქ დოკუმენტირებული მმართველობის გამოწვევები (ეკოსისტემის ფრაგმენტაცია, ვებ ქცევის დაძაბულობა, აგენტ-სპეციფიკური შეფასებების არარსებობა) მოიპოვებს მნიშვნელობას აგენტური შესაძლებლობების ზრდასთან ერთად“, – წერდნენ ისინი. სტაუფერმა და მისმა გუნდმა ასევე განაცხადეს, რომ ისინი ცდილობდნენ უკუკავშირის მიღებას იმ კომპანიებისგან, რომელთა პროგრამული უზრუნველყოფაც გაშუქდა ოთხი კვირის განმავლობაში. კონტაქტში მყოფთა დაახლოებით მეოთხედმა უპასუხა, „მაგრამ მხოლოდ 3/30-მა წარმოადგინა არსებითი კომენტარები“. ეს კომენტარები ჩართული იქნა მოხსენებაში, წერდნენ ავტორები. მათ ასევე აქვთ ფორმა, რომელიც კომპანიებს მიაწოდეს მიმდინარე შესწორებებისთვის. აგენტური ხელოვნური ინტელექტი მანქანური სწავლების ფილიალია, რომელიც ბოლო სამი წლის განმავლობაში განვითარდა დიდი ენობრივი მოდელების შესაძლებლობების გასაუმჯობესებლად.
თეგები:
#openai
#აგენტური ai
#ai აგენტები
#mit კვლევა
#კიბერუსაფრთხოება
#openclaw
#გამჭვირვალობა
#ტექნოლოგიური რისკები
წყარო: www.zdnet.com
AI-ით გადამუშავებული
მსგავსი სტატიები
ხელოვნური ინტელექტი
Anthropic-ის Claude-ის აღზევება Apple App Store-ის რეიტინგებში პენტაგონთან მოლაპარაკებების ფონზე
ხელოვნური ინტელექტი
ტრამპის ადმინისტრაცია Anthropic-ს სანქციებს უწესებს ხელოვნური ინტელექტის გამოყენებაზე უარის გამო: ექსპერტი ინდუსტრიის უსაფრთხოების ხარვეზებზე საუბრობს
ხელოვნური ინტელექტი