AI სიახლეები

Microsoft-მა 31 კომპანია ხელოვნური ინტელექტის რეკომენდაციების „მოწამვლაში“ ამხილა

Microsoft-ის Defender Security Research Team-მა გამოავლინა 31 კომპანია, რომლებიც ხელოვნური ინტელექტის ასისტენტების მეხსიერებას მანიპულირებდნენ ფარული „prompt injection“-ებით, რათა მომავალი რეკომენდაციები საკუთარი ინტერესების სასარგებლოდ შეეცვალათ. ეს ტექნიკა, რომელსაც „AI რეკომენდაციის მოწამვლა“ ეწოდა, გულისხმობს ინსტრუქციების ჩადებას ვებსაიტების ღილაკებში, მაგალითად, „შეაჯამეთ AI-ის დახმარებით“. Microsoft-მა 60 დღის განმავლობაში 50-მდე მცდელობა დააფიქსირა, მათ შორის ჯანდაცვისა და ფინანსურ სერვი

Microsoft-მა AI რეკომენდაციების „მოწამვლა“ გამოავლინა: ახალი გამოწვევები AI ძიების მარკეტინგში

Microsoft-მა გამოავლინა 31 კომპანია, რომელიც „შეაჯამე AI-ის დახმარებით“ ღილაკებში მალავდა „prompt injection“ ინსტრუქციებს, რათა მიკერძოებულიყო AI ასისტენტების რეკომენდაციები. ეს ტექნიკა, რომელსაც „AI რეკომენდაციების მოწამვლა“ ეწოდება, საშუალებას აძლევს ბიზნესებს, ფარულად ჩაუნერგონ ინსტრუქციები AI-ის მეხსიერებაში, რაც გავლენას ახდენს სამომავლო რეკომენდაციებზე მომხმარებლის ცოდნის გარეშე. აღნიშნული აღმოჩენა ხდება იმ ფონზე, როდესაც მარკეტინგის ლიდერები აქტიურად ეგუებიან SEO-ს, კონტენტსა და გაზომვად

OpenAI წარმოგიდგენთ „ლოქდაუნ რეჟიმს“ ChatGPT-ის უსაფრთხოების გასაუმჯობესებლად Prompt Injection შეტევების წინააღმდეგ

Prompt injection შეტევები სერიოზულ საფრთხეს უქმნის ხელოვნური ინტელექტის მომხმარებლებს, განსაკუთრებით პროფესიონალებს. ამის საპასუხოდ, OpenAI-მ ChatGPT-ის ბიზნეს ვერსიებისთვის, როგორიცაა Enterprise და Edu, წარმოადგინა „ლოქდაუნ რეჟიმი“ (Lockdown Mode). ეს ფუნქცია აძლიერებს დაცვას შეტევებისგან გარე სისტემებთან და მონაცემებთან ურთიერთქმედების შეზღუდვით, რითაც მიზნად ისახავს უსაფრთხოებაზე ორიენტირებულ მომხმარებლებს. კომპანია ასევე შემოაქვს „გაზრდილი რისკის“ (Elevated Risk) ნიშნებს პოტენციურად სარისკო

Llama Guard 4 და Prompt Guard 2: ხელოვნური ინტელექტის უსაფრთხოების ახალი მულტიმოდალური მოდელები

წარმოგიდგენთ Llama Guard 4-ს, მულტიმოდალურ მოდელს, რომელიც შექმნილია გამოსახულებებსა და ტექსტში სახიფათო კონტენტის აღმოსაჩენად, მათ შორის „jailbreak“-ის თავიდან ასაცილებლად. მასთან ერთად, Llama Prompt Guard 2 აძლიერებს დაცვას „prompt injection“-ებისა და სხვა მავნე შეტევებისგან, რაც უზრუნველყოფს ხელოვნური ინტელექტის უსაფრთხო და მოქნილ მოდერაციას. ეს მოდელები მნიშვნელოვნად აუმჯობესებენ AI სისტემების დაცვას საწარმოო გარემოში.

CyberSecEval 2: LLM-ების კიბერუსაფრთხოების შეფასება და მიმდინარე გამოწვევები

CyberSecEval 2 ბენჩმარკები აფასებს დიდი ენობრივი მოდელების (LLM) მოწყვლადობას არაუსაფრთხო კოდის გენერირებასა და კიბერთავდამსხმელების დახმარების მოთხოვნებთან შესაბამისობაში. უახლესი შეფასებამ გამოავლინა პროგრესი, კერძოდ კიბერშეტევებში დახმარების მაჩვენებელი შემცირდა 52%-დან 28%-მდე, თუმცა გამოწვევები რჩება prompt injection-ის, კოდის ექსპლოიტაციისა და ინტერპრეტატორის ბოროტად გამოყენების კუთხით, რაც საჭიროებს დამატებით დაცვის მექანიზმებს. საზოგადოებას მოუწოდებენ მონაწილეობა მიიღოს ბენჩმარკის გაუმჯო