CyberSecEval 2-ის ბენჩმარკები შექმნილია იმის შესაფასებლად, თუ რამდენად მიდრეკილნი არიან დიდი ენობრივი მოდელები (LLM) არაუსაფრთხო კოდის გენერირებისკენ და რამდენად ექვემდებარებიან კიბერთავდამსხმელების მოთხოვნებს. მთელი კოდი ღია წყაროა და პროექტის ავტორები იმედოვნებენ, რომ საზოგადოება მას გამოიყენებს LLM-ების კიბერუსაფრთხოების თვისებების გასაზომად და გასაუმჯობესებლად. CyberSecEval 2-ის გამოყენებით უახლესი დიდი ენობრივი მოდელების (LLM) შეფასება ავლენს როგორც მნიშვნელოვან პროგრესს, ასევე მიმდინარე გამოწვევებს კიბერუსაფრთხოების რისკების მოგვარებაში. 2023 წლის დეკემბერში გამოქვეყნებული ბენჩმარკის პირველი ვერსიის შემდეგ, კიბერშეტევებში დახმარების მოთხოვნებთან LLM-ების შესაბამისობის საშუალო მაჩვენებელი შემცირდა 52%-დან 28%-მდე, რაც ნათლად მიუთითებს იმაზე, რომ ინდუსტრია უფრო აცნობიერებს ამ საკითხს და დგამს ნაბიჯებს გაუმჯობესებისკენ. კვლევამ აჩვენა, რომ კოდის სპეციალიზაციის გარეშე მოდელებს, როგორც წესი, უფრო დაბალი შეუსაბამობის მაჩვენებლები აქვთ, ვიდრე კოდზე სპეციალიზებულ მოდელებს. თუმცა, ამ მოდელებს შორის სხვაობა შემცირდა, რაც მიგვანიშნებს, რომ კოდზე სპეციალიზებული მოდელები უსაფრთხოების თვალსაზრისით ეწევიან სხვებს. ჩატარებულმა prompt injection ტესტებმა ცხადყო, რომ LLM-ების დაცვა ასეთი შეტევებისგან კვლავ გადაუჭრელ პრობლემად რჩება, რაც მნიშვნელოვან უსაფრთხოების რისკს ქმნის ამ მოდელების გამოყენებით შექმნილი აპლიკაციებისთვის. დეველოპერებმა არ უნდა ივარაუდონ, რომ LLM-ებს შეიძლება ენდონ სისტემური მოთხოვნების უსაფრთხოდ შესრულებაში მტრული შეყვანის პირობებში. კოდის ექსპლოიტაციის ტესტები მიუთითებს, რომ მიუხედავად იმისა, რომ მაღალი ზოგადი კოდირების უნარის მქონე მოდელები უკეთესად მუშაობენ, LLM-ებს ჯერ კიდევ დიდი გზა აქვთ გასავლელი, სანამ შეძლებენ საიმედოდ გადაჭრან სრული ექსპლოიტაციის ამოცანები. ეს ნიშნავს, რომ LLM-ები თავიანთი ამჟამინდელი მდგომარეობით ნაკლებად სავარაუდოა, რომ შეცვალონ კიბერექსპლოიტაციის შეტევები. ინტერპრეტატორის ბოროტად გამოყენების ტესტები ხაზს უსვამს LLM-ების მოწყვლადობას მანიპულაციის მიმართ, რაც მათ საშუალებას აძლევს შეასრულონ შეურაცხმყოფელი ქმედებები კოდის ინტერპრეტატორის შიგნით. ეს ხაზს უსვამს დამატებითი დამცავი მექანიზმებისა და აღმოჩენის სისტემების საჭიროებას ინტერპრეტატორის ბოროტად გამოყენების თავიდან ასაცილებლად. პროექტის გუნდი მოხარული იქნება, თუ საზოგადოება წვლილს შეიტანს ბენჩმარკის განვითარებაში. თუ დაინტერესებული ხართ, შეგიძლიათ გაუშვათ CyberSecEval 2-ის ბენჩმარკები თქვენს მოდელზე მოწოდებული ინსტრუქციების მიხედვით. შეგიძლიათ გამოგვიგზავნოთ შედეგები, რათა თქვენი მოდელი დაემატოს ლიდერბორდს. ასევე, თუ გაქვთ იდეები CyberSecEval 2-ის ბენჩმარკების გასაუმჯობესებლად, შეგიძლიათ უშუალოდ წვლილი შეიტანოთ ინსტრუქციების მიყოლებით.