2024 წლის ოქტომბერში Hugging Face-მა და Protect AI-მ პარტნიორობა დაიწყეს, რათა Guardian-ის სკანირების ტექნოლოგიის მეშვეობით გაეუმჯობესებინათ მანქანური სწავლების (ML) მოდელების უსაფრთხოება Hugging Face Hub-ის დეველოპერული საზოგადოებისთვის, რომლებიც იკვლევენ და იყენებენ მოდელებს. ეს პარტნიორობა თავიდანვე ბუნებრივი იყო — Hugging Face მიზნად ისახავს ღია კოდის ხელოვნური ინტელექტის გამოყენების დემოკრატიზაციას, უსაფრთხოებისა და დაცულობის ვალდებულებით; ხოლო Protect AI ქმნის დამცავ მექანიზმებს, რათა ღია კოდის მოდელები ყველასთვის უსაფრთხო გახდეს. ოქტომბრის შემდეგ, Protect AI-მ მნიშვნელოვნად გააფართოვა Guardian-ის აღმოჩენის შესაძლებლობები, გააუმჯობესა საფრთხეების აღმოჩენის არსებული შესაძლებლობები და გამოუშვა ოთხი ახალი აღმოჩენის მოდული: ამ განახლებებით, Guardian მოიცავს მოდელის ფაილის მეტ ფორმატს და აღმოაჩენს დამატებით დახვეწილ ობსკურაციის ტექნიკებს, მათ შორის მაღალი სიმწვავის CVE-2025-1550 მოწყვლადობას Keras-ში. გაუმჯობესებული აღმოჩენის ინსტრუმენტების მეშვეობით, Hugging Face-ის მომხმარებლები იღებენ კრიტიკულ უსაფრთხოების ინფორმაციას პლატფორმაზე ინლაინ შეტყობინებების სახით და აქვთ წვდომა მოწყვლადობის ყოვლისმომცველ ანგარიშებზე Insights DB-ზე. მკაფიოდ მონიშნული აღმოჩენები ხელმისაწვდომია თითოეული მოდელის გვერდზე, რაც მომხმარებლებს საშუალებას აძლევს, მიიღონ უფრო ინფორმირებული გადაწყვეტილებები იმის შესახებ, თუ რომელი მოდელები უნდა შეიტანონ თავიანთ პროექტებში. 2025 წლის 1 აპრილის მდგომარეობით, Protect AI-მ წარმატებით დაასკანირა 4.47 მილიონი უნიკალური მოდელის ვერსია 1.41 მილიონ რეპოზიტორიაში Hugging Face Hub-ზე. დღემდე, Protect AI-მ სულ 352,000 არაუსაფრთხო/საეჭვო საკითხი გამოავლინა 51,700 მოდელში. მხოლოდ ბოლო 30 დღის განმავლობაში, Protect AI-მ Hugging Face-დან 226 მილიონ მოთხოვნას მოემსახურა 7.94 მილიწამიანი რეაგირების დროით. Protect AI-ის Guardian ნულოვანი ნდობის მიდგომას იყენებს AI/ML უსაფრთხოების მიმართ. ეს განსაკუთრებით მნიშვნელოვანია, როდესაც თვითნებური კოდის შესრულება თავისთავად არაუსაფრთხოდ მიიჩნევა, განზრახვის მიუხედავად. იმის ნაცვლად, რომ მხოლოდ აშკარად მავნე საფრთხეები დააკვალიფიციროს, Guardian InsightsDB-ზე შესრულების რისკებს საეჭვოდ აფიქსირებს, იმის აღიარებით, რომ მავნე კოდიც კი შეიძლება უვნებლად გამოიყურებოდეს ობსკურაციის ტექნიკების გამოყენებით. თავდამსხმელებს შეუძლიათ „ფეილოადები“ შენიღბონ ერთი შეხედვით უწყინარ სკრიპტებში ან ფრეიმვორკის გაფართოებადობის კომპონენტებში, რაც მხოლოდ „ფეილოადის“ შემოწმებას არასაკმარისს ხდის უსაფრთხოების უზრუნველსაყოფად. ამ ფრთხილი მიდგომის შენარჩუნებით, Guardian ხელს უწყობს მანქანური სწავლების მოდელებში დამალული საფრთხეებით გამოწვეული რისკების შემცირებას. AI/ML უსაფრთხოების საფრთხეები ყოველდღიურად ვითარდება. სწორედ ამიტომ Protect AI იყენებს როგორც შიდა საფრთხეების კვლევის გუნდებს, ასევე huntr-ს — მსოფლიოში პირველ და უმსხვილეს AI/ML „bug bounty“ პროგრამას, რომელიც ჩვენი 17,000-ზე მეტი უსაფრთხოების მკვლევრის საზოგადოების მიერ არის მხარდაჭერილი. ოქტომბერში ჩვენი პარტნიორობის დაწყებასთან ერთად, Protect AI-მ huntr-ზე ახალი პროგრამა წამოიწყო, რათა „crowdsource“ მეთოდით მოეძიებინა კვლევები მოდელის ფაილის ახალი მოწყვლადობების შესახებ. პროგრამის დაწყების შემდეგ, მათ მიიღეს 200-ზე მეტი მოხსენება, რომლებიც Protect AI-ის გუნდებმა დაამუშავეს და Guardian-ში ჩართეს — ეს ყველაფერი ავტომატურად გამოიყენება Hugging Face-ზე მოდელების სკანირებისთვის. რაც უფრო მეტი huntr მოხსენება შემოდის და უფრო მეტი დამოუკიდებელი საფრთხის კვლევა ტარდება, გარკვეული ტენდენციები გამოიკვეთა: * **ბიბლიოთეკაზე დამოკიდებული შეტევის ჯაჭვები:** ეს შეტევები ფოკუსირებულია მავნე სუბიექტის უნარზე, გამოიძახოს ფუნქციები ბიბლიოთეკებიდან, რომლებიც ხელმისაწვდომია ML სამუშაო სადგურების გარემოში. ეს წააგავს „drive-by download“ სტილის შეტევებს, რომლებმაც დააზიანეს ბრაუზერები და სისტემები, როდესაც გავრცელებული უტილიტები, როგორიცაა Java და Flash, იყო წარმოდგენილი. როგორც წესი, ამ შეტევების ზემოქმედების მასშტაბი პროპორციულია მოცემული ბიბლიოთეკის გავრცელების, ამასთან, საერთო ML ბიბლიოთეკებს, როგორიცაა Pytorch, გაცილებით ფართო პოტენციური ზემოქმედება აქვთ, ვიდრე ნაკლებად გამოყენებულ ბიბლიოთეკებს. * **„ფეილოადის“ ობსკურაცია:** რამდენიმე მოხსენებამ ხაზი გაუსვა მოდელში „ფეილოადის“ ჩასმის, ობსკურაციის ან „დამალვის“ გზებს, რომლებიც გვერდს უვლის საერთო სკანირების ტექნიკებს. ეს მოწყვლადობები იყენებენ ტექნიკებს, როგორიცაა შეკუმშვა, კოდირება და სერიალიზაცია „ფეილოადის“ ობსკურაციისთვის და ადვილად არ არის აღმოსაჩენი. შეკუმშვა პრობლემას წარმოადგენს, რადგან Joblib-ის მსგავსი ბიბლიოთეკები იძლევა შეკუმშული „ფეილოადების“ პირდაპირ ჩატვირთვის საშუალებას. კონტეინერის ფორმატები, როგორიცაა Keras და NeMo, აერთიანებს დამატებით მოდელის ფაილებს, რომელთაგან თითოეული პოტენციურად დაუცველია საკუთარი სპეციფიკური შეტევის ვექტორების მიმართ. შეკუმშვა მომხმარებლებს TarSlip ან ZipSlip მოწყვლადობების წინაშე აყენებს. მიუხედავად იმისა, რომ მათი გავლენა ხშირად შემოიფარგლება სერვისზე უარის თქმით (Denial of Service), გარკვეულ გარემოებებში ამ მოწყვლადობებმა შეიძლება გამოიწვიოს თვითნებური კოდის შესრულება (Arbitrary Code Execution) „path traversal“ ტექნიკების გამოყენებით, რაც მავნე თავდამსხმელებს საშუალებას აძლევს გადაწერონ ფაილები, რომლებიც ხშირად ავტომატურად სრულდება. * **ფრეიმვორკის გაფართოებადობის მოწყვლადობები:** ML ფრეიმვორკები უზრუნველყოფენ მრავალ გაფართოების მექანიზმს, რომლებიც უნებლიედ ქმნიან საშიშ შეტევის ვექტორებს: მორგებული ფენები, გარე კოდის დამოკიდებულებები და კონფიგურაციაზე დაფუძნებული კოდის ჩატვირთვა. მაგალითად, Keras-ში CVE-2025-1550, რომელიც huntr-ის საზოგადოებამ შეგვატყობინა, აჩვენებს, თუ როგორ შეიძლება მორგებული ფენების ექსპლუატაცია თვითნებური კოდის შესასრულებლად უსაფრთხოების ფუნქციების მიუხედავად. კონფიგურაციის ფაილები სერიალიზაციის მოწყვლადობებით ანალოგიურად იძლევა დინამიური კოდის ჩატვირთვის საშუალებას. ეს დესერიალიზაციის მოწყვლადობები მოდელებს ექსპლუატაციის საშუალებას აძლევს სპეციალურად შემუშავებული მავნე მოქმედებების გზით.