წარმოიდგინეთ, რომ გჭირდებათ დესკტოპის ამოცანების ავტომატიზაცია, GUI აპლიკაციების ტესტირება, ან AI აგენტის შექმნა, რომელსაც შეუძლია პროგრამულ უზრუნველყოფასთან ურთიერთობა. წარსულში ეს მოითხოვდა კომპლექსურ ვირტუალური მანქანის (VM) დაყენებასა და მოუხერხებელ ავტომატიზაციის ფრეიმვორკებს. **ScreenEnv ცვლის თამაშის წესებს** ScreenEnv ცვლის ამ ყველაფერს, რადგან ის უზრუნველყოფს სანდბოქსირებულ დესკტოპ გარემოს, რომელიც Docker კონტეინერში მუშაობს. იფიქრეთ მასზე, როგორც სრულ ვირტუალურ დესკტოპ სესიაზე, რომელსაც თქვენი კოდი სრულად აკონტროლებს – არა მხოლოდ ღილაკებზე დაჭერითა და ტექსტის აკრეფით, არამედ დესკტოპის მთელი გამოცდილების მართვით, მათ შორის აპლიკაციების გაშვებით, ფანჯრების ორგანიზებით, ფაილებთან მუშაობით, ტერმინალის ბრძანებების შესრულებითა და მთელი სესიის ჩაწერით. **ინტეგრაციის მოქნილობა** ScreenEnv გთავაზობთ ინტეგრაციის ორ ურთიერთშემავსებელ გზას თქვენს აგენტებსა და ბექენდ სისტემებთან, რაც მოქნილობას გაძლევთ აირჩიოთ მიდგომა, რომელიც საუკეთესოდ შეესაბამება თქვენს არქიტექტურას: * **სრული კონტროლი და მორგებული ფრეიმვორკები:** იდეალურია მორგებული აგენტების ფრეიმვორკებისთვის, არსებული ბექენდებისთვის, ან როდესაც გჭირდებათ ზუსტი კონტროლი. * **AI სისტემების მხარდაჭერა:** იდეალურია AI სისტემებისთვის, რომლებიც მხარს უჭერენ Model Context Protocol-ს. ეს ორმაგი მიდგომა ნიშნავს, რომ ScreenEnv ადაპტირდება თქვენს არსებულ ინფრასტრუქტურასთან, ნაცვლად იმისა, რომ აიძულოს თქვენი აგენტის არქიტექტურის შეცვლა. **საკუთარი AI-ზე მომუშავე დესკტოპ აგენტის შექმნა** ScreenEnv მშობლიურად უჭერს მხარს smolagents-ს, რაც აადვილებს საკუთარი მორგებული Desktop Agent-ის შექმნას ავტომატიზაციისთვის. აქ მოცემულია, თუ როგორ შექმნათ თქვენი საკუთარი AI-ზე მომუშავე Desktop Agent სულ რამდენიმე ნაბიჯში: 1. აირჩიეთ ბექენდ VLM (Vision-Language Model), რომელსაც გსურთ თქვენი აგენტისთვის გამოიყენოთ. 2. მიიღეთ მემკვიდრეობა `DesktopAgentBase`-დან და განახორციელეთ `_setup_desktop_tools` მეთოდი, რათა შექმნათ თქვენი საკუთარი მოქმედების სივრცე! თუ წააწყდებით 'access denied docker' შეცდომას, შეგიძლიათ სცადოთ აგენტის გაშვება `sudo -E python -m test.py`-ით ან დაამატოთ თქვენი მომხმარებელი Docker ჯგუფს. 💡 უფრო ყოვლისმომცველი იმპლემენტაციისთვის, იხილეთ [CustomDesktopAgent-ის წყარო GitHub-ზე](https://github.com/huggingface/screenenv/blob/main/examples/custom_desktop_agent.py). **მომავალი ხედვა: ქროს-პლატფორმული ავტომატიზაცია** ScreenEnv მიზნად ისახავს გაფართოვდეს Linux-ის მიღმა და მხარი დაუჭიროს Android-ს, macOS-ს და Windows-ს, რაც გახსნის ნამდვილ ქროს-პლატფორმულ GUI ავტომატიზაციას. ეს დეველოპერებსა და მკვლევარებს საშუალებას მისცემს შექმნან აგენტები, რომლებიც მრავალ გარემოში ზოგადდება მინიმალური დაყენებით. ეს მიღწევები გზას უხსნის რეპროდუცირებადი, სანდბოქსირებული გარემოს შექმნას, რომელიც იდეალურია ბენჩმარკინგისა და შეფასებისთვის. **რეპოზიტორიუმი:** [https://github.com/huggingface/screenenv](https://github.com/huggingface/screenenv) **საზოგადოების გამოხმაურება:** **მომხმარებელი 1:** 'ეს მართლაც მაგარია, სიამოვნებით გავერთობოდი ამით და ვნახავდი, თუ როგორ იმუშავებს Mac OS-ზე ადგილობრივი MCP სერვერითა და ხელსაწყოების გამოძახების იმპლემენტაციით. სად არის ღილაკებზე დაწკაპუნების, სქრინშოტების და ა.შ. არსებული ხელსაწყოების გამოძახების იმპლემენტაციები? ანუ, ვხედავ მეთოდს left_click-ისთვის sandbox კლასში, მაგრამ ეს ყველაფერი მოთხოვნებს აგზავნის IP მისამართზე Docker Provider-დან (?): ვხედავ, რომ გამოიყენება Docker image `amhma/ubuntu-desktop:22.04-0.0.1-dev`, მაგრამ სერვერის კოდი (თუ იქ არის) და Dockerfile ძალიან დამეხმარება (განსაკუთრებით aarch64 Linux image-ით ხელახლა ასაწყობად და გასაშვებად).' **პასუხი (@tc-wolf):** 'მადლობა დაინტერესებისთვის! ჩვენ აქტიურად ვმუშაობთ Docker image-ის ღია კოდის გახდომაზე. როგორც კი გვექნება სტაბილური ვერსია გასაზიარებლად. თუმცა, თქვენ უკვე შეგიძლიათ გამოიყენოთ Docker image Mac-ზე arm64 არქიტექტურით. image მხარს უჭერს როგორც amd64-ს, ასევე arm64-ს (aarch64). უკვე გამოცადეთ იგი თქვენს macOS-ზე?' **მომხმარებელი 2:** 'ყოველთვის საოცარი ნამუშევარია, მადლობა HuggingFace-ის გუნდს! არსებობს თუ არა ამ ბიბლიოთეკის რაიმე სახის საგზაო რუკა ან Discord საზოგადოებრივი სერვერი?' **მომხმარებელი 3:** 'ამჟამად ვმუშაობ მრავალაგენტურ სისტემაზე (smolagents-ის გამოყენებით) კომპიუტერის გამოყენებისთვის. ჩვეულებრივ, ჩემი სატესტო ნაკრები ლოკალურად მუშაობს, და უბრალოდ ვეძებდი გზას, რომ ის კონტეინერირებულ გარემოში ამემუშავებინა თანმიმდევრულობისა და რეპროდუცირებადობისთვის, ასე რომ ეს სრულყოფილია! სიამოვნებით დავუკავშირდებოდი ამაზე მომუშავე გუნდს და შევიტანდი ჩემს წვლილს.' **მომხმარებელი 4:** 'ძალიან სასარგებლოა !!'