მორგებული CUDA ბირთვები: შექმნა, ოპტიმიზაცია და განთავსება kernel-builder-ის გამოყენებით

ამ მიზნით ჩვენ შევქმენით kernel-builder ბიბლიოთეკა. მისი მეშვეობით შეგიძლიათ შექმნათ მორგებული ბირთვი (kernel) ლოკალურად, შემდეგ კი ააწყოთ ის მრავალი არქიტექტურისთვის და გახადოთ ხელმისაწვდომი მთელი მსოფლიოსთვის. ამ სახელმძღვანელოში ჩვენ გაჩვენებთ, თუ როგორ უნდა ააწყოთ სრული, თანამედროვე CUDA ბირთვი ნულიდან. შემდეგ კი განვიხილავთ რთულ წარმოებასა და განთავსების გამოწვევებს, დავეყრდნობით რეალურ საინჟინრო სტრატეგიებს, რათა გაჩვენოთ, თუ როგორ უნდა ააწყოთ სისტემები, რომლებიც არა მხოლოდ სწრაფი, არამედ ეფექტური და შენარჩუნებადია. როდესაც დაასრულებთ, სხვა დეველოპერებს შეეძლებათ თქვენი ბირთვების გამოყენება პირდაპირ ჰაბიდან. გირჩევნიათ ვიდეოს ყურება? იხილეთ YouTube ვიდეო, რომელიც თან ერთვის ამ სახელმძღვანელოს. დავიწყოთ! 🚀 მოდით, შევქმნათ პრაქტიკული ბირთვი, რომელიც გამოსახულებას RGB ფორმატიდან ნაცრისფერ ფერად გადააქცევს. ეს მაგალითი იყენებს PyTorch-ის თანამედროვე C++ API-ს ჩვენი ფუნქციის პირველი კლასის, მშობლიურ ოპერატორად დასარეგისტრირებლად. სუფთა, პროგნოზირებადი სტრუქტურა კარგი პროექტის საფუძველია. Hugging Face Kernel Builder ელის, რომ თქვენი ფაილები ორგანიზებული იქნება შემდეგნაირად: ეს ფაილი ახორციელებს მთელი აწყობის პროცესის ორკესტრირებას. ის ეუბნება kernel-builder-ს, თუ რა უნდა კომპილირდეს და როგორ უკავშირდება ყველაფერი ერთმანეთს. იმის უზრუნველსაყოფად, რომ ნებისმიერ ადამიანს შეეძლოს თქვენი ბირთვის აწყობა ნებისმიერ მანქანაზე, ჩვენ ვიყენებთ flake.nix ფაილს. ის აფიქსირებს kernel-builder-ის და მისი დამოკიდებულებების ზუსტ ვერსიას, რაც გამორიცხავს პრობლემებს, როგორიცაა "ჩემს მანქანაზე მუშაობს". ახლა კი GPU კოდისთვის. csrc/img2gray.cu-ში, ჩვენ განვსაზღვრავთ ბირთვს, რომელიც იყენებს ძაფების 2D ბადეს — ეს ბუნებრივი და ეფექტურია გამოსახულების დასამუშავებლად. ეს ყველაზე მნიშვნელოვანი ნაბიჯია. ჩვენ არ ვუკავშირდებით მხოლოდ Python-ს; ჩვენ ვარეგისტრირებთ ჩვენს ფუნქციას, როგორც მშობლიურ PyTorch ოპერატორს. ეს მას პირველი კლასის მოქალაქედ აქცევს PyTorch ეკოსისტემაში, ხილვადს torch.ops სახელების სივრცეში. torch-ext/torch_binding.cpp ფაილი მართავს ამ რეგისტრაციას. მარტივად რომ ვთქვათ, TORCH_LIBRARY_EXPAND საშუალებას გვაძლევს განვსაზღვროთ ჩვენი ოპერატორი ისე, რომ ის მარტივად გაფართოვდეს ან შეიცვალოს მომავალში. ეს მიდგომა გადამწყვეტია ორი ძირითადი მიზეზის გამო: * **თავსებადობა torch.compile-თან:** ჩვენი ბირთვის ამგვარად რეგისტრაციით, torch.compile-ს შეუძლია მისი „დანახვა“. ეს PyTorch-ს საშუალებას აძლევს, გააერთიანოს თქვენი მორგებული ოპერატორი უფრო დიდ გამოთვლით გრაფიკებში, შეამციროს დანახარჯები და მაქსიმალურად გაზარდოს შესრულება. ეს არის მთავარი თქვენი მორგებული კოდის PyTorch-ის უფრო ფართო შესრულების ეკოსისტემასთან შეუფერხებლად მუშაობისთვის. * **აპარატურისთვის სპეციფიკური იმპლემენტაციები:** ეს სისტემა საშუალებას გაძლევთ, უზრუნველყოთ სხვადასხვა backend ერთი და იგივე ოპერატორისთვის. შეგიძლიათ დაამატოთ კიდევ ერთი TORCH_LIBRARY_IMPL(img2gray, CPU, ...) ბლოკი, რომელიც მიუთითებს C++ CPU ფუნქციაზე. PyTorch-ის დისპეჩერი შემდეგ ავტომატურად გამოიძახებს სწორ იმპლემენტაციას (CUDA ან CPU) შეყვანის ტენზორის მოწყობილობის მიხედვით, რაც თქვენს კოდს მძლავრსა და პორტაბელურს გახდის. __init__.py შეფუთვის დაყენება. torch-ext/img2gray/ დირექტორიაში გვჭირდება __init__.py ფაილი, რათა ეს დირექტორია გახდეს Python პაკეტი და მომხმარებლისთვის მოსახერხებელი იყოს ჩვენი მორგებული ოპერატორის გამოვლენა. _ops მოდული ავტომატურად გენერირდება kernel-builder-ის მიერ შაბლონიდან, რათა უზრუნველყოს სტანდარტული სახელების სივრცე თქვენი რეგისტრირებული C++ ფუნქციებისთვის. ახლა, როცა ჩვენი ბირთვი და მისი ბაინდინგები მზადაა, დროა მათი აწყობა. kernel-builder ინსტრუმენტი ამ პროცესს ამარტივებს. შეგიძლიათ ააწყოთ თქვენი ბირთვი ერთი ბრძანებით, nix build . -L; თუმცა, როგორც დეველოპერებს, გვინდა უფრო სწრაფი, იტერაციული სამუშაო პროცესი. ამისთვის გამოვიყენებთ nix develop ბრძანებას დეველოპერულ გარსში შესასვლელად, სადაც ყველა საჭირო დამოკიდებულება წინასწარ არის დაინსტალირებული. უფრო კონკრეტულად, შეგვიძლია ავირჩიოთ CUDA-სა და PyTorch-ის ზუსტი ვერსიები, რომელთა გამოყენებაც გვსურს. მაგალითად, ჩვენი ბირთვის PyTorch 2.7-ისთვის CUDA 12.6-ით ასაწყობად, შეგვიძლია გამოვიყენოთ შემდეგი ბრძანება: გაითვალისწინეთ, რომ ზემოთ მოცემული devShell-ის სახელი შეიძლება გაშიფრული იყოს როგორც: ამ ეტაპზე, ჩვენ ვიქნებით Nix გარსში ყველა დაინსტალირებული დამოკიდებულებით. ახლა შეგვიძლია ავაწყოთ ბირთვი ამ კონკრეტული არქიტექტურისთვის და შევამოწმოთ იგი. მოგვიანებით, ჩვენ განვიხილავთ მრავალ არქიტექტურას, სანამ ბირთვის საბოლოო ვერსიას გავავრცელებთ. ეს ბრძანება ქმნის რამდენიმე ფაილს, რომლებიც გამოიყენება ბირთვის ასაწყობად: CMakeLists.txt, pyproject.toml, setup.py და cmake დირექტორია. CMakeLists.txt ფაილი არის CMake-ის მთავარი შესვლის წერტილი ბირთვის ასაწყობად. ახლა შეგიძლიათ დააინსტალიროთ ბირთვი რედაქტირებად რეჟიმში. 🙌 საოცარია! ჩვენ ახლა გვაქვს მორგებული ბირთვი, რომელიც იცავს PyTorch-ის ბაინდინგების საუკეთესო პრაქტიკას, სრულად რეპროდუცირებადი აწყობის პროცესით. იმისათვის, რომ დარწმუნდეთ, რომ ყველაფერი სწორად მუშაობს, შეგვიძლია გავუშვათ მარტივი ტესტი, რათა შევამოწმოთ, რომ ბირთვი რეგისტრირებულია და მუშაობს მოსალოდნელად. თუ არ მუშაობს, შეგიძლიათ იტერაცია მოახდინოთ წყაროს ფაილების რედაქტირებით და აწყობის გამეორებით, ხელახლა გამოიყენოთ თქვენს მიერ შექმნილი Nix გარემო. ახლა, როცა გვაქვს მოქმედი ბირთვი, დროა გავუზიაროთ ის სხვა დეველოპერებს და მთელ მსოფლიოს! გაზიარებამდე ერთი მცირე რამ, რისი გაკეთებაც გვსურს, არის ყველა დეველოპერული არტეფაქტის გასუფთავება, რომელიც გენერირდა აწყობის პროცესში, რათა თავიდან ავიცილოთ ზედმეტი ფაილების ატვირთვა. ადრე, ჩვენ ავაწყეთ ბირთვი PyTorch-ისა და CUDA-ს კონკრეტული ვერსიისთვის. თუმცა, მისი უფრო ფართო აუდიტორიისთვის ხელმისაწვდომობისთვის, საჭიროა მისი აწყობა ყველა მხარდაჭერილი ვერსიისთვის. kernel-builder ინსტრუმენტი ამაში დაგვეხმარება. ეს არის...