3D Gaussian Splatting არსებითად რასტერიზაციის ტექნიკაა. ეს ნიშნავს, რომ ის ანალოგიურია კომპიუტერულ გრაფიკაში სამკუთხედების რასტერიზაციისა, რომელიც ეკრანზე მრავალი სამკუთხედის გამოსახვისთვის გამოიყენება. თუმცა, სამკუთხედების ნაცვლად, აქ გამოიყენება გაუსიანები. ქვემოთ მოცემულია ერთი რასტერიზებული გაუსიანი, საზღვრით სიცხადისთვის. ის აღიწერება შემდეგი პარამეტრებით: პრაქტიკაში, ერთდროულად მრავალი გაუსიანი გამოსახება ხდება. ეს არის სამი გაუსიანი. ახლა რა ხდება 7 მილიონი გაუსიანის შემთხვევაში? ასე გამოიყურება ის, როდესაც თითოეული გაუსიანი სრულად გაუმჭვირვალედ არის რასტერიზებული: ეს არის 3D Gaussian Splatting-ის ძალიან მოკლე მიმოხილვა. შემდეგ, განვიხილოთ ნაშრომში აღწერილი სრული პროცედურა. პირველი ნაბიჯი არის Structure from Motion (SfM) მეთოდის გამოყენება, რათა შეფასდეს წერტილოვანი ღრუბელი გამოსახულებების ნაკრებიდან. ეს არის მეთოდი, რომელიც გამოიყენება 3D წერტილოვანი ღრუბლის შესაფასებლად 2D გამოსახულებების ნაკრებიდან. ეს შეიძლება გაკეთდეს COLMAP ბიბლიოთეკის გამოყენებით. შემდეგ, თითოეული წერტილი გარდაიქმნება გაუსიანად. ეს უკვე საკმარისია რასტერიზაციისთვის. თუმცა, SfM მონაცემებიდან მხოლოდ პოზიციისა და ფერის დასკვნაა შესაძლებელი. მაღალი ხარისხის შედეგების მისაღებად, საჭიროა მისი გაწვრთნა. გაწვრთნის პროცედურა იყენებს სტოქასტურ გრადიენტულ დაშვებას (Stochastic Gradient Descent), ნერვული ქსელის მსგავსად, მაგრამ ფენების გარეშე. გაწვრთნის ნაბიჯებია: ნაბიჯები 1-3 კონცეპტუალურად საკმაოდ მარტივია. ნაბიჯი 4 მოიცავს შემდეგს: ეს პროცედურა ეხმარება გაუსიანებს უკეთ მოერგოს წვრილმან დეტალებს, ამავდროულად აშორებს ზედმეტ გაუსიანებს. როგორც ზემოთ აღინიშნა, 3D Gaussian Splatting არის რასტერიზაციის მიდგომა, რომელიც მონაცემებს ეკრანზე გამოაქვს. თუმცა, მნიშვნელოვანი ელემენტებია ისიც, რომ ის: რასტერიზატორის ორიგინალური იმპლემენტაცია შეგიძლიათ იხილოთ აქ. რასტერიზაცია მოიცავს: დამატებითი ოპტიმიზაციები აღწერილია ნაშრომში. ასევე არსებითია, რომ რასტერიზატორი იყოს დიფერენცირებადი, რათა მისი გაწვრთნა სტოქასტური გრადიენტული დაშვებით მოხდეს. თუმცა, ეს მხოლოდ გაწვრთნისთვისაა აქტუალური – გაწვრთნილი გაუსიანები ასევე შეიძლება რენდერირდეს არადიფერენცირებადი მიდგომით. რატომ მიიპყრო 3D Gaussian Splatting-მა ასეთი დიდი ყურადღება? აშკარა პასუხია, რომ შედეგები თავისთავად მეტყველებს – ეს არის მაღალი ხარისხის სცენები რეალურ დროში. თუმცა, შესაძლოა, უფრო მეტიც იყოს. მრავალი უცნობია იმის შესახებ, თუ რა სხვა რამის გაკეთება შეიძლება Gaussian Splatting-ით. შეიძლება თუ არა მათი ანიმაცია? მომავალი ნაშრომი „დინამიური 3D გაუსიანები: თვალთვალი მუდმივი დინამიური ხედვის სინთეზით“ (Dynamic 3D Gaussians: tracking by Persistent Dynamic View Synthesis) მიანიშნებს, რომ ეს შესაძლებელია. არსებობს მრავალი სხვა უცნობიც. შეუძლიათ თუ არა მათ ანარეკლების შექმნა? შესაძლებელია თუ არა მათი მოდელირება საცნობარო გამოსახულებებზე გაწვრთნის გარეშე? და ბოლოს, იზრდება კვლევითი ინტერესი ინკარნირებული ხელოვნური ინტელექტის (Embodied AI) მიმართ. ეს არის AI კვლევის სფერო, სადაც თანამედროვე შესრულება კვლავ ბევრად ჩამორჩება ადამიანის შესაძლებლობებს, გამოწვევის დიდ ნაწილს კი 3D სივრცის წარმოდგენა წარმოადგენს. იმის გათვალისწინებით, რომ 3D Gaussian Splatting 3D სივრცის ძალიან მკვრივ წარმოდგენას იძლევა, რა გავლენა შეიძლება ჰქონდეს მას ინკარნირებული AI კვლევისთვის? ეს კითხვები მეთოდზე ამახვილებს ყურადღებას. ჯერ კიდევ გასარკვევია, რა იქნება მისი რეალური გავლენა. მაშ, რას ნიშნავს ეს გრაფიკის მომავლისთვის? მოდით, დავყოთ ის დადებით და უარყოფით მხარეებად: დადებითი მხარეები: უარყოფითი მხარეები: ამ დროისთვის, CUDA-ს ორიგინალური იმპლემენტაცია არ არის ადაპტირებული წარმოების რენდერინგის კონვეიერებზე, როგორიცაა Vulkan, DirectX, WebGPU და ა.შ., ამიტომ ჯერ კიდევ გასარკვევია, რა გავლენა ექნება მას. უკვე განხორციელდა შემდეგი ადაპტაციები: ესენი ეყრდნობა ან დისტანციურ სტრიმინგს (1), ან ტრადიციულ კვადრატზე დაფუძნებულ რასტერიზაციის მიდგომას (2-5). მიუხედავად იმისა, რომ კვადრატზე დაფუძნებული მიდგომა თავსებადია გრაფიკული ტექნოლოგიების ათწლეულებთან, მან შესაძლოა გამოიწვიოს დაბალი ხარისხი/შესრულება. თუმცა, მაყურებელი #5 აჩვენებს, რომ ოპტიმიზაციის ხრიკებმა შეიძლება გამოიწვიოს მაღალი ხარისხი/შესრულება, მიუხედავად კვადრატზე დაფუძნებული მიდგომისა. მაშ, ვიხილავთ თუ არა 3D Gaussian Splatting-ის სრულად რეიმპლემენტაციას წარმოების გარემოში? პასუხი სავარაუდოდ დადებითია. ძირითადი შეფერხება მილიონობით გაუსიანის დალაგებაა, რაც ეფექტურად ხორციელდება ორიგინალურ იმპლემენტაციაში CUB მოწყობილობის რადიქსის დალაგების გამოყენებით (CUB device radix sort), მაღალოპტიმიზებული დალაგების მეთოდით, რომელიც მხოლოდ CUDA-შია ხელმისაწვდომი. თუმცა, საკმარისი ძალისხმევით, ნამდვილად შესაძლებელია ამ დონის შესრულების მიღწევა სხვა რენდერინგის კონვეიერებშიც. თუ თქვენ გაქვთ შეკითხვები ან გსურთ ჩართვა, შემოუერთდით Hugging Face Discord-ს! მეტი სტატია ჩვენი ბლოგიდან: „გამარჯობა, მე ვარ Easson, ვმუშაობ პროექტზე 3D GS-ით (როგორც იცით, ეს არის ახალი, მძლავრი მანქანური სწავლების ტექნოლოგიური გზა 3D კომპიუტერულ ხედვასა და კომპიუტერულ გრაფიკაში), რომლის მიზანია შევქმნა მარტივი გამოსაყენებელი, მიმზიდველი და საინტერესო 3D კონტენტის ინსტრუმენტი და პლატფორმა C-end მომხმარებლებისთვის, სახელწოდებით 3D Moment App. ტრადიციული 2D კონტენტის პლატფორმებისგან განსხვავებით, რომლებიც მხოლოდ სურათებსა და ვიდეოებს აქვეყნებენ და იყენებენ, 3D Moment App საშუალებას აძლევს ადამიანებს გააზიარონ და იმოქმედონ immersive 3D სტილში, უბრალოდ ტელეფონის კამერით გადაღებითა და ვიდეოს ატვირთვით, ნებისმიერ ადგილას და ნებისმიერ დროს. მომავლის ხედვით, რომელიც მოიცავს: 1) იყოს შემდეგი თაობის (3D კონტენტი UGC) „ქილერ აპლიკაცია“; 2) დედამიწის 3D რეკონსტრუქცია; 3) 3D კონტენტის Web2.0 ეპოქის ლიდერობა. მე ვეძებ ტექნიკურ და პროდუქტის თანადამფუძნებელს: 1.3DGS/4