3D Gaussian Splatting არსით არის რასტერიზაციის ტექნიკა, რომელიც კომპიუტერულ გრაფიკაში სამკუთხედების რასტერიზაციის ანალოგიურია. ის გამოიყენება ეკრანზე მრავალი სამკუთხედის გამოსახატავად, თუმცა ამ შემთხვევაში, სამკუთხედების ნაცვლად, გაუსიანები გამოიყენება. პრაქტიკაში, მრავალი გაუსიანი ერთდროულად იხატება. მაგალითად, სამი გაუსიანი, ან თუნდაც 7 მილიონი გაუსიანი, სრულად გაუმჭვირვალედ რასტერიზებისას ქმნის შთამბეჭდავ ვიზუალს. ეს არის 3D Gaussian Splatting-ის ძალიან მოკლე მიმოხილვა. შემდეგ განვიხილოთ ნაშრომში აღწერილი სრული პროცედურა. პირველი ნაბიჯი არის Structure from Motion (SfM) მეთოდის გამოყენება, რათა შეფასდეს წერტილოვანი ღრუბელი გამოსახულებების ნაკრებიდან. ეს მეთოდი 2D გამოსახულებების ნაკრებიდან 3D წერტილოვანი ღრუბლის შეფასებას ემსახურება და მისი განხორციელება COLMAP ბიბლიოთეკის გამოყენებით არის შესაძლებელი. შემდეგ, თითოეული წერტილი გარდაიქმნება გაუსიანად. ეს უკვე საკმარისია რასტერიზაციისთვის. თუმცა, SfM მონაცემებიდან მხოლოდ პოზიცია და ფერი შეიძლება იქნას მიღებული. მაღალი ხარისხის შედეგების მისაღებად, საჭიროა მისი გაწვრთნა. წვრთნის პროცედურა იყენებს სტოქასტურ გრადიენტულ დაშვებას (Stochastic Gradient Descent), ნერვული ქსელის მსგავსად, მაგრამ ფენების გარეშე. ეს პროცედურა ეხმარება გაუსიანებს უკეთ მოერგოს წვრილმან დეტალებს, არასაჭირო გაუსიანების მოცილებისას. როგორც უკვე აღინიშნა, 3D Gaussian Splatting არის რასტერიზაციის მიდგომა, რომელიც მონაცემებს ეკრანზე გამოაქვს. დამატებითი ოპტიმიზაციები აღწერილია ნაშრომში. ასევე არსებითია, რომ რასტერიზატორი დიფერენცირებადი იყოს, რათა მისი გაწვრთნა მოხდეს სტოქასტური გრადიენტული დაშვების გამოყენებით. თუმცა, ეს მხოლოდ წვრთნისთვისაა აქტუალური - გაწვრთნილი გაუსიანების რენდერირება შესაძლებელია არადიფერენცირებადი მიდგომითაც. რატომ მიიპყრო 3D Gaussian Splatting-მა ამხელა ყურადღება? აშკარა პასუხია, რომ შედეგები თავისთავად მეტყველებს – ეს არის მაღალი ხარისხის სცენები რეალურ დროში. თუმცა, შესაძლოა ამ ამბავს მეტიც ჰქონდეს. უამრავი უცნობი ფაქტორია იმის შესახებ, თუ რა სხვა რამის გაკეთება შეიძლება Gaussian Splatting-ით. შესაძლებელია თუ არა მათი ანიმაცია? მომავალი ნაშრომი „Dynamic 3D Gaussians: tracking by Persistent Dynamic View Synthesis“ გვთავაზობს, რომ ეს შესაძლებელია. ასევე არსებობს მრავალი სხვა უცნობი: შეუძლიათ თუ არა მათ ანარეკლების შექმნა? შესაძლებელია თუ არა მათი მოდელირება საცნობარო გამოსახულებებზე წვრთნის გარეშე? და ბოლოს, იზრდება კვლევითი ინტერესი Embodied AI-ის მიმართ. ეს არის ხელოვნური ინტელექტის კვლევის სფერო, სადაც თანამედროვე შესრულება ჯერ კიდევ რიგითობით ჩამოუვარდება ადამიანის შესრულებას, გამოწვევის დიდ ნაწილს კი 3D სივრცის წარმოდგენა წარმოადგენს. იმის გათვალისწინებით, რომ 3D Gaussian Splatting იძლევა 3D სივრცის ძალიან მკვრივ წარმოდგენას, რა შეიძლება იყოს მისი შედეგები Embodied AI კვლევისთვის? ეს კითხვები მეთოდის მიმართ ყურადღებას იპყრობს. ჯერ კიდევ გასარკვევია, რა იქნება მისი რეალური გავლენა. მაშ, რას ნიშნავს ეს გრაფიკის მომავლისთვის? ჯერჯერობით, CUDA-ს ორიგინალური იმპლემენტაცია არ არის ადაპტირებული საწარმოო რენდერირების კონვეიერებისთვის, როგორიცაა Vulkan, DirectX, WebGPU და ა.შ., ამიტომ ჯერ კიდევ გასარკვევია, რა გავლენას მოახდენს ის. უკვე განხორციელდა ადაპტაციები, რომლებიც ეყრდნობა ან დისტანციურ სტრიმინგს, ან ტრადიციულ ოთხკუთხედებზე დაფუძნებულ რასტერიზაციის მიდგომას. მიუხედავად იმისა, რომ ოთხკუთხედებზე დაფუძნებული მიდგომა თავსებადია გრაფიკული ტექნოლოგიების ათწლეულებთან, მან შესაძლოა გამოიწვიოს დაბალი ხარისხი ან შესრულება. თუმცა, გარკვეული მაყურებლის მონაცემები აჩვენებს, რომ ოპტიმიზაციის ხრიკებმა შეიძლება გამოიწვიოს მაღალი ხარისხი/შესრულება, მიუხედავად ოთხკუთხედებზე დაფუძნებული მიდგომისა. სავარაუდოდ, ვიხილავთ 3D Gaussian Splatting-ის სრულად ხელახლა იმპლემენტაციას საწარმოო გარემოში. ძირითადი შეფერხება მილიონობით გაუსიანის დალაგებაა, რაც ეფექტურად ხორციელდება ორიგინალურ იმპლემენტაციაში CUB device radix sort-ის გამოყენებით, რომელიც მაღალოპტიმიზებული დალაგების მეთოდია და მხოლოდ CUDA-შია ხელმისაწვდომი. თუმცა, საკმარისი ძალისხმევით, ნამდვილად შესაძლებელია ამ დონის შესრულების მიღწევა სხვა რენდერირების კონვეიერებში.