რამდენიმე თვის წინ წარმოვადგინეთ Informer მოდელი (Zhou, Haoyi, et al., 2021), რომელიც არის დროითი სერიების Transformer, რომელმაც 2021 წლის AAAI-ის საუკეთესო ნაშრომის ჯილდო მოიპოვა. ასევე მოვიყვანეთ მაგალითი Informer-ის გამოყენებით მრავალვარიანტული ალბათობითი პროგნოზირებისთვის. ამ პოსტში განვიხილავთ კითხვას: რამდენად ეფექტურია ტრანსფორმერები დროითი სერიების პროგნოზირებისთვის? (AAAI 2023). როგორც დავინახავთ, ისინი ნამდვილად ეფექტურია. პირველ რიგში, წარმოგიდგენთ ემპირიულ მტკიცებულებებს იმისა, რომ ტრანსფორმერები ნამდვილად ეფექტურია დროითი სერიების პროგნოზირებისთვის. ჩვენი შედარება აჩვენებს, რომ მარტივი ხაზოვანი მოდელი, ცნობილი როგორც DLinear, არ არის უკეთესი ვიდრე ტრანსფორმერები, როგორც ეს იყო განცხადებული. ხაზოვანი მოდელების მსგავს პარამეტრებში ექვივალენტური ზომის მოდელებთან შედარებისას, ტრანსფორმერზე დაფუძნებული მოდელები უკეთესად მუშაობენ სატესტო ნაკრებისთვის განხილულ მეტრიკებზე. შემდეგ, წარმოვადგენთ Autoformer მოდელს (Wu, Haixu, et al., 2021), რომელიც გამოქვეყნდა NeurIPS 2021-ში Informer მოდელის შემდეგ. Autoformer მოდელი ამჟამად ხელმისაწვდომია 🤗 Transformers-ში. ბოლოს, განვიხილავთ DLinear მოდელს, რომელიც არის მარტივი პირდაპირი განაწილების ქსელი (feedforward network) და იყენებს Autoformer-ის დაშლის ფენას (decomposition layer). DLinear მოდელი პირველად წარმოდგენილი იყო ნაშრომში „Are Transformers Effective for Time Series Forecasting?“ და აცხადებდა, რომ აჯობებდა ტრანსფორმერზე დაფუძნებულ მოდელებს დროითი სერიების პროგნოზირებაში. მოდით ვნახოთ! AAAI 2023-ში ცოტა ხნის წინ გამოქვეყნებულ ნაშრომში „Are Transformers Effective for Time Series Forecasting?“, ავტორები აცხადებენ, რომ ტრანსფორმერები არ არის ეფექტური დროითი სერიების პროგნოზირებისთვის. ისინი ადარებენ ტრანსფორმერზე დაფუძნებულ მოდელებს მარტივ ხაზოვან მოდელს, რომელსაც DLinear-ს უწოდებენ. DLinear მოდელი იყენებს Autoformer მოდელის დაშლის ფენას, რომელსაც ამ პოსტში მოგვიანებით წარმოვადგენთ. ავტორები ამტკიცებენ, რომ DLinear მოდელი აჯობებს ტრანსფორმერზე დაფუძნებულ მოდელებს დროითი სერიების პროგნოზირებაში. ნამდვილად ასეა? მოდით გავარკვიოთ. ჩვენი შედარების შედეგები Autoformer და DLinear მოდელებს შორის, ნაშრომში გამოყენებულ სამ მონაცემთა ნაკრებზე, აჩვენებს, რომ Autoformer მოდელი აჯობებს DLinear მოდელს სამივე მონაცემთა ნაკრებზე. შემდეგ, წარმოვადგენთ ახალ Autoformer მოდელს DLinear მოდელთან ერთად. ჩვენ ვაჩვენებთ, თუ როგორ უნდა შევადაროთ ისინი Traffic მონაცემთა ნაკრებზე, და მივაწვდით განმარტებებს მიღებული შედეგებისთვის. მოკლედ: მიუხედავად იმისა, რომ მარტივი ხაზოვანი მოდელი გარკვეულ შემთხვევებში უპირატესია, მას არ გააჩნია თანავარიანტების ჩართვის შესაძლებლობა უფრო რთულ მოდელებთან, როგორიცაა ტრანსფორმერები, ერთვარიანტულ პარამეტრებში. Autoformer ეფუძნება დროითი სერიების სეზონურობისა და ტენდენციურ-ციკლური კომპონენტებად დაშლის ტრადიციულ მეთოდს. ეს მიიღწევა დაშლის ფენის (Decomposition Layer) ჩართვით, რომელიც აუმჯობესებს მოდელის უნარს, ზუსტად აღბეჭდოს ეს კომპონენტები. გარდა ამისა, Autoformer წარმოგიდგენთ ინოვაციურ ავტოკორელაციის მექანიზმს, რომელიც ცვლის სტანდარტულ თვითყურადღებას (self-attention), რომელიც გამოიყენება სტანდარტულ ტრანსფორმერში. ეს მექანიზმი საშუალებას აძლევს მოდელს, გამოიყენოს პერიოდზე დაფუძნებული დამოკიდებულებები ყურადღების მექანიზმში, რითაც აუმჯობესებს საერთო მუშაობას. მომდევნო სექციებში, ჩვენ ჩავუღრმავდებით Autoformer-ის ორ ძირითად წვლილს: დაშლის ფენას და ყურადღების (ავტოკორელაციის) მექანიზმს. ასევე მოვიყვანთ კოდის მაგალითებს, რათა ვაჩვენოთ, თუ როგორ ფუნქციონირებს ეს კომპონენტები Autoformer-ის არქიტექტურაში. დაშლა (decomposition) დიდი ხანია პოპულარული მეთოდია დროითი სერიების ანალიზში, მაგრამ ის ფართოდ არ იყო ჩართული ღრმა სწავლების მოდელებში Autoformer-ის ნაშრომის გამოქვეყნებამდე. კონცეფციის მოკლე განმარტების შემდეგ, ჩვენ ვაჩვენებთ, თუ როგორ გამოიყენება ეს იდეა Autoformer-ში PyTorch კოდის გამოყენებით. დროითი სერიების ანალიზში, დაშლა არის მეთოდი, რომელიც დროით სერიას ყოფს სამ სისტემატურ კომპონენტად: ტენდენცია-ციკლი, სეზონური ვარიაცია და შემთხვევითი რყევები. ტენდენციის კომპონენტი წარმოადგენს დროითი სერიების გრძელვადიან მიმართულებას, რომელიც შეიძლება იყოს მზარდი, კლებადი ან სტაბილური დროთა განმავლობაში. სეზონური კომპონენტი წარმოადგენს განმეორებად შაბლონებს, რომლებიც ვლინდება დროით სერიებში, როგორიცაა წლიური ან კვარტალური ციკლები. და ბოლოს, შემთხვევითი (ზოგჯერ „არარეგულარული“) კომპონენტი წარმოადგენს მონაცემებში არსებულ შემთხვევით ხმაურს, რომელიც არ შეიძლება აიხსნას ტენდენციისა ან სეზონური კომპონენტებით. დაშლის ორი ძირითადი ტიპია დანამატი (additive) და მულტიპლიკაციური (multiplicative) დაშლა, რომლებიც დანერგილია შესანიშნავ statsmodels ბიბლიოთეკაში. დროითი სერიების ამ კომპონენტებად დაშლით, ჩვენ შეგვიძლია უკეთ გავიგოთ და მოვახდინოთ მონაცემებში არსებული ფარული შაბლონების მოდელირება. მაგრამ როგორ შეგვიძლია დაშლის ჩართვა Transformer არქიტექტურაში? მოდით ვნახოთ, როგორ აკეთებს ამას Autoformer. Autoformer აერთიანებს დაშლის ბლოკს, როგორც მოდელის შიდა ოპერაციას, როგორც ეს წარმოდგენილია Autoformer-ის არქიტექტურაში. როგორც ხედავთ, ენკოდერი და დეკოდერი იყენებენ დაშლის ბლოკს ტენდენციურ-ციკლური ნაწილის აგრეგირებისთვის და სეზონური ნაწილის სერიებიდან პროგრესულად ამოსაღებად. შიდა დაშლის კონცეფციამ აჩვენა თავისი სარგებლობა Autoformer-ის გამოქვეყნების შემდეგ. შემდგომში, ის მიღებულ იქნა რამდენიმე სხვა მოდელში.