Optimum Graphcore-ის გაშვებიდან მალევე ხელმისაწვდომი გახდა BERT ტრანსფორმერული მოდელი. ახლა დეველოპერებს შეუძლიათ მიიღონ წვდომა 10 მოდელზე, რომლებიც მოიცავს ბუნებრივი ენის დამუშავებას (NLP), მეტყველებასა და კომპიუტერულ ხედვას. ეს მოდელები მოყვება IPU კონფიგურაციის ფაილებს და მზა, წინასწარ გაწვრთნილ და დახვეწილ მოდელის წონებს. ViT (Vision Transformer) არის გარღვევა გამოსახულების ამოცნობაში, რომელიც იყენებს ტრანსფორმერულ მექანიზმს, როგორც მის მთავარ კომპონენტს. როდესაც გამოსახულებები შედის ViT-ში, ისინი იყოფა პატარა ნაწილებად, ისევე როგორც სიტყვები მუშავდება ენობრივ სისტემებში. თითოეული ნაწილი კოდირდება ტრანსფორმერის (Embedding) მიერ და შემდეგ მისი დამუშავება შესაძლებელია ინდივიდუალურად. GPT-2 (Generative Pre-trained Transformer 2) არის ტექსტის გენერირების ტრანსფორმერული მოდელი, რომელიც წინასწარ არის გაწვრთნილი ინგლისური მონაცემების ძალიან დიდ კორპუსზე თვითმეთვალყურეობით. ეს ნიშნავს, რომ ის გაწვრთნილი იყო მხოლოდ უმი ტექსტებზე, ადამიანების მიერ ყოველგვარი ეტიკეტირების გარეშე (რის გამოც მას შეუძლია გამოიყენოს უამრავი საჯაროდ ხელმისაწვდომი მონაცემი) ავტომატური პროცესით, რათა ამ ტექსტებიდან შექმნას შეტანილი მონაცემები და ეტიკეტები. უფრო ზუსტად, ის გაწვრთნილია ტექსტების გენერირებისთვის მითითებული საწყისი ფრაზიდან წინადადებებში შემდეგი სიტყვის გამოცნობით. RoBERTa (Robustly optimized BERT approach) არის ტრანსფორმერული მოდელი, რომელიც (GPT-2-ის მსგავსად) წინასწარ გაწვრთნილია ინგლისური მონაცემების დიდ კორპუსზე თვითმეთვალყურეობით. უფრო ზუსტად, RoBERTa გაწვრთნილია ნიღბიანი ენის მოდელირების (MLM) მიზნით. მოდელი იღებს წინადადებას, შემთხვევით ნიღბავს შეტანილი სიტყვების 15%-ს, შემდეგ ამუშავებს მთელ დანიღბულ წინადადებას და უნდა იწინასწარმეტყველოს დანიღბული სიტყვები. RoBERTa შეიძლება გამოყენებულ იქნას ნიღბიანი ენის მოდელირებისთვის, მაგრამ ძირითადად განკუთვნილია შემდგომი ამოცანისთვის დახვეწისთვის. DeBERTa (Decoding-enhanced BERT with disentangled attention) არის წინასწარ გაწვრთნილი ნეირონული ენის მოდელი NLP ამოცანებისთვის. DeBERTa ადაპტირებს 2018 წლის BERT და 2019 წლის RoBERTa მოდელებს ორი ახალი ტექნიკის გამოყენებით — დაყოფილი ყურადღების მექანიზმი (disentangled attention mechanism) და გაუმჯობესებული ნიღბის დეკოდერი (enhanced mask decoder) — რაც მნიშვნელოვნად აუმჯობესებს მოდელის წინასწარი გაწვრთნის ეფექტურობას და შემდგომი ამოცანების შესრულებას. BART არის ტრანსფორმერული ენკოდერ-დეკოდერული (seq2seq) მოდელი ორმხრივი (BERT-ის მსგავსი) ენკოდერით და ავტორეგრესიული (GPT-ის მსგავსი) დეკოდერით. BART წინასწარ გაწვრთნილია: (1) ტექსტის დაზიანებით თვითნებური ხმაურის ფუნქციით და (2) მოდელის სწავლებით ორიგინალური ტექსტის აღსადგენად. BART განსაკუთრებით ეფექტურია ტექსტის გენერირებისთვის (მაგ., შეჯამება, თარგმანი) დახვეწისას, მაგრამ ასევე კარგად მუშაობს გაგების ამოცანებისთვის (მაგ., ტექსტის კლასიფიკაცია, კითხვა-პასუხი). LXMERT (Learning Cross-Modality Encoder Representations from Transformers) არის მულტიმოდალური ტრანსფორმერული მოდელი ხედვისა და ენის წარმოდგენების შესასწავლად. მას აქვს სამი ენკოდერი: ობიექტის ურთიერთობის ენკოდერი, ენის ენკოდერი და ჯვარედინი-მოდალობის ენკოდერი. ის წინასწარ გაწვრთნილია ნიღბიანი ენის მოდელირების, ვიზუალური-ენობრივი ტექსტის გასწორების, ROI-მახასიათებლების რეგრესიის, ნიღბიანი ვიზუალური-ატრიბუტის მოდელირების, ნიღბიანი ვიზუალური-ობიექტის მოდელირების და ვიზუალური-კითხვა-პასუხის ამოცანების კომბინაციით. მან მიაღწია უახლეს შედეგებს VQA და GQA ვიზუალური-კითხვა-პასუხის მონაცემთა ნაკრებებზე. T5 (Text-to-Text Transfer Transformer) არის რევოლუციური ახალი მოდელი, რომელსაც შეუძლია ნებისმიერი ტექსტის აღება და მისი მანქანური სწავლების ფორმატში გადაყვანა თარგმნის, კითხვა-პასუხის ან კლასიფიკაციისთვის. ის წარმოადგენს ერთიან ჩარჩოს, რომელიც ყველა ტექსტზე დაფუძნებულ ენობრივ პრობლემას გარდაქმნის ტექსტი-ტექსტზე ფორმატში ტრანსფერული სწავლებისთვის. ამით მან გაამარტივა ერთი და იგივე მოდელის, ობიექტური ფუნქციის, ჰიპერპარამეტრების და დეკოდირების პროცედურის გამოყენება NLP ამოცანების მრავალფეროვან ნაკრებზე. HuBERT (Hidden-Unit BERT) არის თვითმეთვალყურეობითი მეტყველების ამოცნობის მოდელი, რომელიც წინასწარ გაწვრთნილია აუდიოზე, სწავლობს კომბინირებულ აკუსტიკურ და ენობრივ მოდელს უწყვეტ შეყვანებზე. HuBERT მოდელი ან ემთხვევა, ან აუმჯობესებს უახლეს wav2vec 2.0-ის შესრულებას Librispeech (960სთ) და Libri-light (60,000სთ) ბენჩმარკებზე 10 წთ, 1სთ, 10სთ, 100სთ და 960სთ დახვეწის ქვეჯგუფებით. Wav2Vec2 არის წინასწარ გაწვრთნილი თვითმეთვალყურეობითი მოდელი ავტომატური მეტყველების ამოცნობისთვის. კონტრასტული წინასწარი გაწვრთნის ახალი ამოცანის გამოყენებით, Wav2Vec2 სწავლობს მეტყველების მძლავრ წარმოდგენებს დიდი მოცულობის არაეტიკეტირებული მეტყველების მონაცემებიდან, რასაც მოჰყვება დახვეწა მცირე მოცულობის ტრანსკრიბირებული მეტყველების მონაცემებზე, აჭარბებს საუკეთესო ნახევრად-მეთვალყურეობით მეთოდებს, მიუხედავად იმისა, რომ კონცეპტუალურად უფრო მარტივია. Graphcore შეუერთდა Hugging Face Hardware Partner Program-ს 2021 წელს, როგორც დამფუძნებელი წევრი, ორივე კომპანიას აქვს საერთო მიზანი — შეამციროს ბარიერები ინოვატორებისთვის, რომლებიც ცდილობენ გამოიყენონ მანქანური ინტელექტის ძალა. მას შემდეგ, Graphcore და Hugging Face ფართოდ თანამშრომლობდნენ, რათა IPU-ებზე ტრანსფორმერული მოდელების გაწვრთნა სწრაფი და მარტივი ყოფილიყო. პირველი Optimum Graphcore მოდელი (BERT) გასულ წელს გახდა ხელმისაწვდომი. ტრანსფორმერები უაღრესად ეფექტური აღმოჩნდა მრავალი ფუნქციისთვის, მათ შორის მახასიათებლების ამოღება, ტექსტის გენერირება, სენტიმენტების ანალიზი, თარგმანი და მრავალი სხვა. BERT-ის მსგავსი მოდელები ფართოდ გამოიყენება Graphcore-ის მომხმარებლების მიერ პროგრამების უზარმაზარ მასივში.