AMD მსოფლიოს ყველაზე მძლავრი სუპერკომპიუტერების ნაწილს ამარაგებს, მათ შორის ევროპის უსწრაფეს სუპერკომპიუტერ LUMI-ს, რომელიც 10 000-ზე მეტ MI250X AMD GPU-ს იყენებს. ამ ღონისძიებაზე AMD-მ წარმოადგინა სერვერის GPU-ების უახლესი თაობა, AMD Instinct™ MI300 სერიის ამაჩქარებლები, რომლებიც მალე ფართოდ იქნება ხელმისაწვდომი. ამ ბლოგპოსტში, ჩვენ გაწვდით განახლებულ ინფორმაციას AMD GPU-ების სრულყოფილი და უპრობლემო მხარდაჭერის უზრუნველსაყოფად მიღწეული პროგრესის შესახებ, ასევე უახლესი სერვერული კლასის AMD Instinct GPU-ების ურთიერთთავსებადობის გაუმჯობესების შესახებ. შეგიძლიათ იპოვოთ AMD-სთვის სპეციფიკური კოდის ცვლილებები ქვემოთ? თვალები არ დაიღალოთ, NVIDIA GPU-ებზე გაშვებასთან შედარებით ასეთი ცვლილებები არ არის 🤗. ერთ-ერთი მთავარი მიმართულება, რაზეც ვმუშაობდით, არის Hugging Face Transformers მოდელების გაშვების შესაძლებლობა კოდის ყოველგვარი ცვლილების გარეშე. ჩვენ ახლა მხარს ვუჭერთ Transformers-ის ყველა მოდელსა და ამოცანას AMD Instinct GPU-ებზე. ჩვენი თანამშრომლობა აქ არ ჩერდება, რადგან ვაგრძელებთ diffusers მოდელების, სხვა ბიბლიოთეკებისა და სხვა AMD GPU-ებისთვის უპრობლემო მხარდაჭერის შესწავლას. ამ მნიშვნელოვანი ეტაპის მიღწევა ჩვენი გუნდებისა და კომპანიების მნიშვნელოვანი ძალისხმევისა და თანამშრომლობის შედეგია. Hugging Face-ის საზოგადოებისთვის მხარდაჭერისა და ეფექტურობის შესანარჩუნებლად, ჩვენს მონაცემთა ცენტრებში განვახორციელეთ Hugging Face-ის ღია კოდის ბიბლიოთეკების ინტეგრირებული ტესტირება AMD Instinct GPU-ებზე – და შევძელით ამ ახალი დატვირთვების ნახშირბადის კვალის მინიმიზაცია Verne Global-თან თანამშრომლობით, AMD Instinct სერვერების ისლანდიაში განთავსებით. მშობლიური მხარდაჭერის გარდა, ჩვენი თანამშრომლობის კიდევ ერთი მნიშვნელოვანი ასპექტია AMD GPU-ებზე არსებული უახლესი ინოვაციებისა და ფუნქციების ინტეგრაციის უზრუნველყოფა. Hugging Face-ის გუნდის, AMD-ის ინჟინრებისა და ღია კოდის საზოგადოების წევრების თანამშრომლობით, მოხარულნი ვართ განვაცხადოთ AMD GPU-ების სრულყოფილი მხარდაჭერის შესახებ. ჩვენ ძალიან აღფრთოვანებულნი ვართ, რომ ეს უახლესი ამაჩქარებელი ინსტრუმენტები ხელმისაწვდომი და მარტივი გამოსაყენებელი იქნება Hugging Face-ის მომხმარებლებისთვის, და ვთავაზობთ მუდმივ მხარდაჭერასა და მაღალ წარმადობას ჩვენს ახალ, უწყვეტი ინტეგრაციისა და განვითარების სისტემაში AMD Instinct GPU-ებისთვის პირდაპირი ინტეგრაციით. ერთი AMD Instinct MI250 GPU, რომელიც აღჭურვილია 128 GB მაღალი გამტარუნარიანობის მეხსიერებით, შეიცავს ორ ცალკეულ ROCm მოწყობილობას (GPU 0 და 1), თითოეული მათგანი 64 GB მაღალი გამტარუნარიანობის მეხსიერებით. ეს ნიშნავს, რომ მხოლოდ ერთი MI250 GPU ბარათით, ჩვენ გვაქვს ორი PyTorch მოწყობილობა, რომელთა გამოყენება ძალიან მარტივად არის შესაძლებელი ტენზორულ და მონაცემთა პარალელიზმთან ერთად უფრო მაღალი გამტარუნარიანობისა და დაბალი შეყოვნების მისაღწევად. ბლოგპოსტის დანარჩენ ნაწილში, ჩვენ წარმოგიდგენთ ტექსტის გენერირების ორ ეტაპთან დაკავშირებულ წარმადობის შედეგებს დიდი ენობრივი მოდელების გამოყენებით: optimum-benchmark-ის გამოყენებით და MI250 და A100 GPU-ებზე ინფერენციის ბენჩმარკების გაშვებით ოპტიმიზაციითა და ოპტიმიზაციის გარეშე, მივიღეთ შემდეგი შედეგები: ზემოთ მოცემულ გრაფიკებზე ვხედავთ, რამდენად ეფექტურია MI250, განსაკუთრებით საწარმოო გარემოში, სადაც მოთხოვნები დიდი პარტიებით მუშავდება, რაც 2.33-ჯერ მეტ ტოკენს (დეკოდირების გამტარუნარიანობა) აწვდის და პირველი ტოკენის მიღებას ნახევარ დროს ანდომებს (შევსების შეყოვნება) A100 ბარათთან შედარებით. ქვემოთ მოცემული ტრენინგის ბენჩმარკების მიხედვით, ერთი MI250 ბარათი იტევს სასწავლო ნიმუშების უფრო დიდ პარტიებს და აღწევს ტრენინგის უფრო მაღალ გამტარუნარიანობას. ჩვენი თანამშრომლობის კიდევ ერთი მნიშვნელოვანი ფოკუსია Hugging Face-ის საწარმოო გადაწყვეტილებების მხარდაჭერის შექმნა, დაწყებული ტექსტის გენერირების ინფერენციით (TGI). TGI უზრუნველყოფს სრულყოფილ გადაწყვეტას დიდი ენობრივი მოდელების ფართომასშტაბიანი ინფერენციისთვის. თავდაპირველად, TGI ძირითადად ორიენტირებული იყო Nvidia GPU-ებზე, სარგებლობდა რა Ampere არქიტექტურის შემდგომი ოპტიმიზაციებით, როგორიცაა Flash Attention v1 და v2, GPTQ წონის კვანტიზაცია და Paged Attention. დღეს მოხარულნი ვართ განვაცხადოთ TGI-ში AMD Instinct MI210 და MI250 GPU-ების საწყისი მხარდაჭერის შესახებ, რაც იყენებს ზემოთ დეტალურად აღწერილ ყველა შესანიშნავ ღია კოდის ნაშრომს, ინტეგრირებულს სრულყოფილ, მზა გადაწყვეტაში. წარმადობის თვალსაზრისით, ჩვენ ბევრი დრო დავუთმეთ ტექსტის გენერირების ინფერენციის ბენჩმარკინგს AMD Instinct GPU-ებზე, რათა დაგვედგინა, სად უნდა ფოკუსირებულიყავით ოპტიმიზაციაზე. ამგვარად, AMD GPU-ების ინჟინრების მხარდაჭერით, ჩვენ შევძელით მიგვეღწია შესაბამისი წარმადობისთვის, რასაც TGI უკვე გვთავაზობდა. ამ კონტექსტში, და AMD-სა და Hugging Face-ს შორის დამყარებული გრძელვადიანი ურთიერთობის ფარგლებში, ჩვენ ვახორციელებთ ინტეგრაციას და ტესტირებას AMD GeMM Tuner ინსტრუმენტთან, რომელიც საშუალებას გვაძლევს დავარეგულიროთ TGI-ში გამოყენებული GeMM (მატრიცული გამრავლება) კერნელები, რათა ვიპოვოთ საუკეთესო კონფიგურაცია გაზრდილი წარმადობის მისაღწევად. მოსალოდნელია, რომ GeMM Tuner ინსტრუმენტი PyTorch-ის მომავალი გამოშვების ნაწილი გახდება, რათა ყველამ შეძლოს მისი გამოყენება. ყოველივე ზემოაღნიშნულიდან გამომდინარე, ჩვენ მოხარულნი ვართ წარმოგიდგინოთ პირველი წარმადობის მაჩვენებლები, რომლებიც ასახავს AMD-ის უახლეს ტექნოლოგიებს, რაც ტექსტის გენერირების ინფერენციას AMD GPU-ებზე Llama მოდელების ოჯახთან ერთად ეფექტური ინფერენციის გადაწყვეტილებების მოწინავე პოზიციაზე აყენებს. A100-ისთვის გამოტოვებული ზოლები მეხსიერების უკმარისობის შეცდომებს შეესაბამება, რადგან Llama 70B-ის წონა float16-ში 138 GB-ს შეადგენს, ხოლო საკმარისი თავისუფალი მეხსიერება აუცილებელია შუალედური აქტივაციებისთვის, KV ქეშის ბუფერისთვის (>5GB 2048 თანმიმდევრობის სიგრძისთვის, 8 პარტიის ზომისთვის), CUDA კონტექსტისთვის და ა.შ. Instinct MI250 GPU-ს აქვს 128 GB გლობალური მეხსიერება.