ცილოვანი ენის მოდელები (PLM-ები) ცილის სტრუქტურისა და ფუნქციის პროგნოზირებისა და დიზაინის მძლავრ ინსტრუმენტებად იქცა. მანქანური სწავლების საერთაშორისო კონფერენცია 2023-ზე (ICML), MILA-მ და Intel Labs-მა წარადგინეს ProtST, ინოვაციური მულტიმოდალური ენის მოდელი ცილის დიზაინისთვის, რომელიც ტექსტურ მოთხოვნებს ეყრდნობა. მას შემდეგ, ProtST კარგად მიიღეს სამეცნიერო საზოგადოებაში და ერთ წელზე ნაკლებ დროში 40-ზე მეტი ციტატა დააგროვა, რაც ნაშრომის სამეცნიერო სიძლიერეს მოწმობს. PLM-ების ერთ-ერთი ყველაზე პოპულარული ამოცანაა ამინომჟავების თანმიმდევრობის უჯრედქვეშა ლოკალიზაციის პროგნოზირება. ამ ამოცანაში მომხმარებლებს შეჰყავთ ამინომჟავების თანმიმდევრობა მოდელში, ხოლო მოდელი გამოსცემს ეტიკეტს, რომელიც მიუთითებს ამ თანმიმდევრობის უჯრედქვეშა ლოკალიზაციას. წინასწარ კონფიგურირებული, ნულოვანი-კადრის ProtST-ESM-1b აღემატება უახლეს, მცირე-კადრის კლასიფიკატორებს. ProtST-ის უფრო ხელმისაწვდომობისთვის, Intel-მა და MILA-მ მოდელი ხელახლა დააპროექტეს და გააზიარეს Hugging Face Hub-ზე. მოდელებისა და მონაცემთა ნაკრებების ჩამოტვირთვა შეგიძლიათ აქ. ეს პოსტი გაჩვენებთ, თუ როგორ უნდა განახორციელოთ ProtST ინფერენსი ეფექტურად და დააზუსტოთ ის Intel Gaudi 2 აქსელერატორებისა და Optimum for Intel Gaudi ღია კოდის ბიბლიოთეკის გამოყენებით. Intel Gaudi 2 არის ხელოვნური ინტელექტის მეორე თაობის აქსელერატორი, რომელიც Intel-მა შეიმუშავა. დეტალური შესავლისა და Intel Developer Cloud-ის მეშვეობით მასზე წვდომის სახელმძღვანელოსთვის იხილეთ ჩვენი წინა ბლოგპოსტი. Optimum for Intel Gaudi ბიბლიოთეკის წყალობით, შეგიძლიათ თქვენი ტრანსფორმერებზე დაფუძნებული სკრიპტები Gaudi 2-ზე გადაიტანოთ კოდის მინიმალური ცვლილებებით. საერთო უჯრედქვეშა ლოკალიზაციები მოიცავს ბირთვს, უჯრედის მემბრანას, ციტოპლაზმას, მიტოქონდრიებს და სხვა, რაც უფრო დეტალურად არის აღწერილი ამ მონაცემთა ნაკრებში. ჩვენ ვადარებთ ProtST-ის ინფერენსის შესრულებას NVIDIA A100 80GB PCIe-სა და Gaudi 2 აქსელერატორზე, ProtST-SubcellularLocalization მონაცემთა ნაკრების სატესტო ნაწილის გამოყენებით. ეს სატესტო ნაკრები შეიცავს 2772 ამინომჟავების თანმიმდევრობას, ცვლადი სიგრძით 79-დან 1999-მდე. ჩვენი ექსპერიმენტის გამეორება შეგიძლიათ ამ სკრიპტის გამოყენებით, სადაც მოდელი სრულ bfloat16 სიზუსტეში, ბაჩის ზომით 1-ით გავუშვით. ჩვენ მივიღეთ იდენტური სიზუსტე 0.44 Nvidia A100-ზე და Intel Gaudi 2-ზე, ამასთან Gaudi 2 უზრუნველყოფს 1.76-ჯერ უფრო სწრაფ ინფერენსის სიჩქარეს A100-თან შედარებით. ერთი A100-ისა და ერთი Gaudi 2-ის რეალური დრო ნაჩვენებია ქვემოთ მოცემულ ფიგურაზე. ProtST მოდელის შემდგომ ამოცანებზე დაზუსტება არის მარტივი და აპრობირებული გზა მოდელირების სიზუსტის გასაუმჯობესებლად. ამ ექსპერიმენტში, ჩვენ მოდელი მოვარგეთ ბინარული ლოკალიზაციისთვის, უჯრედქვეშა ლოკალიზაციის გამარტივებული ვერსიისთვის, ბინარული ეტიკეტებით, რომლებიც მიუთითებს, არის თუ არა ცილა მემბრანასთან დაკავშირებული თუ ხსნადი. ჩვენი ექსპერიმენტის გამეორება შეგიძლიათ ამ სკრიპტის გამოყენებით. აქ ჩვენ ვაზუსტებთ ProtST-ESM1b-for-sequential-classification მოდელს bfloat16 სიზუსტეში ProtST-BinaryLocalization მონაცემთა ნაკრებზე. ქვემოთ მოცემული ცხრილი აჩვენებს მოდელის სიზუსტეს სატესტო ნაწილზე სხვადასხვა საწვრთნელი აპარატურის კონფიგურაციით, და ისინი მჭიდროდ ემთხვევა ნაშრომში გამოქვეყნებულ შედეგებს (დაახლოებით 92.5% სიზუსტე). ქვემოთ მოცემული ფიგურა აჩვენებს დაზუსტების დროს. ერთი Gaudi 2 2.92-ჯერ უფრო სწრაფია, ვიდრე ერთი A100. ფიგურა ასევე გვიჩვენებს, თუ როგორ მასშტაბირდება განაწილებული წვრთნა თითქმის ხაზოვნად 4 ან 8 Gaudi 2 აქსელერატორის გამოყენებისას. ამ ბლოგპოსტში ჩვენ ვაჩვენეთ ProtST ინფერენსის განლაგების სიმარტივე და Gaudi 2-ზე დაზუსტება Optimum for Intel Gaudi აქსელერატორებზე დაყრდნობით. გარდა ამისა, ჩვენი შედეგები აჩვენებს კონკურენტულ შესრულებას A100-თან შედარებით, 1.76-ჯერადი დაჩქარებით ინფერენსისთვის და 2.92-ჯერადი დაჩქარებით დაზუსტებისთვის. შემდეგი რესურსები დაგეხმარებათ Intel Gaudi 2 აქსელერატორზე თქვენი მოდელების გამოყენების დაწყებაში: გმადლობთ წაკითხვისთვის! მოუთმენლად ველით თქვენს ინოვაციებს, რომლებიც ProtST-ზე და Intel Gaudi 2 აქსელერატორის შესაძლებლობებზე იქნება დაფუძნებული. მეტი სტატია ჩვენი ბლოგიდან · დარეგისტრირდით ან შეხვიდეთ კომენტარის დასაწერად.