ONNX Runtime Hugging Face-ის მოდელების მუშაობას აუმჯობესებს

ONNX Runtime არის კროს-პლატფორმული მანქანური სწავლების ინსტრუმენტი, რომელიც შეიძლება გამოყენებულ იქნას მოდელების ფართო სპექტრის, განსაკუთრებით ONNX-ის მხარდაჭერით მოდელების დასაჩქარებლად. Hugging Face-ზე, ღია კოდის საზოგადოებაში, რომელიც მომხმარებლებს საშუალებას აძლევს შექმნან, გაწვრთნან და განათავსონ ასობით ათასი საჯაროდ ხელმისაწვდომი მანქანური სწავლების მოდელი, 130 000-ზე მეტი ONNX-ის მხარდაჭერით მოდელია. ეს ONNX-ის მხარდაჭერით მოდელები, რომლებიც მოიცავს ბევრ სულ უფრო პოპულარულ დიდ ენობრივ მოდელს (LLMs) და ღრუბლოვან მოდელებს, შეუძლიათ გამოიყენონ ONNX Runtime მუშაობის გასაუმჯობესებლად, სხვა სარგებელთან ერთად. მაგალითად, ONNX Runtime-ის გამოყენება whisper-tiny მოდელის დასაჩქარებლად, შეუძლია გააუმჯობესოს საშუალო შეყოვნება თითო ინფერენციაზე, PyTorch-თან შედარებით 74.30%-მდე გაუმჯობესებით. ONNX Runtime მჭიდროდ თანამშრომლობს Hugging Face-თან, რათა უზრუნველყოს საიტზე ყველაზე პოპულარული მოდელების მხარდაჭერა. საერთო ჯამში, ONNX Runtime-ის მიერ მხარდაჭერილია Hugging Face-ის 90-ზე მეტი მოდელის არქიტექტურა, მათ შორის 11 ყველაზე პოპულარული არქიტექტურა (სადაც პოპულარობა განისაზღვრება Hugging Face Hub-ზე ატვირთული მოდელების შესაბამისი რაოდენობით): Hugging Face-ის მოდელების ONNX Runtime-ით დაჩქარების შესახებ მეტის გასაგებად, გაეცანით ჩვენს ბოლოდროინდელ პოსტს Microsoft-ის ღია კოდის ბლოგზე.