KerasHub-ის მომხმარებლები, პირველ ვერსიაში, შემოიფარგლებოდნენ მხოლოდ Hugging Face Hub-ზე არსებული KerasHub-ზე დაფუძნებული მოდელებით. მათ შეეძლოთ მოდელის გაწვრთნა/დახვეწა და Hub-ზე უკან ატვირთვა (გაითვალისწინეთ, რომ მოდელი კვლავ Keras-ის მოდელი იყო). მათ არ ჰქონდათ წვდომა transformers ბიბლიოთეკით შექმნილი 300 ათასზე მეტი მოდელის ვრცელ კოლექციაზე. სურათი 1-ზე ნაჩვენებია 4 ათასი Gemma მოდელი Hub-ში. მაგრამ რა მოხდება, თუ გეტყვით, რომ ახლა შეგიძლიათ ამ 300 ათასზე მეტ მოდელზე წვდომა და მათი გამოყენება KerasHub-თან ერთად, რაც მნიშვნელოვნად გააფართოებს თქვენი მოდელების არჩევანსა და შესაძლებლობებს? მოხარულნი ვართ განვაცხადოთ მნიშვნელოვანი წინგადადგმული ნაბიჯის შესახებ Hub-ის საზოგადოებისთვის: Transformers-სა და KerasHub-ს ახლა უკვე აქვთ მოდელების შენახვის საერთო ფორმატი. ეს ნიშნავს, რომ Hugging Face Hub-ზე არსებული transformers ბიბლიოთეკის მოდელები ახლა პირდაპირ KerasHub-შიც შეიძლება ჩაიტვირთოს, რაც KerasHub-ის მომხმარებლებს მყისიერად ხელმისაწვდომს უხდის დახვეწილი მოდელების უზარმაზარ სპექტრს. თავდაპირველად, ეს ინტეგრაცია ფოკუსირებულია Gemma (1 და 2), Llama 3 და PaliGemma მოდელების გამოყენების ჩართვაზე, სამომავლოდ კი თავსებადობის გაფართოება იგეგმება არქიტექტურების უფრო ფართო სპექტრზე. ვინაიდან KerasHub მოდელებს შეუძლიათ შეუფერხებლად გამოიყენონ TensorFlow, JAX ან PyTorch უკანა სისტემები (backends), ეს ნიშნავს, რომ მოდელების ჩექპოინტების უზარმაზარი დიაპაზონი ახლა შეიძლება ჩაიტვირთოს ნებისმიერ ამ ფრეიმვორკში კოდის ერთი ხაზით. იპოვეთ შესანიშნავი ჩექპოინტი Hugging Face-ზე, მაგრამ გინდოდათ მისი TFLite-ში განთავსება სერვისისთვის ან JAX-ში გადატანა კვლევისთვის? ახლა ეს შესაძლებელია! ინტეგრაციის გამოსაყენებლად საჭიროა Keras-ის ვერსიების განახლება. განახლების შემდეგ, ინტეგრაციის გამოცდა ძალიან მარტივია: Transformers-ის მოდელები ინახება JSON ფორმატის კონფიგურაციის ფაილების ნაკრების, ტოკენიზატორის (ჩვეულებრივ, ასევე .JSON ფაილი) და safetensors წონის ფაილების სახით. რეალური მოდელირების კოდი თავად Transformers ბიბლიოთეკაშია. ეს ნიშნავს, რომ Transformers-ის ჩექპოინტის KerasHub-ში გადატანა შედარებით მარტივია, თუ ორივე ბიბლიოთეკას აქვს მოდელირების კოდი შესაბამისი არქიტექტურისთვის. ყველაფერი, რაც საჭიროა, არის კონფიგურაციის ცვლადების, წონის სახელების და ტოკენიზატორის ლექსიკონების ერთი ფორმატიდან მეორეში ასახვა, და ჩვენ ვქმნით KerasHub-ის ჩექპოინტს Transformers-ის ჩექპოინტიდან, ან პირიქით. ეს ყველაფერი თქვენთვის შიდა სისტემით არის მართული, ასე რომ თქვენ შეგიძლიათ ფოკუსირება მოდელების გამოცდაზე და არა მათ კონვერტაციაზე! ენის მოდელების პირველი გამოყენების შემთხვევა არის ტექსტის გენერირება. წარმოგიდგენთ მაგალითს, თუ როგორ უნდა ჩატვირთოთ transformers მოდელი და წარმოქმნათ ახალი ტოკენები KerasHub-ის .generate მეთოდის გამოყენებით. თქვენ შეგიძლიათ შეცვალოთ თქვენი მოდელის სიზუსტე keras.config-ის გამოყენებით. JAX-ის გამოყენებით მოდელის შესამოწმებლად, შეგიძლიათ გამოიყენოთ Keras, რომ აამოქმედოთ მოდელი JAX backend-ით. ამის მიღწევა შესაძლებელია Keras-ის backend-ის JAX-ზე უბრალოდ გადართვით. წარმოგიდგენთ, თუ როგორ შეგიძლიათ გამოიყენოთ მოდელი JAX გარემოში. მოხარულნი ვართ გაცნობოთ, რომ Gemma 2 მოდელები ასევე თავსებადია ამ ინტეგრაციასთან. თქვენ ასევე შეგიძლიათ გამოიყენოთ ნებისმიერი PaliGemma safetensor ჩექპოინტი თქვენს KerasHub pipeline-ში. ეს მხოლოდ დასაწყისია. ჩვენ ვგეგმავთ ამ ინტეგრაციის გაფართოებას, რათა მოიცვას Hugging Face-ის მოდელებისა და არქიტექტურების კიდევ უფრო ფართო სპექტრი. თვალყური ადევნეთ განახლებებს და აუცილებლად შეისწავლეთ ის წარმოუდგენელი პოტენციალი, რასაც ეს თანამშრომლობა ხსნის! მინდა ვისარგებლო შემთხვევით და მადლობა გადავუხადო მეთიუ კერიგანს (Matthew Carrigan) და მეთიუ უოტსონს (Matthew Watson) მათი დახმარებისთვის მთელი პროცესის განმავლობაში. **მეტი სტატია ჩვენი ბლოგიდან** თქვენი ბლოგის კითხვა Hugging Face-ისა და KerasHub-ის ახალი ინტეგრაციის შესახებ — ასეთი კარგად ახსნილი სახელმძღვანელოა, არიტრა როი გოსთიპათი! ინტეგრაციის გამოყენებისა და მისი საერთო გამოყენების შემთხვევების აღწერა მართლაც სასარგებლო იყო. კვლევისას ვიპოვე ეს რესურსი ComfyUI-ის დაყენების შესახებ RunPod-თან ერთად, რომელიც მოიცავს Hugging Face მოდელის ინტეგრაციას და AI მოდელის განთავსებას: https://mobisoftinfotech.com/resources/blog/flux-on-runpod-using-comfyui. მსურს მოვისმინო თქვენი აზრები იმის შესახებ, თუ როგორ ადარებს ეს ინტეგრაცია AI-ის განთავსების სხვა მეთოდებს! · დარეგისტრირდით ან შეხვიდეთ კომენტარისთვის.