დღეს ჩვენ ვაცხადებთ Dell Enterprise Hub-ის, Hugging Face-ზე ახალი გამოცდილების შესახებ, რომელიც აადვილებს ღია მოდელების ლოკალურ წვრთნასა და განთავსებას Dell-ის პლატფორმების გამოყენებით. სცადეთ აქ: dell.huggingface.co ხელოვნური ინტელექტის სისტემების შექმნისას, ღია მოდელები საუკეთესო გამოსავალია საწარმოების უსაფრთხოების, შესაბამისობისა და კონფიდენციალურობის მოთხოვნების დასაკმაყოფილებლად. თუმცა, დიდი ენობრივი მოდელებთან (LLMs) ლოკალურ ინფრასტრუქტურაში მუშაობა ხშირად მოითხოვს კვირების ცდებსა და შეცდომებს, კონტეინერებთან, პარალელიზმთან, კვანტიზაციასთან და მეხსიერების ამოწურვის შეცდომებთან გამკლავებას. Dell Enterprise Hub-ის მეშვეობით, ჩვენ ვაადვილებთ LLM-ების ლოკალურ წვრთნასა და განთავსებას Dell-ის პლატფორმებზე, რაც კვირების საინჟინრო სამუშაოს წუთებამდე ამცირებს. Dell Enterprise Hub გთავაზობთ დღეს არსებული ყველაზე მოწინავე ღია მოდელების შერჩეულ სიას, მათ შორის Llama 3 Meta-დან, Mixtral Mistral AI-დან, Gemma Google-დან და სხვა. Dell Enterprise Hub-ზე წვდომისთვის, საჭიროა მხოლოდ Hugging Face-ის ანგარიში. Dell Enterprise Hub თავიდანვე შექმნილია საწარმოებისთვის და ოპტიმიზირებულია Dell-ის პლატფორმებისთვის. შეგიძლიათ მარტივად გაფილტროთ ხელმისაწვდომი მოდელები მათი ლიცენზიის ან მოდელის ზომის მიხედვით. მოდელის არჩევის შემდეგ, შეგიძლიათ გაეცნოთ საწარმოსთვის განკუთვნილ ყოვლისმომცველ მოდელის ბარათს. ერთი შეხედვით ხედავთ ძირითად ინფორმაციას მოდელის შესახებ, მის ზომასა და იმ Dell პლატფორმებს, რომლებიც მას კარგად უჭერენ მხარს. Meta-ს, Mistral-ისა და Google-ის მრავალი მოდელი მოითხოვს ავტორიზაციას მოდელის წონებზე წვდომისთვის. ვინაიდან Dell Enterprise Hub აგებულია Hugging Face-ის მომხმარებლის ანგარიშებზე, თქვენი ანგარიშის უფლებები გადადის Dell Enterprise Hub-ზე და ნებართვის მიღება მხოლოდ ერთხელ დაგჭირდებათ. განსათავსებელი მოდელის არჩევის შემდეგ, მისი განთავსება თქვენს Dell გარემოში მართლაც მარტივია. უბრალოდ აირჩიეთ მხარდაჭერილი Dell პლატფორმა და GPU-ების რაოდენობა, რომლის გამოყენებაც გსურთ განთავსებისთვის. როდესაც მოცემულ სკრიპტს ჩასვამთ თქვენი Dell გარემოს ტერმინალში ან სერვერზე, ყველაფერი ავტომატურად მოხდება იმისათვის, რომ თქვენი მოდელი ხელმისაწვდომი გახდეს API endpoint-ის სახით, რომელიც განთავსებულია თქვენს Dell პლატფორმაზე. Hugging Face-მა მოახდინა განთავსების კონფიგურაციების ოპტიმიზაცია თითოეული Dell პლატფორმისთვის, გაითვალისწინა ხელმისაწვდომი აპარატურა, მეხსიერება და კავშირის შესაძლებლობები, და რეგულარულად ამოწმებს მათ Dell-ის ინფრასტრუქტურაზე, რათა შესთავაზოს საუკეთესო შედეგები. მოდელების დახვეწა (fine-tuning) აუმჯობესებს მათ მუშაობას კონკრეტულ დომენებსა და გამოყენების შემთხვევებში, კომპანიის სპეციფიკური სასწავლო მონაცემების საფუძველზე მოდელის წონების განახლებით. დახვეწილმა ღია მოდელებმა აჩვენეს უკეთესი შედეგები, ვიდრე საუკეთესო ხელმისაწვდომმა დახურულმა მოდელებმა, როგორიცაა GPT-4, რაც უზრუნველყოფს უფრო ეფექტურ და პროდუქტიულ მოდელებს კონკრეტული AI ფუნქციების გასაძლიერებლად. ვინაიდან კომპანიის სპეციფიკური სასწავლო მონაცემები ხშირად მოიცავს კონფიდენციალურ ინფორმაციას, ინტელექტუალურ საკუთრებას და მომხმარებლის მონაცემებს, საწარმოს შესაბამისობისთვის მნიშვნელოვანია დახვეწის ლოკალურად განხორციელება, რათა მონაცემებმა არასოდეს დატოვოს კომპანიის უსაფრთხო IT გარემო. ღია მოდელების ლოკალური დახვეწა Dell Enterprise Hub-ის მეშვეობით ისეთივე მარტივია, როგორც მოდელის განთავსება. ძირითადი დამატებითი პარამეტრებია ოპტიმიზირებული სასწავლო კონტეინერისთვის Dell გარემოს ლოკალური გზის მითითება, სადაც განთავსებულია სასწავლო მონაცემთა ნაკრები, და სად უნდა აიტვირთოს დახვეწილი მოდელი დასრულების შემდეგ. სასწავლო მონაცემთა ნაკრები შეიძლება მოწოდებულ იქნას CSV ან JSONL ფორმატის ფაილების სახით, ამ სპეციფიკაციის დაცვით. რა მოხდება, თუ გსურთ თქვენი საკუთარი მოდელის ლოკალურად განთავსება ისე, რომ ის არასოდეს დატოვოს თქვენი უსაფრთხო გარემო? Dell Enterprise Hub-ის მეშვეობით, მოდელის გაწვრთნის შემდეგ ის განთავსდება თქვენს ლოკალურ უსაფრთხო გარემოში, თქვენ მიერ არჩეულ გზაზე. მისი განთავსება კიდევ ერთი მარტივი ნაბიჯია „Deploy Fine-Tuned“ ჩანართის არჩევით. და თუ თქვენ თავად გაწვრთნეთ თქვენი მოდელი Dell Enterprise Hub-ის მიერ მხარდაჭერილი მოდელის ერთ-ერთი არქიტექტურის გამოყენებით, შეგიძლიათ მისი განთავსება ზუსტად იგივე გზით. უბრალოდ მიუთითეთ ლოკალური გზა, სადაც შეინახეთ მოდელის წონები იმ გარემოში, რომელშიც გაუშვებთ მოცემულ კოდის ფრაგმენტს. განთავსების შემდეგ, მოდელი ხელმისაწვდომია API endpoint-ის სახით, რომლის გამოძახებაც მარტივია OpenAI-თან თავსებადი Messages API-ის შესაბამისი მოთხოვნების გაგზავნით. ეს აადვილებს OpenAI-ით შექმნილი პროტოტიპის გადატანას უსაფრთხო ლოკალურ განთავსებაზე, რომელიც დაყენებულია Dell Enterprise Hub-ის მეშვეობით. დღეს ჩვენ ძალიან მოხარულები ვართ, რომ გამოვაქვეყნეთ Dell Enterprise Hub, მრავალი მოდელით, რომლებიც ხელმისაწვდომია მზა კონტეინერების სახით, ოპტიმიზირებული მრავალი პლატფორმისთვის, Dell Technologies-თან თანამშრომლობის გამოცხადებიდან 6 თვის შემდეგ. Dell გთავაზობთ მრავალ პლატფორმას, რომელიც აგებულია NVIDIA-ს, AMD-ის და Intel Gaudi-ის AI აპარატურულ ამაჩქარებლებზე. Hugging Face-ის საინჟინრო თანამშრომლობა NVIDIA-სთან (optimum-nvidia), AMD-სთან (optimum-amd) და Intel-თან (optimum-intel და optimum-habana) საშუალებას მოგვცემს შევთავაზოთ კიდევ უფრო ოპტიმიზირებული კონტეინერები ღია მოდელების განთავსებისა და წვრთნისთვის Dell-ის ყველა პლატფორმის კონფიგურაციაზე. ჩვენ მოხარულები ვართ, რომ მხარდაჭერას ვუწევთ მეტ უახლეს ღია მოდელს და ვათავსებთ მათ მეტ Dell პლატფორმაზე – ჩვენ ახლახან ვიწყებთ!