თუმცა, აქ დგება გამოწვევა: გასაოცარი მოდელის პოვნა მხოლოდ დასაწყისია. რა ხდება მაშინ, როდესაც აღმოაჩენთ მოდელს, რომელიც 90%-ით სრულყოფილია თქვენი გამოყენების შემთხვევისთვის, მაგრამ გჭირდებათ დამატებითი 10% პერსონალიზაცია? ტრადიციული ფაინ-ტუნინგის ინფრასტრუქტურა კომპლექსური, ძვირია და ხშირად მოითხოვს მნიშვნელოვან DevOps ექსპერტიზას მის ასაწყობად და შესანარჩუნებლად. ეს არის ზუსტად ის ხარვეზი, რომელსაც Together AI და Hugging Face ავსებენ დღეს. ჩვენ ვაცხადებთ ახალ, მძლავრ შესაძლებლობას, რომელიც Hugging Face Hub-ის მთელ სივრცეს ხელმისაწვდომს ხდის ფაინ-ტუნინგისთვის Together AI-ის ინფრასტრუქტურის გამოყენებით. ახლა, ჰაბზე არსებული ნებისმიერი თავსებადი დიდი ენობრივი მოდელი (LLM), იქნება ეს Meta-სგან თუ ინდივიდუალური კონტრიბუტორისგან, შეიძლება დაექვემდებაროს დაზუსტებულ წვრთნას ისეთივე სიმარტივით და საიმედოობით, რასაც Together-ის პლატფორმისგან მოელით.🚀 აი, რა არის საჭირო Together AI-ის პლატფორმაზე Hugging Face-ის მოდელის ფაინ-ტუნინგის დასაწყებად: ეს არის ყველაფერი! თქვენი მოდელი გაწვრთნილი იქნება Together-ის ინფრასტრუქტურაზე და მისი განლაგება შესაძლებელი იქნება ინფერენციისთვის, ჩამოტვირთვა ან თუნდაც უკან ჰაბზე ატვირთვა! კერძო რეპოზიტორებისთვის, უბრალოდ დაამატეთ თქვენი HF ტოკენი hf_api_token="hf_xxxxxxxxxxxx"-ით. როგორც ზემოთ მოცემულ მაგალითშია ნაჩვენები, როდესაც Hugging Face-ის მოდელს ავარჯიშებთ Together AI-ზე, თქვენ რეალურად ასპეციფიცირებთ ორ მოდელს: * **საბაზისო მოდელი** წარმოიდგინეთ, როგორც "წვრთნის შაბლონი". ის ჩვენს სისტემას ეუბნება, თუ როგორ ოპტიმალურად გაანაწილოს GPU რესურსები, დააკონფიგურიროს მეხსიერების გამოყენება, დააყენოს წვრთნის კონვეიერი და მოამზადოს მოდელი ინფერენციისთვის. * **თქვენი პერსონალური მოდელი** ოპტიმალური შედეგებისთვის საბაზისო მოდელის მსგავსი არქიტექტურა, მიახლოებითი ზომა და მიმდევრობის სიგრძე უნდა ჰქონდეს. როგორც ზემოთ მოცემულ მაგალითშია ნაჩვენები, თუ გსურთ HuggingFaceTB/SmolLM2-1.7B-Instruct (რომელიც იყენებს Llama არქიტექტურას) ფაინ-ტუნინგი, თქვენ გამოიყენებთ togethercomputer/llama-2-7b-chat-ს, როგორც საბაზისო მოდელის შაბლონს, რადგან მათ აქვთ იგივე ძირითადი არქიტექტურა. ინტეგრაცია მუშაობს ორმხრივად. Together AI-ს შეუძლია Hugging Face Hub-დან ნებისმიერი თავსებადი საჯარო მოდელის მიღება წვრთნისთვის, და შესაბამისი API ტოკენებით, მას შეუძლია კერძო რეპოზიტორებიდანაც ჩამოტვირთოს მოდელები. წვრთნის შემდეგ, თქვენი ფაინ-ტუნინგირებული მოდელი ავტომატურად შეიძლება აიტვირთოს ჰაბზე, თუ მიუთითეთ hf_output_repo_name, რაც მას ხელმისაწვდომს გახდის თქვენი გუნდისთვის ან ფართო საზოგადოებისთვის გასაზიარებლად. ზოგადად, ყველა CausalLM მოდელი 100 მილიარდ პარამეტრამდე გამართულად იმუშავებს. საბაზისო და პერსონალური მოდელების არჩევის ყოვლისმომცველი სახელმძღვანელოსთვის და სხვა მრავალისთვის, წაიკითხეთ ჩვენი სრული გზამკვლევი! ეს ინტეგრაცია ნამდვილ პრობლემას აგვარებს, რომელსაც ბევრი ჩვენგანი შეხვედრია: Hugging Face-ზე შესანიშნავი მოდელის პოვნა, მაგრამ არ გააჩნია ინფრასტრუქტურა მისი კონკრეტული საჭიროებებისთვის ფაინ-ტუნინგისთვის. ახლა თქვენ შეგიძლიათ პერსპექტიული მოდელის აღმოჩენიდან, წარმოებაში პერსონალიზებული ვერსიის გაშვებამდე მიხვიდეთ სულ რამდენიმე API ზარით. აქ დიდი უპირატესობა ხახუნის მოცილებაა. ნაცვლად იმისა, რომ დღეები დახარჯოთ წვრთნის ინფრასტრუქტურის მოწყობაზე ან შემოიფარგლოთ იმ მოდელებით, რომლებიც ოფიციალურად არის მხარდაჭერილი სხვადასხვა პლატფორმის მიერ, ახლა შეგიძლიათ ექსპერიმენტები ჩაატაროთ ჰაბიდან ნებისმიერ თავსებად მოდელზე. იპოვეთ სპეციალიზებული კოდირების მოდელი, რომელიც ახლოსაა თქვენს საჭიროებებთან? გაწვრთენით ის თქვენს მონაცემებზე!📈 გუნდებისთვის ეს ნიშნავს იტერაციის უფრო სწრაფ ციკლებს. შეგიძლიათ სწრაფად შეამოწმოთ მოდელის მრავალი მიდგომა, დაეყრდნოთ საზოგადოების ინოვაციებს და თუნდაც გამოიყენოთ თქვენი საკუთარი ფაინ-ტუნინგირებული მოდელები, როგორც საწყისი წერტილი შემდგომი პერსონალიზაციისთვის. ამ ფუნქციის ბეტა მომხმარებლები და ადრეული მიმღებები უკვე ხედავენ შედეგებს მრავალფეროვან გამოყენების შემთხვევებში. Slingshot AI-მ ეს შესაძლებლობა პირდაპირ თავის მოდელის განვითარების კონვეიერში ინტეგრირდა. Together-ის მოდელების კატალოგით შეზღუდვის ნაცვლად, მათ ახლა შეუძლიათ წვრთნის კონვეიერის ნაწილების გაშვება საკუთარ ინფრასტრუქტურაზე, ამ მოდელების ჰაბზე ატვირთვა და შემდეგ ამ მოდელების განგრძობითი ფაინ-ტუნინგი Together AI-ის ფაინ-ტუნინგის პლატფორმის გამოყენებით. ამან მკვეთრად დააჩქარა მათი განვითარების ციკლები და მათ საშუალება მისცა, მარტივად ჩაეტარებინათ ექსპერიმენტები მოდელის ვარიანტების ფართო სპექტრზე. Parsed-მა აჩვენა ამ მიდგომის ძალა თავის ნაშრომში, რომელიც გვიჩვენებს, თუ როგორ შეუძლიათ მცირე, კარგად ოპტიმიზირებულ ღია კოდის მოდელებს ბევრად უფრო დიდი დახურული მოდელების გადაჭარბება. მოდელების ფრთხილად კურირებულ მონაცემთა ნაკრებებზე ფაინ-ტუნინგით, მათ მიაღწიეს უმაღლეს შესრულებას ხარჯთეფექტურობის შენარჩუნებით და საკუთარ მოდელებზე სრული კონტროლით. სხვა მომხმარებლებისგან ხშირი გამოყენების შემთხვევები მოიცავს: გუნდების მიერ ყველაზე მნიშვნელოვან უპირატესობად დასახელებულია შედეგების მიღების სიჩქარე. ნაცვლად იმისა, რომ კვირები დახარჯონ წვრთნის ინფრასტრუქტურის მოწყობაზე ან თვეები ნულიდან მოდელების წვრთნაზე, მათ შეუძლიათ საზოგადოებიდან პერსპექტიული საწყისი წერტილების იდენტიფიცირება და სპეციალიზებული მოდელების წარმოებაში გაშვება დღეების განმავლობაში. ხარჯთეფექტურობა კიდევ ერთი მთავარი უპირატესობაა. უკვე შესაბამისი შესაძლებლობების მქონე მოდელებით დაწყებით, გუნდებს ნაკლები წვრთნის ეპოქა სჭირდებათ და შეუძლიათ გამოიყენონ უფრო მცირე მონაცემთა ნაკრებები სამიზნე შესრულების მისაღწევად, რაც მკვეთრად ამცირებს გამოთვლით ხარჯებს. შესაძლოა, ყველაზე მნიშვნელოვანი ის არის, რომ ეს მიდგომა გუნდებს აძლევს ღია კოდის საზოგადოების კოლექტიურ ინტელექტზე წვდომას. ყოველი მიღწევა, ყოველი სპეციალიზებული ადაპტაცია, ყოველი ახალი არქიტექტურა ხდება პოტენციური საწყისი წერტილი მათი საკუთარი მუშაობისთვის. როგორც მოსალოდნელი იყო ამ ბუნების დიდი ფუნქციიდან გამომდინარე, ჩვენ