Google-მა დღეს წარმოადგინა Gemma, უახლესი ღია დიდი ენის მოდელების (LLM) ოჯახი. ეს ნაბიჯი კიდევ ერთხელ ადასტურებს Google-ის ერთგულებას ღია კოდის ხელოვნური ინტელექტის მიმართ. Hugging Face სრულად უჭერს მხარს Gemma-ს გაშვებას ყოვლისმომცველი ინტეგრაციით. Gemma ხელმისაწვდომია ორი ზომის: 7 მილიარდი (7B) პარამეტრის ვერსია, რომელიც განკუთვნილია სამომხმარებლო GPU-სა და TPU-ზე ეფექტური განლაგებისა და დეველოპმენტისთვის, და 2 მილიარდი (2B) პარამეტრის ვერსია CPU-სა და მოწყობილობაზე არსებული აპლიკაციებისთვის. ორივე ზომა წარმოდგენილია როგორც ძირითადი (base), ასევე ინსტრუქციებზე მორგებული (instruction-tuned) ვარიანტებით. ჩვენ (Hugging Face) ვითანამშრომლეთ Google-თან, რათა უზრუნველგვეყო საუკეთესო ინტეგრაცია Hugging Face ეკოსისტემაში. ოთხი ღია წვდომის მოდელი (2 ძირითადი და 2 ინსტრუქციებზე მორგებული) ხელმისაწვდომია Hub-ზე. **ძირითადი მახასიათებლები და ინტეგრაციები:** * **Gemma-ს ოჯახი:** Google-ის ოთხი ახალი LLM მოდელი, რომელიც Gemini-ზეა დაფუძნებული. * **ზომები:** 2B და 7B პარამეტრები, თითოეული ძირითადი (წინასწარ გაწვრთნილი) და ინსტრუქციებზე მორგებული ვერსიებით. * **აპარატურული თავსებადობა:** ყველა ვარიანტის გაშვება შესაძლებელია სხვადასხვა ტიპის სამომხმარებლო აპარატურაზე, კვანტიზაციის გარეშეც კი. * **კონტექსტის სიგრძე:** 8K ტოკენი. * **განახლებული ინსტრუქციული მოდელები:** ორიგინალური გამოშვებიდან ერთი თვის შემდეგ, Google-მა გამოუშვა ინსტრუქციული მოდელების ახალი ვერსია. ამ ვერსიას აქვს გაუმჯობესებული კოდირების შესაძლებლობები, ფაქტობრივი სიზუსტე, ინსტრუქციების შესრულება და მრავალმხრივი დიალოგის ხარისხი. მოდელი ასევე ნაკლებად მიდრეკილია დიალოგის „რა თქმა უნდა,“-თი დაწყებისკენ. **Gemma მოდელების შეფასება:** LLM Leaderboard-ზე (სადაც მაღალი ქულა უკეთესია) Gemma 7B ძალიან ძლიერი მოდელია, რომლის შესრულებაც შედარებადია 7B წონის საუკეთესო მოდელებთან, მათ შორის Mistral 7B-თან. Gemma 2B საინტერესო მოდელია თავისი ზომისთვის, თუმცა Leaderboard-ზე ის არ იღებს ისეთივე მაღალ ქულებს, როგორც მსგავსი ზომის საუკეთესო მოდელები, მაგალითად Phi 2. ჩვენ მოუთმენლად ველით საზოგადოებისგან რეალურ გამოყენებასთან დაკავშირებულ უკუკავშირს! გაითვალისწინეთ, რომ LLM Leaderboard განსაკუთრებით გამოსადეგია წინასწარ გაწვრთნილი მოდელების ხარისხის გასაზომად და არა იმდენად ჩატ-მოდელებისთვის. ჩატ-მოდელებისთვის გირჩევთ გამოიყენოთ სხვა ბენჩმარკები, როგორიცაა MT Bench, EQ Bench და lmsys Arena. **გამოყენება და ინტეგრაცია:** * **ძირითადი მოდელები:** არ აქვთ მოთხოვნის სპეციფიკური ფორმატი. სხვა ძირითადი მოდელების მსგავსად, მათი გამოყენება შესაძლებელია შეყვანილი თანმიმდევრობის სავარაუდო გაგრძელებისთვის ან ნულოვანი/რამდენიმე ნიმუშის ინფერენციისთვის. ისინი ასევე შესანიშნავი საფუძველია თქვენი კონკრეტული გამოყენების შემთხვევებისთვის მოდელების დასაზუსტებლად (fine-tuning). * **ინსტრუქციული ვერსიები:** აქვთ ძალიან მარტივი საუბრის სტრუქტურა. ეფექტური გამოყენებისთვის ეს ფორმატი ზუსტად უნდა იყოს რეპროდუცირებული. * **ტექნიკური ანგარიში:** შეიცავს ინფორმაციას ძირითადი მოდელების წვრთნისა და შეფასების პროცესების შესახებ, თუმცა არ არის დეტალური ინფორმაცია მონაცემთა ნაკრების შემადგენლობისა და წინასწარი დამუშავების შესახებ. ცნობილია, რომ ისინი გაწვრთნილი იყო სხვადასხვა წყაროდან მიღებული მონაცემებით, ძირითადად ვებ-დოკუმენტებით, კოდითა და მათემატიკური ტექსტებით. მონაცემები გაფილტრული იყო CSAM კონტენტისა და პერსონალური საიდენტიფიკაციო ინფორმაციის (PII) ამოსაღებად, ასევე ლიცენზირების შემოწმებები განხორციელდა. * **წვრთნის დეტალების ნაკლებობა:** Gemma ინსტრუქციული მოდელებისთვის არ არის გაზიარებული დეტალები fine-tuning მონაცემთა ნაკრებების ან SFT-სა და RLHF-თან დაკავშირებული ჰიპერპარამეტრების შესახებ. * **ჩეთი Gemma Instruct-თან:** შეგიძლიათ ესაუბროთ Gemma Instruct მოდელს Hugging Chat-ზე: https://huggingface.co/chat/models/google/gemma-1.1-7b-it * **Hugging Face ეკოსისტემა:** Transformers-ის 4.38 ვერსიის გამოშვებით, შეგიძლიათ გამოიყენოთ Gemma და Hugging Face ეკოსისტემის ყველა ხელსაწყო. * **ოპტიმიზაცია:** Gemma მოდელები თავსებადია `torch.compile()`-თან CUDA გრაფიკებით, რაც უზრუნველყოფს დაახლოებით 4-ჯერ დაჩქარებას ინფერენციის დროს! * **მეხსიერება და სიჩქარე:** გამოყენებულია `bfloat16` სიზუსტე, რადგან ეს არის საცნობარო სიზუსტე და ყველა შეფასება ამით ჩატარდა. `float16`-ში გაშვება შეიძლება უფრო სწრაფი იყოს თქვენს აპარატურაზე. მოდელის ავტომატური კვანტიზაციაც შეგიძლიათ, მისი 8-ბიტიან ან თუნდაც 4-ბიტიან რეჟიმში ჩატვირთვით. 4-ბიტიანი ჩატვირთვა დაახლოებით 9 GB მეხსიერებას მოითხოვს, რაც მას თავსებადს ხდის ბევრ სამომხმარებლო ბარათთან და Google Colab-ის ყველა GPU-სთან. * **პლატფორმები:** Gemma მოდელის ყველა ვარიანტი ხელმისაწვდომია PyTorch-თან, როგორც ზემოთ აღინიშნა, ან JAX / Flax-თან გამოსაყენებლად. * **Google Cloud-ზე განლაგება:** შეგიძლიათ Gemma-ს განლაგება და წვრთნა Google Cloud-ზე Vertex AI-ის ან Google Kubernetes Engine-ის (GKE) მეშვეობით, Text Generation Inference-ისა და Transformers-ის გამოყენებით.