ჩვენ სრულად მოვახდინეთ Gaudi-ის მხარდაჭერის ინტეგრირება TGI-ის ძირითად კოდბაზაში PR #3091-ის მეშვეობით. აქამდე, ჩვენ Gaudi მოწყობილობებისთვის ცალკე „ფორკს“ (tgi-gaudi) ვინარჩუნებდით. ეს მოუხერხებელი იყო მომხმარებლებისთვის და ხელს გვიშლიდა TGI-ის უახლესი ფუნქციების გაშვებისთანავე მხარდაჭერაში. ახლა, TGI-ის ახალი მრავალბექენდური არქიტექტურის გამოყენებით, ჩვენ Gaudi-ს პირდაპირ TGI-ზე ვუჭერთ მხარს – აღარ არის საჭირო მორგებულ რეპოზიტორიებზე მუშაობა. ეს ინტეგრაცია მხარს უჭერს Intel-ის Gaudi აპარატურის სრულ ხაზს: Gaudi აპარატურის შესახებ დამატებითი ინფორმაციის ნახვა შეგიძლიათ Intel-ის Gaudi პროდუქტის გვერდზე. TGI-ის Gaudi ბექენდი რამდენიმე ძირითად უპირატესობას გთავაზობთ: TGI-ის Gaudi-ზე გასაშვებად უმარტივესი გზაა ჩვენი ოფიციალური Docker image-ის გამოყენება. თქვენ უნდა გაუშვათ image Gaudi აპარატურის მქონე მანქანაზე. აი, ძირითადი მაგალითი დასაწყებად: ```bash docker run --runtime=habana -it --shm-size 16g -p 80:80 \ -e HF_TOKEN= \ --name tgi_gaudi \ ghcr.io/huggingface/tgi-gaudi:latest \ --model-id google/gemma-2b-it \ --num-shard 1 ``` მას შემდეგ, რაც სერვერი გაეშვება, შეგიძლიათ გაგზავნოთ inference მოთხოვნები: ```bash curl 127.0.0.1:80/generate \ -X POST \ -d '{"inputs": "What is the meaning of life?", "parameters": {"max_new_tokens": 175}}' \ -H 'Content-Type: application/json' ``` TGI-ის Gaudi-სთან გამოყენების ყოვლისმომცველი დოკუმენტაციისთვის, მათ შორის ინსტრუქციებისა და გაფართოებული კონფიგურაციებისთვის, იხილეთ ახალი, სპეციალურად Gaudi ბექენდის დოკუმენტაცია. ჩვენ მოვახდინეთ შემდეგი მოდელების ოპტიმიზაცია როგორც ერთბარათიანი, ისე მრავალბარათიანი კონფიგურაციებისთვის. ეს ნიშნავს, რომ ეს მოდელები Intel Gaudi-ზე მუშაობენ მაქსიმალური სიჩქარით. ჩვენ სპეციალურად მოვახდინეთ მოდელირების კოდის ოპტიმიზაცია Intel Gaudi აპარატურისთვის, რაც უზრუნველყოფს საუკეთესო შესრულებას და Gaudi-ის შესაძლებლობების სრულად გამოყენებას. ჩვენ ასევე გთავაზობთ ბევრ მოწინავე ფუნქციას Gaudi აპარატურაზე, როგორიცაა FP8 კვანტიზაცია Intel Neural Compressor (INC)-ის წყალობით, რაც კიდევ უფრო მეტ შესრულების ოპტიმიზაციას იძლევა. მალე! მოხარულნი ვართ, რომ გავაფართოვებთ ჩვენი მოდელების ხაზს უახლესი დამატებებით, მათ შორის DeepSeek-r1/v3, QWen-VL და სხვა მძლავრი მოდელებით თქვენი AI აპლიკაციების გასაძლიერებლად! ჩვენ ვიწვევთ საზოგადოებას, გამოსცადოს TGI Gaudi აპარატურაზე და მოგვაწოდოს უკუკავშირი. სრული დოკუმენტაცია ხელმისაწვდომია TGI Gaudi ბექენდის დოკუმენტაციაში. თუ დაინტერესებული ხართ წვლილის შეტანით, გაეცანით ჩვენს წვლილის შეტანის სახელმძღვანელოს ან გახსენით საკითხი (issue) თქვენი უკუკავშირით GitHub-ზე. Intel Gaudi-ის მხარდაჭერის უშუალოდ TGI-ში შემოტანით, ჩვენ ვაგრძელებთ ჩვენს მისიას, მივაწოდოთ მოქნილი, ეფექტური და წარმოებისთვის მზა ინსტრუმენტები დიდი ენობრივი მოდელების (LLMs) განლაგებისთვის. მოუთმენლად ველით, რას შექმნით ამ ახალი შესაძლებლობით!