გიორგი გერგანოვის გუნდი Hugging Face-ს უერთდება: ახალი ეტაპი ადგილობრივი AI-ის განვითარებაში
გიორგი გერგანოვი და მისი გუნდი, რომლებიც დგანან ggml-ისა და llama.cpp-ის პროექტების უკან, უერთდებიან Hugging Face-ს. ეს ნაბიჯი მიზნად ისახავს ადგილობრივი ხელოვნური ინტელექტის (AI) ექსპონენციურ განვითარებას მომდევნო წლებში, პროექტის გრძელვადიანი, მდგრადი რესურსებით უზრუნველყოფას და მისი ღია კოდის ბუნების შენარჩუნებას. გუნდი სრულ ავტონომიას შეინარჩუნებს ტექნიკურ მიმართულებებსა და საზოგადოებასთან მუშაობაში.
მცირე ენობრივი მოდელები: ეფექტური და ხელმისაწვდომი AI ტრენინგი Hugging Face-ით
Hugging Face წარმოგიდგენთ მცირე ზომის ენობრივ მოდელებს, როგორიცაა LFM2.5-1.2B-Instruct, რომლებიც იდეალურია დახვეწისთვის მათი დაბალი ღირებულების, სწრაფი ინტერაციის და მაღალი კონკურენტუნარიანობის გამო. ეს მოდელები ოპტიმიზირებულია მოწყობილობებზე გამოსაყენებლად. სტატია განმარტავს, თუ როგორ გამოიყენოთ Hugging Face Jobs და კოდირების აგენტები მოდელების მარტივად გასაწვრთნელად, უფასო კრედიტებისა და Pro გამოწერის შეთავაზებით.
fastText-ის მოდელები Hugging Face-ზე: 157 ენის ვექტორები და ენის იდენტიფიკაცია Meta AI-სთან თანამშრომლობით
Hugging Face-მა, Meta AI-სთან თანამშრომლობით, უზრუნველყო fastText-ის მოდელების, მათ შორის 157 ენის სიტყვის ვექტორებისა და ენის იდენტიფიკაციის უახლესი მოდელის, ხელმისაწვდომობა. ეს ინტეგრაცია მომხმარებლებს საშუალებას აძლევს, მარტივად ჩამოტვირთონ და გამოიყენონ ეს მასშტაბირებადი გადაწყვეტილებები ტექსტის წარმოდგენისა და კლასიფიკაციისთვის, ასევე გამოსცადონ სხვადასხვა ვიჯეტები.
Hugging Face-ის ინფრასტრუქტურის განახლება მონაცემთა გადაცემის გამოწვევების დასაძლევად
სტატია აღწერს Hugging Face-ის ინფრასტრუქტურის მასშტაბურ განახლებას, რომელიც მიზნად ისახავს მონაცემთა ატვირთვისა და ჩამოტვირთვის არსებული შეზღუდვების დაძლევას. ამჟამინდელი სისტემა, რომელიც AWS S3-სა და CloudFront-ს ეყრდნობა, ვეღარ აკმაყოფილებს მზარდი ზომის ხელოვნური ინტელექტის მოდელებისა და მონაცემთა ნაკრებების მოთხოვნებს. ახალი არქიტექტურა წარმოადგენს კონტენტზე მისამართირებულ საცავს (Content-Addressed Store - CAS), რომელიც ფაილებს ბაიტის დონეზე ამუშავებს, რაც საშუალებას იძლევა ოპტიმიზაციის, გადა
Hugging Face-ი ფაილების გადაცემის არქიტექტურას ანახლებს: ახალი მიდგომა დიდი მოცულობის მონაცემებისთვის
Hugging Face აცხადებს ინფრასტრუქტურის მნიშვნელოვან განახლებას, რათა ოპტიმიზაცია გაუკეთოს მოდელებისა და მონაცემთა ნაკრებების დიდი ზომის ფაილების ატვირთვასა და ჩამოტვირთვას. არსებული CDN-ის (AWS CloudFront) 50GB ლიმიტის გამოწვევის ფონზე, კომპანია ნერგავს კონტენტზე მიბმულ საცავს (CAS), როგორც ახალ არქიტექტურულ ელემენტს. ეს ახალი სისტემა იყენებს "სულელი წაკითხვების" და "ჭკვიანი ჩაწერების" პერსონალიზებულ პროტოკოლს, რომელიც აანალიზებს ფაილებს ბაიტის დონეზე, რათა გააუმჯობესოს გადაცემის სიჩქარე, უზრუნვე
ევროკავშირის AI აქტი: რა უნდა იცოდნენ ღია კოდის AI სისტემების შემქმნელებმა
ევროკავშირის ხელოვნური ინტელექტის აქტი (AI Act) შესაძლოა გავრცელდეს ღია კოდის AI სისტემებსა და მოდელებზე, სპეციფიკური წესებით, რომლებიც დამოკიდებულია მოდელის ტიპსა და მის გამოშვებაზე. უმეტეს შემთხვევაში, ვალდებულებები მოიცავს მკაფიო დოკუმენტაციის მიწოდებას, მოდელის შესახებ ინფორმაციის გასამჟღავნებლად ხელსაწყოების დამატებას განთავსებისას და არსებული საავტორო უფლებებისა და კონფიდენციალურობის წესების დაცვას. საბედნიეროდ, ამ პრაქტიკის უმეტესობა უკვე გავრცელებულია ღია კოდის სივრცეში, და Hugging Face
Hugging Face Hub: მანქანური სწავლების შესაძლებლობები GLAM სექტორისთვის
Hugging Face მიზნად ისახავს უმაღლესი ხარისხის მანქანური სწავლების საყოველთაო ხელმისაწვდომობას. ამის მისაღწევად კომპანია აწვდის ღია კოდის ბიბლიოთეკებს, უფასო კურსებს და Hugging Face Hub-ს – ცენტრალურ საცავს 190,000-ზე მეტი მოდელით, 33,000 მონაცემთა ნაკრებით და 100,000-ზე მეტი აპლიკაციით. ეს სტატია განკუთვნილია GLAM სექტორში (გალერეები, ბიბლიოთეკები, არქივები, მუზეუმები) მომუშავე პირებისთვის, რათა გაიგონ, როგორ გამოიყენონ და როგორ შეიტანონ წვლილი Hub-ში. მაგალითად, NER მოდელის გამოყენება ციფრული დ
როგორ აუმჯობესებს Capital Fund Management (CFM) ფინანსური მონაცემების ანალიზს Hugging Face-ის დიდი ენობრივი მოდელების (LLM) დახმარებით
Capital Fund Management (CFM), პარიზში დაფუძნებული ალტერნატიული ინვესტიციების მართვის ფირმა, თანამშრომლობს Hugging Face-ის ექსპერტთა მხარდაჭერის გუნდთან, რათა გამოიყენოს ღია წყაროს დიდი ენობრივი მოდელები (LLMs) ფინანსური აპლიკაციებისთვის. თანამშრომლობის მთავარი მიზანია გააუმჯობესოს ფინანსური სუბიექტების ამოცნობა (მაგ., კომპანიების სახელები) საინფორმაციო სტატიებიდან, რაც კრიტიკულია ავტომატიზირებული სავაჭრო სტრატეგიებისთვის. CFM-მა გამოიკვლია LLM-ის დახმარებით დატეგვის, მცირე მოდელების 'fine-tunin
LLM-ების შეფასება: სად შეგვიძლია ვენდოთ მონაცემებს?
სტატია განიხილავს დიდი ენობრივი მოდელების (LLM) შეფასების არსებულ გამოწვევებს, განსაკუთრებით GPT-4-ზე დაფუძნებულ მეტრიკაზე დამოკიდებულებას, რაც შესაძლოა სრულად არ ასახავდეს ადამიანურ უპირატესობებს. ხაზგასმულია ადამიანურად მარკირებული მონაცემების მნიშვნელობა რეალური უპირატესობების გასაზომად და წარმოდგენილია Hugging Face Open LLM ლიდერბორდის გაფართოება. ეს გაფართოებული ლიდერბორდი აერთიანებს ავტომატიზებულ აკადემიურ ბენჩმარკებს, პროფესიონალურ ადამიანურ მარკირებას და GPT-4 შეფასებებს, რათა უზრუნველყო
AMD Hugging Face-ის აპარატურის პარტნიორი ხდება: ახალი ეტაპი ხელოვნური ინტელექტის განვითარებაში
ტექნოლოგიურმა გიგანტებმა Hugging Face-მა და AMD-მ გამოაცხადეს სტრატეგიული პარტნიორობა, რომელიც მიზნად ისახავს უახლესი ტრანსფორმატორული მოდელების ოპტიმიზაციას AMD-ის ცენტრალურ პროცესორებსა (CPUs) და გრაფიკულ პროცესორებზე (GPUs). ეს თანამშრომლობა მნიშვნელოვნად გააფართოებს ღრმა სწავლისთვის ხელმისაწვდომი აპარატურის არჩევანს, შეამცირებს ხარჯებს და დააწესებს ახალ სტანდარტებს ხელოვნური ინტელექტის (AI) გამოთვლებში.
Livebook, Elixir და Hugging Face: მანქანური სწავლების ახალი ჰორიზონტები
სტატია მიმოიხილავს ჩატის აპლიკაციას, რომელიც აუდიო შეტყობინებებს Whisper ML მოდელის გამოყენებით ტექსტად გარდაქმნის და წარმოაჩენს Livebook-ისა და Elixir-ის მანქანური სწავლების ეკოსისტემის შესაძლებლობებს. დეტალურად არის განხილული Elixir-ის საზოგადოების თანამშრომლობა Hugging Face პლატფორმასთან, მათ შორის Bumblebee ბიბლიოთეკის, tokenizers-ის და Livebook-ის Hugging Face Spaces-ში ინტეგრაციის მაგალითები, რაც მანქანური სწავლის გამოყენების ახალ გზებს ხსნის.
„მონაცემები ერთად უკეთესია“: Hugging Face და ღია კოდის AI საზოგადოება რევოლუციას ახდენენ გამოსახულების გენერაციაში
სტატია აღწერს Hugging Face-ისა და ღია კოდის AI საზოგადოების ერთობლივ პროექტს, სახელწოდებით „მონაცემები ერთად უკეთესია“, რომელიც მიზნად ისახავს ღია კოდის ეფექტური მონაცემთა ნაკრებების შექმნას. მნიშვნელოვანი მიღწევაა `open-image-preferences-v1`, უნიკალური გამოსახულების უპირატესობის მონაცემთა ნაკრები, რომელიც გამოირჩევა მრავალფეროვანი პრომპტებითა და ღია განვითარებით. მონაცემთა ნაკრები დეტალურად შეიქმნა სინთეზური მონაცემების გენერაციის, ტოქსიკურობის მოწინავე ფილტრაციისა და Flux-ისა და Stable Diffusi
Hugging Face-ის ღია მოდელები ახლა უკვე ხელმისაწვდომია Amazon Bedrock Marketplace-ზე
Hugging Face-ის პოპულარული ღია მოდელები ახლა უკვე ხელმისაწვდომია Amazon Bedrock-ზე, ახალი Bedrock Marketplace-ის ფარგლებში. AWS-ის მომხმარებლებს შეუძლიათ 83 ღია მოდელის განთავსება გენერაციული ხელოვნური ინტელექტის (Generative AI) აპლიკაციების შესაქმნელად. ეს ინტეგრაცია აერთიანებს SageMaker Jumpstart-ის გამოყენების სიმარტივეს Amazon Bedrock-ის სრულად მართულ ინფრასტრუქტურასთან, რაც უზრუნველყოფს მაღალი დონის API-ებთან თავსებადობას.
LeMaterial-ის გაშვება: ღია კოდის კოლაბორაციული პროექტი მასალების კვლევისთვის Entalpic-ისა და Hugging Face-ისგან
Entalpic-ისა და Hugging Face-ის მიერ ინიცირებული ღია კოდის კოლაბორაციული პროექტი LeMaterial ამოქმედდა, რომლის მიზანია მასალების კვლევის გამარტივება და დაჩქარება. პროექტი ხელს შეუწყობს მანქანური სწავლების მოდელების გაწვრთნას, ახალი მასალების იდენტიფიცირებას და ქიმიური სივრცეების შესწავლას. პირველ ეტაპზე გამოვიდა LeMat-Bulk მონაცემთა ნაკრები, რომელიც აერთიანებს, ასუფთავებს და სტანდარტიზაციას უკეთებს წამყვან მონაცემთა ბაზებს (Materials Project, Alexandria, OQMD), ქმნის 6.7 მილიონი ჩანაწერისა და 7 მ
სინთეზური მონაცემების გენერაცია: ხელოვნური ინტელექტის შესაძლებლობების გაფართოება
სტატია მიმოიხილავს სინთეზური მონაცემების მნიშვნელობასა და გენერაციის პროცესს. სინთეზური მონაცემები არის ხელოვნურად შექმნილი ინფორმაცია, რომელიც რეალურ სამყაროს მონაცემებს მიბაძავს და ხელს უწყობს მონაცემთა შეზღუდვების დაძლევას, ნაკრებების გაფართოებით ან გაუმჯობესებით. აღწერილია სინთეზური მონაცემების გენერატორის გამოყენება Hugging Face-ის უფასო API-სა და Argilla-ს ინტეგრაციის მეშვეობით, ტექსტის კლასიფიკაციისა და ჩატის მონაცემთა ნაკრებების შესაქმნელად. მოცემულია დეტალური სამსაფეხურიანი პროცესი მონა
Hugging Face-ი აშშ-ის ვაჭრობის დეპარტამენტს ხელოვნური ინტელექტის ანგარიშვალდებულების შესახებ რეკომენდაციებს წარუდგენს
12 ივნისს, Hugging Face-მა აშშ-ის ვაჭრობის დეპარტამენტს (NTIA) ხელოვნური ინტელექტის ანგარიშვალდებულების პოლიტიკის შესახებ თავისი პასუხი წარუდგინა. კომპანია ხაზს უსვამს დოკუმენტაციისა და გამჭვირვალობის მნიშვნელობას, ასევე დაინტერესებული მხარეების სრულ ექსპერტიზაზე დაყრდნობის აუცილებლობას. Hugging Face-ის მისიაა „კარგი მანქანური სწავლების დემოკრატიზაცია“, რაც გულისხმობს სისტემების მარტივ გაგებას, შეფასებას და კრიტიკას ყველა დაინტერესებული მხარისთვის.
Writer-ის გზა: Hugging Face-ის მომხმარებლიდან ღია კოდის კონტრიბუტორამდე
ამ ინტერვიუში Writer-ის თანადამფუძნებელი და ტექნიკური დირექტორი, ვასიმ ალშიხი, საუბრობს Hugging Face-თან მათი თანამშრომლობის ევოლუციაზე, დაწყებული უბრალო მომხმარებლობიდან, დამთავრებული ღია კოდის მოდელების შექმნამდე.
ლოგიტების დამუშავება: უპრეცედენტო კონტროლი AI ტექსტის გენერაციაზე NVIDIA-ს LogitsProcessorZoo-ს მეშვეობით
სტატია განიხილავს ლოგიტების დამუშავებას, მეთოდს, რომელიც საშუალებას გვაძლევს დეტალური კონტროლი მოვახდინოთ ხელოვნური ინტელექტის მიერ ტექსტის გენერაციის პროცესზე, პროგნოზირების ქულების მოდიფიკაციის გზით. ხაზგასმულია Hugging Face-ის LogitsProcessor API და წარმოდგენილია NVIDIA-ს LogitsProcessorZoo – მოდულური პროცესორების კრებული, რომელიც შექმნილია სპეციფიკური ამოცანებისთვის, მაგალითად, თანმიმდევრობის სიგრძის კონტროლისთვის ან საკვანძო ფრაზების დაწესებისთვის. ეს ინოვაცია მნიშვნელოვნად აფართოებს ხელოვნ
ლოგიტების დამუშავება: გაუმჯობესებული კონტროლი AI ტექსტის გენერაციაზე NVIDIA-ს LogitsProcessorZoo-ს მეშვეობით
სტატია განიხილავს ლოგიტების დამუშავებას, მეთოდს, რომელიც საშუალებას გვაძლევს დეტალური კონტროლი მოვიპოვოთ ხელოვნური ინტელექტის მიერ ტექსტის გენერირების პროცესზე ალბათური განაწილების პირდაპირი მოდიფიცირებით. ხაზგასმულია Hugging Face-ის LogitsProcessor API და წარმოდგენილია NVIDIA-ს LogitsProcessorZoo — მოდულური ლოგიტების პროცესორების კოლექცია, რომელიც განკუთვნილია სპეციფიკური ამოცანებისთვის, როგორიცაა თანმიმდევრობის სიგრძის კონტროლი ან საკვანძო ფრაზების დაწესება. სტატია განმარტავს, თუ როგორ აუმჯობე
AI ვებ-კონტენტის გენერაცია: Node.js და Hugging Face-ის პირდაპირი მიდგომა
გაეცანით AI ვებ-კონტენტის გენერაციის ინოვაციურ მიდგომას Node.js-ის გამოყენებით, რომელიც უზრუნველყოფს კონტენტის ერთბაშად ნაკადად გადაცემასა და რენდერინგს. ეს სტატია დეტალურად აღწერს, თუ როგორ გამოიყენოთ დიდი ენობრივი მოდელები (LLM) JavaScript/Node პლატფორმაზე Hugging Face Inference API-ებთან ერთად, აპარატურული აჩქარების, Tailwind CSS-ის, Stable Diffusion-ისა და Alpine.js-ის ინტეგრაციის ჩათვლით.
LLM-ების განთავსება Hugging Face Inference Endpoints-ზე: სრული გზამკვლევი
ამ ბლოგპოსტში განხილულია, თუ როგორ უნდა განათავსოთ ღია კოდის დიდი ენობრივი მოდელები (LLM) Hugging Face Inference Endpoints-ის გამოყენებით, მართული SaaS გადაწყვეტის, რომელიც ამარტივებს მოდელების განთავსებას. სტატია მოიცავს პასუხების სტრიმინგის მეთოდებსა და ენდპოინტების წარმადობის ტესტირებას. Hugging Face Inference Endpoints უზრუნველყოფს AI აპლიკაციების სწრაფ და უსაფრთხო შექმნას ინფრასტრუქტურის მართვის გარეშე, ავტომატური მასშტაბირების, ნულამდე შემცირებისა და გაუმჯობესებული უსაფრთხოების ფუნქციებით.
vdr-2b-multi-v1: მრავალენოვანი ჩაშენების მოდელი ვიზუალური დოკუმენტების ეფექტური მოძიებისთვის
Hugging Face-ის მიერ წარდგენილია vdr-2b-multi-v1, მრავალენოვანი ჩაშენების მოდელი, რომელიც განკუთვნილია ვიზუალური დოკუმენტების მოძიებისთვის სხვადასხვა ენასა და დომენში. ეს მოდელი აკოდირებს დოკუმენტის გვერდის სქრინშოტებს მკვრივ ერთვექტორულ წარმოდგენებად, რაც შესაძლებელს ხდის ვიზუალურად მდიდარი მრავალენოვანი დოკუმენტების ძიებას და მოთხოვნას OCR-ის, მონაცემთა ამოღების კონვეიერების ან დანაწილების გარეშე. იგი აგებულია MrLight/dse-qwen2-2b-mrl-v1-ზე და გაწვრთნილია ვრცელ, თვითშექმნილ მონაცემთა ბაზაზე. L
AI WebTV: ხელოვნური ინტელექტით შექმნილი ვიდეო კონტენტის ინოვაციური პლატფორმა
AI WebTV წარმოადგენს ინოვაციურ პლატფორმას, რომელიც დემონსტრირებს ღია კოდის ტექსტი-ვიდეოდ გადამყვანი მოდელებით, როგორიცაა Zeroscope და MusicGen, გენერირებულ ვიდეოებს. ის შექმნილია მოკლე, ტექნოლოგიური დემო კლიპების სახით, სადაც დიდი ენობრივი მოდელები (LLM), მაგალითად ChatGPT, გამოიყენება ვიდეო კადრებისთვის მრავალფეროვანი მოთხოვნების შესაქმნელად. სისტემა დანერგილია NodeJS-სა და TypeScript-ში, იყენებს Hugging Face-ის სერვისებს და მოიცავს კადრების გაფართოებას FILM ალგორითმით, ასევე მუსიკის დამატებას
Meta-მ Llama 2 გამოუშვა: ღია წვდომის დიდი ენობრივი მოდელი კომერციული გამოყენებისთვის, Hugging Face-ის ინტეგრაციით
Meta-მ წარმოადგინა Llama 2, თანამედროვე, ღია წვდომის დიდი ენობრივი მოდელების ოჯახი, რომელიც 7B-დან 70B პარამეტრამდე მერყეობს და ხელმისაწვდომია კომერციული გამოყენებისთვის. Hugging Face სრულად უჭერს მხარს გამოშვებას ყოვლისმომცველი ინტეგრაციით, რაც დეველოპერებს საშუალებას აძლევს მარტივად გამოიყენონ, გაუშვან ინფერენცია და დახვეწონ მოდელები. Llama 2-Chat ვერსიები, რომლებიც ოპტიმიზებულია დიალოგისთვის, ChatGPT-ის მსგავს შესრულებას აჩვენებს სარგებლიანობისა და უსაფრთხოების ბენჩმარკებზე.