თანამედროვე ხელოვნური ინტელექტის (AI) მოდელების განვითარება უფრო გამჭვირვალე უნდა იყოს. IDEFICS-ის შექმნის ჩვენი მიზანია, AI საზოგადოებას მივაწოდოთ ისეთი სისტემები, რომლებიც კონკურენციას გაუწევენ მსხვილ კომერციულ მოდელებს, როგორიცაა Flamingo. ამ მიზნით, ჩვენ გადავდგით მნიშვნელოვანი ნაბიჯები AI სისტემების გამჭვირვალობისკენ: გამოვიყენეთ მხოლოდ საჯაროდ ხელმისაწვდომი მონაცემები, შევქმენით ხელსაწყოები სავარჯიშო მონაცემთა ნაკრებების შესასწავლად, გავაზიარეთ ტექნიკური გაკვეთილები და შეცდომები ასეთი არტეფაქტების შექმნისას და მოდელის გამოშვებამდე შევაფასეთ მისი პოტენციური ზიანის მომტანი თვისებები "adversarial prompting"-ის საშუალებით. ვიმედოვნებთ, რომ IDEFICS მყარ საფუძველს ჩაუყრის მულტიმოდალური AI სისტემების უფრო ღია კვლევებს, ისეთ მოდელებთან ერთად, როგორიცაა OpenFlamingo – Flamingo-ს კიდევ ერთი ღია რეპროდუქცია 9 მილიარდი პარამეტრის მასშტაბით. სცადეთ დემო და მოდელები Hub-ზე! IDEFICS არის 80 მილიარდი პარამეტრის მულტიმოდალური მოდელი, რომელიც იღებს სურათებისა და ტექსტების თანმიმდევრობას შეყვანის სახით და წარმოქმნის თანმიმდევრულ ტექსტს გამოსავალზე. მას შეუძლია უპასუხოს შეკითხვებს სურათების შესახებ, აღწეროს ვიზუალური შინაარსი, შექმნას ისტორიები, რომლებიც ეფუძნება მრავალ სურათს და ა.შ. IDEFICS არის Flamingo-ს ღია წყაროს რეპროდუქცია და შედარებადია ორიგინალური, დახურული წყაროს მოდელთან სხვადასხვა სურათ-ტექსტის გაგების ბენჩმარკებზე. ის ხელმისაწვდომია ორ ვარიანტში – 80 მილიარდი პარამეტრი და 9 მილიარდი პარამეტრი. ჩვენ ასევე გთავაზობთ IDEFICS-ის ადაპტირებულ (fine-tuned) ვერსიებს: idefics-80B-instruct და idefics-9B-instruct, რომლებიც განკუთვნილია სასაუბრო (conversational) გამოყენებისთვის. IDEFICS გაწვრთნილია საჯაროდ ხელმისაწვდომი მონაცემთა ნაკრებების ნაზავზე: Wikipedia, Public Multimodal Dataset და LAION, ასევე ახალ 115 მილიარდი ტოკენის მონაცემთა ნაკრებზე, სახელწოდებით OBELICS, რომელიც ჩვენ შევქმენით. OBELICS შედგება 141 მილიონი შერეული სურათ-ტექსტის დოკუმენტისგან, რომლებიც ინტერნეტიდან არის მოპოვებული და შეიცავს 353 მილიონ სურათს. ჩვენ გთავაზობთ OBELICS-ის ინტერაქტიულ ვიზუალიზაციას, რომელიც საშუალებას გაძლევთ შეისწავლოთ მონაცემთა ნაკრების შინაარსი Nomic AI-ის დახმარებით. IDEFICS-ის არქიტექტურის, ვარჯიშის მეთოდოლოგიის, შეფასებებისა და მონაცემთა ნაკრების შესახებ დეტალური ინფორმაცია ხელმისაწვდომია მოდელის ბარათსა (model card) და ჩვენს კვლევით ნაშრომში. გარდა ამისა, ჩვენ დოკუმენტურად აღვწერეთ ტექნიკური სიღრმისეული ცოდნა და გაკვეთილები მოდელის ვარჯიშისგან, რაც ღირებულ პერსპექტივას გვთავაზობს IDEFICS-ის განვითარებაზე. პროექტის დასაწყისში, დისკუსიების შედეგად, შევიმუშავეთ ეთიკური ქარტია, რომელიც დაგვეხმარა პროექტის მიმდინარეობისას გადაწყვეტილებების მიღებაში. ეს ქარტია ადგენს ღირებულებებს, მათ შორის თვითკრიტიკულობას, გამჭვირვალობას და სამართლიანობას, რისკენაც ვისწრაფოდით პროექტის მიდგომისა და მოდელების გამოშვებისას. გამოშვების პროცესის ფარგლებში, ჩვენ შიდა შეფასება ჩავუტარეთ მოდელს პოტენციური მიკერძოებების აღმოსაჩენად, რისთვისაც მოდელს "adversarial prompting"-ით ვთხოვდით ისეთ პასუხებს, რომლებიც არ გვსურდა (პროცესი, ცნობილი როგორც "red teaming"). გთხოვთ, გამოსცადოთ IDEFICS დემო ვერსიით, გაეცნოთ შესაბამის მოდელისა და მონაცემთა ნაკრების ბარათებს და გაგვიზიაროთ თქვენი უკუკავშირი საზოგადოების ჩანართის გამოყენებით! ჩვენ მზად ვართ გავაუმჯობესოთ ეს მოდელები და დიდი მულტიმოდალური AI მოდელები ხელმისაწვდომი გავხადოთ მანქანური სწავლების საზოგადოებისთვის. მოდელი აგებულია ორ წინასწარ გაწვრთნილ მოდელზე: laion/CLIP-ViT-H-14-laion2B-s32B-b79K და huggyllama/llama-65b. პირველი MIT ლიცენზიით გამოვიდა, ხოლო მეორე – სპეციფიკური არაკომერციული ლიცენზიით, რომელიც კვლევით მიზნებზეა ორიენტირებული. ამიტომ, მომხმარებლებმა უნდა დაიცვან ეს ლიცენზია Meta-ს ფორმაზე პირდაპირი განაცხადის შეტანით. ორი წინასწარ გაწვრთნილი მოდელი ერთმანეთთან დაკავშირებულია ახლად ინიციალიზებული პარამეტრებით, რომლებსაც ჩვენ ვწვრთნით. ისინი არ ეფუძნება არცერთ ძირითად "გაყინულ" (frozen) მოდელს, რომლებიც ქმნიან კომპოზიტურ მოდელს. ჩვენ დამატებით წონებს, რომლებიც ჩვენ ვავარჯიშეთ, MIT ლიცენზიით ვუშვებთ. IDEFICS მოდელები ხელმისაწვდომია Hugging Face Hub-ზე და მხარდაჭერილია transformers-ის ბოლო ვერსიაში. აქ არის კოდის ნიმუში მისი გამოსაცდელად: მეტი სტატია ჩვენი ბლოგიდან · დარეგისტრირდით ან შეხვიდეთ კომენტარისთვის