NVIDIA Llama Nemotron Nano VL არის უახლესი 8 მილიარდპარამეტრიანი ხედვითი ენის მოდელი (VLM), რომელიც შექმნილია ინტელექტუალური დოკუმენტების დამუშავებისთვის და გამოირჩევა მაღალი სიზუსტითა და მულტიმოდალური გაგების უნარით. ის ხელმისაწვდომია Hugging Face-ზე და შეუდარებელია კომპლექსური დოკუმენტებიდან, როგორიცაა ინვოისები, ქვითრები, კონტრაქტები და სხვა, ინფორმაციის მოპოვებასა და გაგებაში. მისი მძლავრი OCR (ოპტიკური სიმბოლოების ამოცნობა) შესაძლებლობებითა და OCRBench v2 ბენჩმარკზე ეფექტური მუშაობით, ეს მოდელი უზრუნველყოფს ინდუსტრიაში წამყვან სიზუსტეს ტექსტისა და ცხრილების ამოღებისთვის, ასევე გრაფიკების, დიაგრამებისა და ცხრილების გაანალიზებისთვის. მიუხედავად იმისა, ავტომატიზებთ ფინანსური დოკუმენტების დამუშავებას თუ აუმჯობესებთ ბიზნესის ინტელექტის სამუშაო პროცესებს, Llama Nemotron Nano VL ოპტიმიზებულია სწრაფი, მასშტაბირებადი განლაგებისთვის. იხილეთ ქვემოთ მოცემული გაკვეთილი, რათა დაიწყოთ თქვენი საკუთარი ინტელექტუალური დოკუმენტების დამუშავების გადაწყვეტილებების შექმნა Llama Nemotron Nano VL-ის გამოყენებით! მომხმარებლებს ასევე შეუძლიათ მოდელის შემდგომი წვრთნა საკუთარ მონაცემთა ბაზებზე NVIDIA NeMo-ს მეშვეობით. Llama Nemotron Nano VL, NVIDIA Nemotron მოდელების ოჯახის უახლესი წევრი, არის ხედვითი ენის მოდელი (VLM), რომელიც შექმნილია ინტელექტუალური დოკუმენტების დამუშავების (IDP) და ოპტიკური სიმბოლოების ამოცნობის (OCR) საზღვრების გადასალახად. მისი მაღალი სიზუსტის, მოდელის მცირე ზომისა და მულტიმოდალური შესაძლებლობების წყალობით, Llama Nemotron Nano VL უზრუნველყოფს ინფორმაციის შეუფერხებელ მოპოვებასა და გაგებას კომპლექსური დოკუმენტებიდან. ეს მოიცავს PDF ფაილებს, სურათებს, ცხრილებს, გრაფიკებს, ფორმულებსა და დიაგრამებს, რაც მას იდეალურ გადაწყვეტას ხდის დოკუმენტების სამუშაო პროცესების ავტომატიზაციისთვის სხვადასხვა ინდუსტრიაში, როგორიცაა ფინანსები, ჯანდაცვა, იურიდიული და სამთავრობო სექტორები. Llama Nemotron Nano VL აჩვენებს განსაკუთრებულ სიზუსტეს OCRBench v2 ბენჩმარკზე, რომელიც მოდელებს ამოწმებს რეალური სამყაროს OCR და დოკუმენტების გაგების ამოცანებზე. ეს ამოცანები მოიცავს ტექსტის ამოცნობას, ცხრილების ამოღებას და ელემენტების ანალიზს დოკუმენტების სხვადასხვა ტიპისთვის. მოდელის მოწინავე შესაძლებლობები მას საშუალებას აძლევს, უკეთესი შედეგები აჩვენოს, ვიდრე ამჟამად წამყვანი VLM-ები რეალურ სამყაროს საწარმოო სცენარებში. Llama Nemotron Nano VL ეფუძნება Llama-3.1-8B-Instruct-სა და C-RADIOv2-VLM-H-ს, ხედვით ტრანსფორმერს (ViT), რომელიც ვიზუალური მახასიათებლების ამოღების ხერხემალს წარმოადგენს. ეს საშუალებას აძლევს მოდელს, დაამუშაოს დოკუმენტებში არსებული ვიზუალური ელემენტების ფართო სპექტრი, მათ შორის სქემები, გრაფიკები და სხვა კომპლექსური ვიზუალური წარმოდგენები. C-RADIOv2-VLM-H ხედვითი ტრანსფორმერი (ViT): მოდელის ვიზუალური გაგების ძირითადი კომპონენტი, C-RADIO, უზრუნველყოფს მაღალი რეზოლუციით დოკუმენტების დამუშავებას, რომლებიც შეიცავს კომპლექსურ ვიზუალურ ელემენტებს. ის წარმოადგენს ვიზუალურ ხერხემალს, გამოირჩევა სხვადასხვა ვიზუალურ დომენში და საშუალებას აძლევს მოდელს, მაღალი რეზოლუციით დაამუშაოს მრავალსურათიანი გაგება. ეს ტექნოლოგია უზრუნველყოფს მოდელის უნარს, დაამუშაოს კომპლექსური დოკუმენტები, რომლებიც შეიცავს ვიზუალურ ელემენტებს, როგორიცაა სურათები, დიაგრამები, გრაფიკები და ცხრილები. C-RADIO გაწვრთნილია მრავალრეზოლუციურ მონაცემებზე, სხვადასხვა დისტილაციის ტექნიკის გამოყენებით. ტრენინგის დროს წონებზე გამოყენებული იქნა მულტიპლიკაციური ხმაური განზოგადების გასაუმჯობესებლად. Llama Nemotron VL ასევე იყენებს დიზაინს, რომელიც დინამიურად აგროვებს დაშიფრულ პაჩის მახასიათებლებს, რაც უზრუნველყოფს მაღალი რეზოლუციის შემავალი მონაცემების მხარდაჭერას სივრცული უწყვეტობის დარღვევის გარეშე. ეს სტრატეგია ეფექტურად ამუშავებს დოკუმენტებს ნებისმიერი ასპექტის თანაფარდობით, ადგილობრივი დეტალებისა და გლობალური კონტექსტის შენარჩუნებით. ის იძლევა მკვრივი ვიზუალური შინაარსის – როგორიცაა მცირე შრიფტები, მრავალსვეტიანი განლაგება და რთული დიაგრამები – დეტალური ანალიზის საშუალებას, გამოთვლითი ეფექტურობისა და დაფარვის დარღვევის გარეშე. მაღალი რეზოლუციის ფილების ინოვაციის წყალობით, მოდელს შეუძლია უკეთ შეინარჩუნოს ინფორმაცია და ჰქონდეს ნაკლები დამახინჯება. Llama-3.1 8B LLM-ის ამ ძლიერი ვიზუალური საფუძვლით გაძლიერებით, Llama Nemotron Nano VL უზრუნველყოფს შეუდარებელ სიზუსტეს დოკუმენტების ანალიზსა და ინტერპრეტაციაში. Llama Nemotron Nano VL გაწვრთნილია რამდენიმე ღია კოდის (OSS) მონაცემთა ნაკრებისა და NVIDIA-ს VLM-ზე დაფუძნებული OCR გადაწყვეტის, NeMo Retriever Parse-ის მონაცემების გამოყენებით. ეს უზრუნველყოფს ტექსტისა და ცხრილების ანალიზის შესაძლებლობებს, „გრაუნდინგთან“ ერთად, რაც Llama Nemotron Nano VL-ს საშუალებას აძლევს, დოკუმენტების გაგების ამოცანებში ინდუსტრიის წამყვან დონეზე იმუშაოს. სინთეზური ცხრილების ამოღების მონაცემთა ნაკრებები, რომლებიც გამოიყენებოდა ამ OCR გადაწყვეტის ტრენინგისთვის, ასევე გამოყენებული იქნა Llama Nemotron Nano VL 8B VLM-ის ტრენინგისთვის, ცხრილების უფრო ოპტიმალური გაგებისა და ამოღების უზრუნველსაყოფად. Llama Nemotron Nano VL გამოირჩევა ისეთი ამოცანებით, როგორიცაა ტექსტის ამოცნობა და ვიზუალური მსჯელობა, და აჩვენებს გრაფიკებისა და დიაგრამების გაგების მოწინავე შესაძლებლობებს. Llama Nemotron Nano VL საშუალებას იძლევა, პროგნოზირება მოხდეს შემომფარგლავი ყუთის (bounding box) კოორდინატების ნორმალიზებულ სივრცეში, რათა შესაძლებელი გახდეს „გრაუნდინგის“ მსგავსი ამოცანები და ტექსტზე მითითება. ეს მძლავრი შესრულება განპირობებულია მაღალი ხარისხის შიდა დომენის მონაცემებით, რომელიც შერწყმულია დოკუმენტების ტიპების, ენებისა და განლაგების მრავალფეროვან ტრენინგის დისტრიბუციასთან. მონაცემთა მძლავრი სტრატეგია უზრუნველყოფს რთული გამოყენების შემთხვევების დაფარვას შერჩევითი კურაციის, მიზანმიმართული აუგმენტაციისა და ფორმატირების ტექნიკის მეშვეობით, რომელიც აზუსტებს ამოცანის განზრახვას და ამცირებს გაურკვევლობას – შედეგად ვიღებთ მოდელებს, რომლებიც ეფექტურად გენერალიზდება რეალურ სამყაროს აპლიკაციებზე. Llama Nemotron Nano VL გადის ორეტაპიან წვრთნას...