თანამედროვე ვიზუალური ენის მოდელები (Vision Language Models) და დიდი ენის მოდელები (Large Language Models) გაწვრთნილია ინტერნეტიდან მოპოვებულ ღია წყაროს სურათ-ტექსტურ კორპუსებზე, რამაც სათავე დაუდო ღია კოდის ხელოვნური ინტელექტის ბოლოდროინდელ აჩქარებას. ამ მიღწევების მიუხედავად, რობოტიკისა და საავტომობილო ინდუსტრიაში end-to-end ხელოვნური ინტელექტის დანერგვა კვლავ დაბალია, რაც ძირითადად განპირობებულია მაღალი ხარისხის, ფართომასშტაბიანი მულტიმოდალური მონაცემთა ბაზების, როგორიცაა OXE, ნაკლებობით. რობოტიკის ხელოვნური ინტელექტის პოტენციალის განბლოკვის მიზნით, Yaak-მა გაერთიანდა LeRobot-ის გუნდთან 🤗-ში და მოხარულია გამოაცხადოს Learning to Drive (L2D) რობოტიკის ხელოვნური ინტელექტის საზოგადოებისთვის. L2D არის მსოფლიოში უდიდესი მულტიმოდალური მონაცემთა ბაზა, რომელიც მიზნად ისახავს საავტომობილო სფეროსთვის ღია კოდის სივრცითი ინტელექტის შექმნას, 🤗-ის LeRobot-ის ტრენინგის პაიპლაინისა და მოდელების უმაღლესი დონის მხარდაჭერით. წყაროს ვერსიის კონტროლის საუკეთესო პრაქტიკით შთაგონებული, Yaak ასევე იწვევს ხელოვნური ინტელექტის საზოგადოებას, მოიძიონ და აღმოაჩინონ ახალი ეპიზოდები ჩვენს მთლიან მონაცემთა ბაზაში (> 1 პეტაბაიტი) და დააყენონ მათი კოლექცია განსახილველად, რათა შეერწყას მომავალ გამოშვებას (R5+). ცხრილი 1: ღია კოდის თვითმართვადი მონაცემთა ბაზები (*ლიდრისა და რადარის გამოკლებით). წყარო L2D შეგროვდა იდენტური სენსორული სისტემებით, რომლებიც დამონტაჟებული იყო 60 ელექტრომობილზე, რომლებსაც მართავდნენ ავტოსკოლები გერმანიის 30 ქალაქში 3 წლის განმავლობაში. L2D-ში მოცემული „პოლიტიკები“ (policies) ორ ჯგუფად იყოფა — ექსპერტული „პოლიტიკები“, რომლებსაც ასრულებენ ავტოინსტრუქტორები და სტუდენტური „პოლიტიკები“ მძღოლების მიერ, რომლებიც სწავლობენ მართვას. ორივე ჯგუფი მოიცავს ბუნებრივ ენაზე ინსტრუქციებს მართვის ამოცანისთვის. მაგალითად: „როდესაც უპირატესი გავლა გაქვთ, გადით მესამე გასასვლელით წრიული მოძრაობიდან, ფრთხილად გადაკვეთეთ საცალფეხო გადასასვლელი“. ნახ. 1: ვიზუალიზაცია: Nutron (სიცხადისთვის ნაჩვენებია 6 კამერიდან 3) ინსტრუქციები: „როდესაც უპირატესი გავლა გაქვთ, გაიარეთ წრიული მოძრაობა და აიღეთ მესამე გასასვლელი“. ექსპერტულ „პოლიტიკებს“ არ აქვთ მართვის შეცდომები და ოპტიმალურად ითვლება, ხოლო სტუდენტურ „პოლიტიკებს“ აქვთ ცნობილი არაოპტიმალურობა (ნახ. 2). ნახ. 2: სტუდენტური „პოლიტიკა“ არათანაბარი საჭით მართვით, რათა თავიდან იქნას აცილებული შემხვედრი სატვირთო მანქანის ზოლში გადასვლა ორივე ჯგუფი მოიცავს ყველა იმ მართვის სცენარს, რომლებიც სავალდებულოა ევროკავშირში მართვის მოწმობის მისაღებად (გერმანული ვერსია), მაგალითად, გასწრება, წრიული მოძრაობები და სარკინიგზო გადასასვლელები. მომდევნო გამოშვებაში (იხილეთ ქვემოთ R3+) სტუდენტური არაოპტიმალური „პოლიტიკებისთვის“ შეტანილი იქნება არაოპტიმალურობის ბუნებრივი ენის განმარტება. მაგალითად: „საჭის არასწორი/არათანაბარი მართვა შემხვედრ მოძრაობასთან ახლოს“ (ნახ. 2). L2D (R2+) მიზნად ისახავს იყოს უდიდესი ღია კოდის თვითმართვადი მონაცემთა ბაზა, რომელიც აძლიერებს ხელოვნური ინტელექტის საზოგადოებას უნიკალური და მრავალფეროვანი „ეპიზოდებით“ end-to-end სივრცითი ინტელექტის მომზადებისთვის. მართვის „პოლიტიკების“ სრული სპექტრის (სტუდენტური და ექსპერტული) ჩართვით, L2D აღწერს სატრანსპორტო საშუალების უსაფრთხოდ მართვის სირთულეებს. ოპერაციული თვითმართვადი ავტოპარკის სრულად წარმოსადგენად, ჩვენ მოვიცავთ ეპიზოდებს მრავალფეროვანი გარემო პირობებით, სენსორების ხარვეზებით, სამშენებლო ზონებით და არამომუშავე შუქნიშნებით. როგორც ექსპერტთა, ასევე სტუდენტთა „პოლიტიკების“ ჯგუფები ჩაწერილია იდენტური სენსორული დაყენებით, რომელიც დეტალურადაა აღწერილი ქვემოთ მოცემულ ცხრილში. ექვსი RGB კამერა იღებს ავტომობილის კონტექსტს 360o-ზე, ხოლო ბორტზე არსებული GPS აღწერს ავტომობილის მდებარეობასა და მიმართულებას. IMU აგროვებს ავტომობილის დინამიკას, ხოლო სიჩქარეს, გაზის/მუხრუჭის პედალს, საჭის კუთხეს, მოსახვევის სიგნალსა და გადაცემათა კოლოფის მდგომარეობას ვკითხულობთ ავტომობილის CAN ინტერფეისიდან. ჩვენ მოვახდინეთ ყველა მოდალობის ტიპის სინქრონიზაცია წინა მარცხენა კამერასთან (observation.images.front_left) მათი შესაბამისი Unix epoch დროის ნიშნულების გამოყენებით. ჩვენ ასევე მოვახდინეთ მონაცემთა წერტილების ინტერპოლაცია, სადაც შესაძლებელი იყო სიზუსტის გასაუმჯობესებლად (იხილეთ ცხრილი 2) და საბოლოოდ შევამცირეთ შერჩევის სიხშირე 10 ჰერცამდე. ნახ. 3: მულტიმოდალური მონაცემთა ვიზუალიზაცია ვიზუალიზაციის საშუალებით: Nutron (სიცხადისთვის ნაჩვენებია 6 კამერიდან მხოლოდ 3) ცხრილი 2: მოდალობის ტიპები, LeRobot v3.0 გასაღები, ფორმა და ინტერპოლაციის სტრატეგია. L2D მიჰყვება გერმანული მართვის ამოცანების ოფიციალურ კატალოგს (დეტალური ვერსია) მართვის ამოცანების, მართვის ქვეამოცანებისა და ამოცანის განსაზღვრის თვალსაზრისით. ჩვენ ვანიჭებთ უნიკალურ ამოცანის ID-ს და ბუნებრივი ენის ინსტრუქციებს ყველა ეპიზოდს. LeRobot:ამოცანა ყველა ეპიზოდისთვის დაყენებულია „მიჰყევით საგზაო წერტილებს საგზაო მოძრაობის წესებისა და რეგულაციების დაცვით“. ქვემოთ მოცემული ცხრილი აჩვენებს რამდენიმე ნიმუშ ეპიზოდს, მათ ბუნებრივი ენის ინსტრუქციებს, მართვის ამოცანებსა და ქვეამოცანებს. როგორც ექსპერტულ, ასევე სტუდენტურ „პოლიტიკებს“ აქვთ იდენტური ამოცანის ID მსგავსი სცენარებისთვის, ხოლო ინსტრუქციები განსხვავდება ეპიზოდის მიხედვით. ცხრილი 3: L2D-ის ნიმუშის ეპიზოდები, მათი ინსტრუქციები და ამოცანის ID, მიღებული ევროკავშირის მართვის ამოცანების კატალოგიდან ჩვენ ვახდენთ ინსტრუქციებისა და საგზაო წერტილების კონსტრუქციის ავტომატიზაციას ავტომობილის პოზიციის (GPS), ღია კოდის მარშრუტიზაციის აპარატის (Open-Source Routing Machine), OpenStreetMap-ისა და დიდი ენის მოდელის (LLM) გამოყენებით (იხილეთ ქვემოთ). ბუნებრივი ენის მოთხოვნები აგებულია ისე, რომ ზუსტად მიჰყვებოდეს ნაბიჯ-ნაბიჯ ნავიგაციას, რომელიც ხელმისაწვდომია GPS ნავიგაციის მოწყობილობების უმეტესობაში. საგზაო წერტილები (ნახ. 4) გამოითვლება GPS-ის უმი მონაცემების OSM გრაფთან შედარებით და 10 თანაბარი წერტილის (ნარინჯისფერი) შერჩევით, რომლებიც მოიცავს 100 მეტრს ავტომობილის ამჟამინდელი მდებარეობიდან (მწვანე) და ემსახურება როგორც...