გამარჯობა მეგობრებო! კეთილი იყოს თქვენი მობრძანება „მანქანური სწავლების ექსპერტებში“. მე ვარ თქვენი წამყვანი, ბრიტნი მალერი და დღევანდელი სტუმარია ლუის ტანსტალი. ლუისი არის მანქანური სწავლების ინჟინერი Hugging Face-ში, სადაც მუშაობს ტრანსფორმერების გამოყენებაზე ბიზნეს პროცესების ავტომატიზაციისა და MLOps გამოწვევების გადასაჭრელად. ლუისს შექმნილი აქვს ML აპლიკაციები სტარტაპებისა და მსხვილი კომპანიებისთვის ბუნებრივი ენის დამუშავების (NLP), ტოპოლოგიური მონაცემთა ანალიზისა და დროითი სერიების სფეროებში. თქვენ მოისმენთ ლუისის საუბარს მის ახალ წიგნზე, ტრანსფორმერებზე, ფართომასშტაბიანი მოდელების შეფასებაზე, იმაზე, თუ როგორ ეხმარება ის ML ინჟინრებს ოპტიმიზაციაში უფრო სწრაფი შეყოვნებისა და მაღალი გამტარუნარიანობის მისაღწევად, და მრავალი სხვა. წარსულში ლუისი იყო თეორიული ფიზიკოსი და სამუშაოს მიღმა უყვარს გიტარაზე დაკვრა, ტრეილ რანინგი და ღია კოდის პროექტებში წვლილის შეტანა. ძალიან მოხარული ვარ, წარმოგიდგინოთ ეს სახალისო და ბრწყინვალე ეპიზოდი! გთავაზობთ ჩემს საუბარს ლუის ტანსტალთან: შენიშვნა: ტრანსკრიფცია ოდნავ შეცვლილი/გადაფორმებულია უმაღლესი ხარისხის კითხვის გამოცდილების უზრუნველსაყოფად. ლუისი: მადლობა, ბრიტნი. სასიამოვნოა აქ ყოფნა. ლუისი: Hugging Face-ში მიმიყვანა ტრანსფორმერებმა. 2018 წელს, შვეიცარიაში, ერთ სტარტაპში ვმუშაობდი ტრანსფორმერებთან. ჩემი პირველი პროექტი იყო კითხვა-პასუხის დავალება, სადაც ტექსტს შეიყვანდით და მოდელს ავარჯიშებდით, რათა ამ ტექსტში კითხვაზე პასუხი ეპოვა. იმ დროს ბიბლიოთეკას ერქვა: pytorch-pretrained-bert, ეს იყო ძალიან მიზანმიმართული კოდების ბაზა რამდენიმე სკრიპტით და ეს იყო პირველი შემთხვევა, როდესაც ტრანსფორმერებთან ვიმუშავე. წარმოდგენა არ მქონდა, რა ხდებოდა, ამიტომ წავიკითხე ორიგინალური ნაშრომი „ყურადღება ეს ყველაფერია, რაც გჭირდება“ (Attention Is All You Need), მაგრამ ვერ გავიგე. ამიტომ დავიწყე სხვა რესურსების ძებნა სასწავლად. ამ პროცესში, Hugging Face-ის ბიბლიოთეკა მრავალი არქიტექტურით გაფართოვდა და მე ძალიან აღფრთოვანებული დავრჩი ღია კოდის პროგრამულ უზრუნველყოფაში წვლილის შეტანით. ასე რომ, დაახლოებით 2019 წელს, გამიჩნდა ერთგვარი გიჟური იდეა, დამეწერა წიგნი ტრანსფორმერების შესახებ, რადგან ვგრძნობდი, რომ არსებობდა ინფორმაციული ხარვეზი. ამიტომ დავუკავშირდი ჩემს მეგობარს, ლეანდროს (ფონ ვერა) და მოულოდნელად, ყოველგვარი წინაპირობის გარეშე, თომს (ვოლფი) ელ.წერილი გავუგზავნეთ შეტყობინებით: „ჰეი, ვაპირებთ წიგნის დაწერას ტრანსფორმერების შესახებ, გაინტერესებთ?“ და არ ველოდი პასუხს. მაგრამ, ჩვენდა გასაოცრად, მან გვიპასუხა: „დიახ, რა თქმა უნდა, მოდით, ვისაუბროთ.“ და დაახლოებით 1.5 წლის შემდეგ ეს ჩვენი წიგნია: „NLP ტრანსფორმერებით“. ამ თანამშრომლობამ საფუძველი ჩაუყარა იმას, რომ მე და ლეანდრო საბოლოოდ შევუერთდით Hugging Face-ს. და აქ უკვე დაახლოებით ცხრა თვეა ვარ. ლუისი: უნდა ვთქვა, რომ დაახლოებით წელიწადნახევრის წინ მშობელი გავხდი და ეს ჩემი შვილის დაბადებას ჰგავს. ხელში გიჭირავს რაღაც, რაც შენ შექმენი. ეს საკმაოდ ამაღელვებელი გრძნობაა და იმდენად განსხვავებულია მისი ფიზიკურად ხელში დაჭერა (PDF-ის წაკითხვასთან შედარებით). ეს ადასტურებს, რომ ის მართლაც რეალურია და არ მომლანდებია. მინდა მოკლედ წავიკითხო ერთი მოწონება, რომელიც ძალიან მიყვარს ამ წიგნთან დაკავშირებით: „_სირთულე გამარტივებული. ეს არის იშვიათი და ძვირფასი წიგნი NLP-ის, ტრანსფორმერებისა და მათ ირგვლივ მზარდი ეკოსისტემის – Hugging Face-ის შესახებ. მიუხედავად იმისა, ეს ტერმინები თქვენთვის ჯერ კიდევ გაუგებარია თუ უკვე მყარი ცოდნა გაქვთ მათ შესახებ, ავტორები იუმორით, მეცნიერული სიზუსტითა და უამრავი კოდის მაგალითით გაგაცნობენ უახლესი ტექნოლოგიების ყველაზე ღრმა საიდუმლოებებს. „მზა წინასწარ გაწვრთნილი“ მოდელებიდან „ნულიდან შექმნილ მორგებულ“ მოდელებამდე, და წარმადობიდან მონაცემთა ნაკლოვანებებამდე, ავტორები განიხილავენ ML ინჟინრის პრაქტიკულად ყველა რეალურ სირთულეს და გვთავაზობენ უახლეს გადაწყვეტებს, რაც ამ წიგნს მომავალი წლების განმავლობაში სფეროში სტანდარტების კარნახის ბედს უწინასწარმეტყველებს.“ – ლუკა პეროცი, Ph.D., მონაცემთა მეცნიერებისა და მანქანური სწავლების ასოცირებული მენეჯერი Accenture-ში. გაეცანით წიგნს „ბუნებრივი ენის დამუშავება ტრანსფორმერებით“. ლუისი: ერთ-ერთი გამოწვევა, რომელიც Hugging Face-მდე ჩემს წინა სამუშაოებზე განვიცადე, იყო მოდელების პროდუქციაში გაშვება. ეს მოდელები მართლაც დიდია პარამეტრების რაოდენობის თვალსაზრისით, რაც ბევრ სირთულეს მატებს თქვენს მოთხოვნებს. მაგალითად, თუ ცდილობთ ჩეთბოტის აშენებას, გჭირდებათ, რომ ეს მოდელი იყოს ძალიან სწრაფი და რეაგირებადი. და უმეტესად, ეს მოდელები ცოტა ნელია, თუ უბრალოდ აიღებთ მზა მოდელს, გაავარჯიშებთ და შემდეგ შეეცდებით მის ინტეგრირებას თქვენს აპლიკაციაში. ასე რომ, ბოლო რამდენიმე თვის განმავლობაში, ტრანსფორმერების ბიბლიოთეკაზე ვმუშაობდი ფუნქციონალის უზრუნველყოფაზე, რათა ეს მოდელები ექსპორტირებული იქნას ფორმატში, რომელიც საშუალებას მოგცემთ, მათი გაშვება ბევრად უფრო ეფექტურად განახორციელოთ Hugging Face-ის ხელსაწყოების, ასევე ღია კოდის ეკოსისტემის ზოგადი ხელსაწყოების გამოყენებით. გარკვეულწილად, ტრანსფორმერების ბიბლიოთეკის ფილოსოფია ჰგავს უამრავი კოდის წერას იმისთვის, რომ მომხმარებლებს არ მოუწიოთ ამ კოდის დაწერა. ამ კონკრეტულ მაგალითში, ჩვენ ვსაუბრობთ რაღაცაზე, რასაც ONNX ფორმატი ჰქვია. ეს არის სპეციალური ფორმატი, რომელიც გამოიყენება ინდუსტრიაში, სადაც ძირითადად შეგიძლიათ გქონდეთ PyTorch-ში დაწერილი მოდელი, მაგრამ შემდეგ შეგიძლიათ გადაიყვანოთ ის TensorFlow-ში ან გაუშვათ სპეციალიზებულ აპარატურაზე. და თუ რეალურად შეხედავთ, რა არის საჭირო ამის გასაკეთებლად...