ControlNet, როგორც თანამედროვე ხელსაწყო, მსგავს ფუნქციას ასრულებს და ფართოდ გამოიყენება. თუმცა, მისი გაშვება გამოთვლითად ძვირი შეიძლება იყოს. ეს გამოწვეულია იმით, რომ შებრუნებული დიფუზიის პროცესის ხმაურის შემცირების ყოველ საფეხურზე, საჭიროა როგორც ControlNet-ის, ასევე UNet-ის გაშვება. გარდა ამისა, ControlNet ხაზს უსვამს UNet-ის ენკოდერის საკონტროლო მოდელად კოპირების მნიშვნელობას, რაც პარამეტრების უფრო დიდ რაოდენობას იწვევს. ამგვარად, გენერაციის პროცესი შეფერხებულია ControlNet-ის ზომით (რაც უფრო დიდია, მით უფრო ნელდება პროცესი). ამ საკითხში T2I-ადაპტერები ControlNet-ებს კონკურენტულ უპირატესობას ანიჭებს. T2I-ადაპტერები უფრო მცირე ზომისაა და, ControlNet-ებისგან განსხვავებით, ისინი ხმაურის შემცირების მთელი პროცესის განმავლობაში მხოლოდ ერთხელ მუშაობენ. ბოლო რამდენიმე კვირის განმავლობაში, Diffusers-ის გუნდი და T2I-ადაპტერების ავტორები თანამშრომლობდნენ, რათა Diffusers-ში უზრუნველეყოთ T2I-ადაპტერების მხარდაჭერა Stable Diffusion XL-ისთვის (SDXL). ამ ბლოგპოსტში, ჩვენ გაგიზიარებთ ჩვენს მიგნებებს T2I-ადაპტერების SDXL-ზე ნულიდან გაწვრთნის შესახებ, რამდენიმე მიმზიდველ შედეგს და, რა თქმა უნდა, T2I-ადაპტერის 'ჩექპოინტებს' სხვადასხვა პირობებისთვის (ესკიზი, Canny, ხაზოვანი ნახატი, სიღრმე და OpenPose)! T2I-ადაპტერის წინა ვერსიებთან (SD-1.4/1.5) შედარებით, T2I-Adapter-SDXL კვლავ იყენებს თავდაპირველ მეთოდოლოგიას, რომელიც 2.6 მილიარდიან SDXL-ს 79 მილიონიანი ადაპტერით მართავს! T2I-Adapter-SDXL ინარჩუნებს ძლიერ საკონტროლო შესაძლებლობებს და ამავე დროს SDXL-ის მაღალი ხარისხის გენერაციასაც ითვისებს! ჩვენ ავაშენეთ ჩვენი სავარჯიშო სკრიპტი Diffusers-ის მიერ მოწოდებულ ამ ოფიციალურ მაგალითზე დაყრდნობით. ამ ბლოგპოსტში ნახსენები T2I-ადაპტერის მოდელების უმეტესობა გაწვრთნილია 3 მილიონ მაღალი რეზოლუციის გამოსახულება-ტექსტის წყვილზე LAION-Aesthetics V2-დან შემდეგი პარამეტრებით: ჩვენ ვურჩევთ საზოგადოებას გამოიყენოს ჩვენი სკრიპტები მორგებული და ძლიერი T2I-ადაპტერების გასაწვრთნელად, რაც უზრუნველყოფს კონკურენტულ კომპრომისს სიჩქარეს, მეხსიერებასა და ხარისხს შორის. აქ, T2I-Adapter-SDXL-ის გამოყენების დემონსტრირებისთვის, ხაზოვანი ნახატის პირობას ავიღებთ მაგალითად. დასაწყებად, ჯერ დააინსტალირეთ საჭირო დამოკიდებულებები: T2I-Adapter-SDXL-ის გენერაციის პროცესი ძირითადად შემდეგი ორი ნაბიჯისგან შედგება: მოდით ვნახოთ მარტივი მაგალითი Lineart ადაპტერის გამოყენებით. დასაწყისისთვის, ვახდენთ T2I-Adapter-ის 'პაიპლაინის' ინიციალიზაციას SDXL-ისთვის და ხაზოვანი ნახატის დეტექტორისთვის. შემდეგ, ჩატვირთეთ გამოსახულება ხაზოვანი ნახატის ამოსაცნობად: შემდეგ ვახდენთ გენერაციას: არსებობს ორი მნიშვნელოვანი არგუმენტი, რომლებიც დაგეხმარებათ პირობითობის მოცულობის კონტროლში. adapter_conditioning_scale ეს არგუმენტი აკონტროლებს, თუ რა გავლენა უნდა მოახდინოს პირობითობამ შეყვანილ მონაცემებზე. მაღალი მნიშვნელობები ნიშნავს პირობითობის უფრო მაღალ ეფექტს და პირიქით. adapter_conditioning_factor ეს არგუმენტი აკონტროლებს, გენერაციის რამდენი საწყისი ნაბიჯისთვის უნდა იქნას გამოყენებული პირობითობა. მნიშვნელობა უნდა დაყენდეს 0-დან 1-მდე (ნაგულისხმევია 1). adapter_conditioning_factor=1 მნიშვნელობა ნიშნავს, რომ ადაპტერი უნდა იქნას გამოყენებული ყველა დროის ნაბიჯზე, ხოლო adapter_conditioning_factor=0.5 ნიშნავს, რომ ის გამოყენებული იქნება ნაბიჯების მხოლოდ პირველი 50%-ისთვის. დამატებითი დეტალებისთვის, გირჩევთ გაეცნოთ ოფიციალურ დოკუმენტაციას. T2I-Adapter-SDXL-ის მარტივად მოსინჯვა შეგიძლიათ ამ Space-ში ან ქვემოთ ჩაშენებულ 'ფლეიგრაუნდში': ასევე შეგიძლიათ სცადოთ Doodly, რომელიც შექმნილია ესკიზის მოდელის გამოყენებით და თქვენს ჩანახატებს რეალისტურ გამოსახულებებად აქცევს (ენობრივი ზედამხედველობით): ქვემოთ წარმოგიდგენთ სხვადასხვა ტიპის პირობების გამოყენებით მიღებულ შედეგებს. შედეგებს ასევე ვამატებთ ბმულებს მათი შესაბამისი წინასწარ გაწვრთნილი 'ჩექპოინტების' მიმართ. მათი მოდელის ბარათები შეიცავს დამატებით დეტალებს იმის შესახებ, თუ როგორ გაწვრთნეს ისინი, მაგალითებთან ერთად. მოდელი TencentARC/t2i-adapter-lineart-sdxl-1.0-დან მოდელი TencentARC/t2i-adapter-sketch-sdxl-1.0-დან მოდელი TencentARC/t2i-adapter-canny-sdxl-1.0-დან სიღრმით მართული მოდელები TencentARC/t2i-adapter-depth-midas-sdxl-1.0-დან და TencentARC/t2i-adapter-depth-zoe-sdxl-1.0-დან შესაბამისად მოდელი TencentARC/t2i-adapter-openpose-sdxl-1.0-დან. მადლობა: უდიდესი მადლობა უილიამ ბერმანს მოდელების გაწვრთნაში დახმარებისთვის და მისი გამჭრიახობის გაზიარებისთვის.