ვებგვერდის დიზაინის ან ეკრანის ანაბეჭდის HTML კოდში გადაქცევა, როგორც წესი, გამოცდილ დეველოპერს მოითხოვს. მაგრამ რა მოხდებოდა, ეს პროცესი უფრო ეფექტური რომ ყოფილიყო? ამ კითხვით მოტივირებულებმა, ჩვენ გამოვიკვლიეთ, როგორ შეიძლება ვიზუალური ენის მოდელების (VLMs) გამოყენება ვებ-დეველოპმენტში დაბალი კოდის გადაწყვეტილებების შესაქმნელად, რომლებიც ეფექტურობას გააუმჯობესებენ. დღეს ამ მიზნის მიღწევის მთავარი გამოწვევაა მაღალი ხარისხის მონაცემთა ბაზების ნაკლებობა, რომლებიც ამ ამოცანისთვის იქნებოდა მორგებული. WebSight ამ ხარვეზის შევსებას ისახავს მიზნად. 2024 წლის იანვარში ჩვენ წარვადგინეთ WebSight-v0.1, სინთეზური მონაცემთა ბაზა, რომელიც შედგება 823,000 წყვილი HTML კოდისა და მათი შესაბამისი ეკრანის ანაბეჭდებისგან. ეს მონაცემთა ბაზა შექმნილია იმისთვის, რომ მოამზადოს ხელოვნური ინტელექტის მოდელები ვიზუალური ვებ-დიზაინის დასამუშავებლად და ფუნქციურ HTML კოდში სათარგმნელად. სინთეზურ მონაცემებზე ფოკუსირებით, ჩვენ შევძელით თავიდან აგვეცილებინა ის ხარვეზები და სირთულეები, რომლებიც ხშირად გვხვდება რეალურ HTML-ში, რაც ხელოვნური ინტელექტის მოდელებს საშუალებას აძლევს ეფექტურად ისწავლონ. ჩვენი საწყისი გამოშვების შემდეგ და საზოგადოების გამოხმაურების გათვალისწინებით, ჩვენ განვაახლეთ ჩვენი მონაცემთა ბაზა WebSight-v0.2-მდე, დავნერგეთ მნიშვნელოვანი გაუმჯობესებები. ეს გაუმჯობესებები მოიცავს რეალური გამოსახულებების გამოყენებას ეკრანის ანაბეჭდებში და Tailwind CSS-ზე გადასვლას (ტრადიციული CSS-ის ნაცვლად). ჩვენ ასევე გავზარდეთ მონაცემთა ბაზა 2 მილიონ მაგალითამდე. WebSight მონაცემთა ბაზის გამოყენებით, ჩვენ დავხვეწეთ ჩვენი მომავალი ფუნდამენტური ვიზუალური ენის მოდელი, რათა მიგვეღო Sightseer – მოდელი, რომელსაც შეუძლია ვებგვერდის ეკრანის ანაბეჭდების ფუნქციურ HTML კოდში გადაქცევა. Sightseer დამატებით აჩვენებს სურათების გენერირებულ HTML-ში ჩართვის უნარს, რომლებიც ზუსტად ემსგავსება ორიგინალურ ეკრანის ანაბეჭდებში მოცემულ სურათებს. WebSight-ზე მუშაობის გაგრძელებით, ჩვენი მიზანია შევქმნათ უფრო ქმედითი ხელოვნური ინტელექტის სისტემები, რომლებიც ამარტივებენ UI დიზაინის ფუნქციურ კოდში გადაქცევის პროცესს. ამან შეიძლება შეამციროს დეველოპერებისთვის გამეორების დრო ქაღალდის UI ესკიზის ფუნქციურ კოდში სწრაფად გადაქცევით, ამავდროულად ამ პროცესს უფრო ხელმისაწვდომს ხდის არადეველოპერებისთვის. ეს არის ვიზუალური ენის მოდელების მრავალი რეალური აპლიკაციიდან ერთ-ერთი. WebSight-ის ღია კოდის გახდით, ჩვენ მოვუწოდებთ საზოგადოებას, იმუშაოს ჩვენთან ერთად UI დეველოპმენტისთვის უფრო მძლავრი ხელსაწყოების შესაქმნელად.