Nvidia współpracuje z biblioteką zasobów Shutterstock w celu stworzenia nowych narzędzi opartych na sztucznej inteligencji, które umożliwią użytkownikom generowanie niestandardowych modeli 3D wpisując po prostu opisy tekstowe.
Funkcje przetwarzania tekstu na 3D zostaną dodane do pakietu aplikacji AI Creative Flow firmy Shutterstock i będą również dostępne na stronie internetowej TurboSquid należącej do Shutterstock . Nvidia nawiązała także współpracę z Adobe i Getty Images w celu stworzenia nowych modeli zamiany tekstu na obraz i tekstu na wideo na potrzeby uruchomienia Nvidia Picasso, nowej usługi w chmurze służącej do tworzenia generatywnych narzędzi sztucznej inteligencji. Ogłoszenia ogłoszono podczas targów GTC 2023 , wraz z sześcioma nowymi profesjonalnymi procesorami graficznymi RTX opartymi na architekturze Ada Lovelace firmy Nvidia oraz aktualizacjami Omniverse.
W rozmowie z CG Channel przed premierą, wiceprezes Shutterstock ds. innowacji 3D, Dade Orgeron, opisał tworzenie modeli 3D o jakości produkcyjnej na podstawie podpowiedzi tekstowych jako „Święty Graal”. generatywnych narzędzi artystycznych AI. Istniejące narzędzia eksperymentalne, takie jak DreamFusion firmy Google i Magic3D firmy Nvidia, mogą generować modele 3D na podstawie opisów tekstowych, ale ich wyniki są stosunkowo niskiej jakości. Orgeron powiedział nam, że w ostatnich miesiącach nastąpił „spektakularny skok naprzód” w poziomie szczegółowości generowanych modeli 3D, a obecne modele AI są „fenomenalne” w porównaniu do tych tworzonych nawet rok temu.
Firma Shutterstock spodziewa się, że w momencie jej uruchomienia nowa usługa zamiany tekstu na 3D będzie generować modele 3D o jakości odpowiedniej do niewymagającej pracy hobbystycznej lub jako podstawa, którą można udoskonalić ręcznie na potrzeby projektów komercyjnych. Przetwarzanie odbywa się online i oczekuje się, że zajmie około 15 minut na model. Początkowo oczekuje się, że usługa będzie generować pojedyncze siatki z pojedynczymi teksturami, chociaż w przyszłości możliwe stanie się generowanie bardziej złożonych modeli wieloczęściowych. Najprawdopodobniej jego początkowym zastosowaniem będzie tworzenie treści dla industrial digital twins, odtwarzanie obiektów ze świata rzeczywistego, takich jak maszyny, budynki i samochody, ale Shutterstock spodziewa się, że w przyszłości zostanie ono wykorzystane dla rozwiązań entertainment.
Podstawowe modele sztucznej inteligencji będą szkolone w oparciu o zasoby z TurboSquid , internetowego marketplace nabytego przez Shutterstock w 2021 r. i który obecnie obejmuje ponad 1,5 miliona modeli 3D. Wykorzystywanie prac artystów do szkolenia narzędzi sztucznej inteligencji jest kwestią sporną, mimo że są już bezpłatne narzędzia mające na celu zapobieganie nieuprawnionemu wykorzystywaniu obrazów do uczenia „nieetycznych” modeli sztucznej inteligencji. Shutterstock opisuje swoją własną politykę – wprowadzoną po współpracy z deweloperem DALL-E OpenAI w celu stworzenia internetowego generatora zamiany tekstu na obraz – jako „odpowiedzialną sztuczną inteligencję”. Artyści mogą zrezygnować z uwzględniania ich treści w zbiorach danych szkoleniowych AI, chociaż Shutterstock powiedział nam, że tylko około 10% jego użytkowników zrobiło to od czasu dodania tej opcji do ustawień konta w zeszłym miesiącu. Ci, którzy nie zrezygnują, otrzymują wynagrodzenie za korzystanie ze swoich aktywów , a płatności dokonywane są co sześć miesięcy. Shutterstock nie opublikował szczegółowych informacji na temat sposobu obliczania zarobków. Orgeron powiedział CG Channel, że wartość modelu 3D dla zbioru danych szkoleniowych zależy od wielu czynników, w tym od jakości siatki, sposobu nazywania części i tego, jak dobrze reprezentowane są materiały.
Posunięcie to ma znaczenie dla rozwoju narzędzi AI do generowania treści 3D, a nie obrazów 2D. Po zeszłorocznej fali nowych aplikacji do przetwarzania tekstu na obraz, Google zidentyfikował brak wielkoskalowych oznakowanych zbiorów danych zawierających zasoby 3D do szkolenia modeli sztucznej inteligencji jako główną przeszkodę w opracowywaniu równoważnych narzędzi do przetwarzania tekstu na obraz 3D . Możliwość trenowania modeli sztucznej inteligencji na zasobach z rynków internetowych, takich jak TurboSquid, usuwa tę przeszkodę. W tym przypadku stanowisko Shutterstock i TurboSquid w sprawie generatywnej sztucznej inteligencji różni się od stanowiska innych rynków internetowych, przy czym Sketchfab wyraźnie wykluczył wykorzystanie treści swoich użytkowników do uczenia modeli sztucznej inteligencji. Orgeron powiedział CG Channel, że „największym celem Shutterstock [jest] umożliwienie twórcom” skorzystania z usługi w celu generowania siatek podstawowych, w celu ręcznego udoskonalenia, komentując, że popyt na treści 3D w projektach komercyjnych przewyższa tempo, w jakim można je stworzony od podstaw.
Usługa Shutterstock zamiany tekstu na 3D jest opracowywana przy użyciu Picasso, nowej opartej na chmurze platformy Nvidia do tworzenia i wdrażania generatywnych narzędzi AI, ogłoszonej również na GTC 2023. Picasso jest skierowany raczej do programistów niż do użytkowników końcowych, a usługi są udostępniane za pośrednictwem partnerów Nvidii.
Oprócz Shutterstock, Nvidia nawiązała współpracę z Getty Images w celu opracowania nowych modeli zamiany tekstu na obraz i tekstu na wideo bazujących na jej obrazach stockowych, a także rozszerzyła istniejącą współpracę z firmą Adobe.
Oczekuje się, że nowe możliwości zamiany text-to-3D w Shutterstock i TurboSquid wejdą do wersji beta w „czwartym kwartale 2023 r.”. W serwisie Shutterstock będą one dostępne za pośrednictwem pakietu aplikacji Creative Flow. Subskrypcje kosztują 12,99 USD miesięcznie.
