Нейромоддинг и нейрогеймдев: на пороге бездны, часть I

•25 февраля 2023 г. в 15:48•6 142•24•30

О нейросетях наверняка лучше всего написали бы сами нейросети. И это не шутка. Но поскольку я все же не хочу пока платить за них, придется трудиться самому. Итак, что мы можем использовать сейчас и что ждет геймдев и моддинг в будущем в эпоху AI?

Предисловие от автора: названий будет много, ссылок мало, если вас что-то заинтересовало, найдется оно легко. Очень не хочется забивать текст горой линков, да и проверять, какие из них доступны сейчас у нас, а какие нет. Прошу прощения так же, что не разжевываю элементарного, текст длинный, разбавлять его водой в духе "что такое нейросеть" не хочется. Будет много видео. Приятного чтения!

М.В. Ломоносов

Открылась бездна, звезд полна
Звездам числа нет, бездне - дна.

нейромоддинг на марше

Начну с нашей любимой темы: собственно, моддинга. Ведь мы, можно сказать, собрались тут изначально ради модов. А для них нейросеть ElevenLabs AI успешно пишет озвучку:

Озвучка Драконорожденного для Skyrim SE (англ.)
Квест о Бабе Яге с генерированной озвучкой (текст русский, озвучка англ.)
Озвучка Дагот Ура для Morrowind (англ.)

На самом деле это вовсе не первая попытка использовать в моддинге силу искусственного интеллекта. Мод Morrowind Enchanced Texures был сделан при помощи самообучающейся системы ESRGAN и получил звание лучшего графического мода еще в 2018 году.

Это только то, что касается модов для нашей горячо любимой TES, остальные игры так же улучшали при помощи AI, это, например, неофициальный ремастер Max Payne, Doom 2 и Resident Evil 4. Использовались инструменты Nvidia Gameworks и AI Gigapixel от Topaz Lab.

Алгоритм CycleGAN был использован для преобразования стиля одной игры в другую при помощи машинного обучения. Автор, работающий для DeepGamingAI, считает, что подобная технология очень полезна для будущего моддинга.

Нейросеть в реальном времени стилизует игру под другую игру

Сами разработчики не отстают: ремастер Mass Effect Legendary Edition был сделан при помощи апскейлинга текстур, произведенного AI. Более тридцати тысяч текстур увеличены примерно в четыре раза по сравнению с исходниками. Разумеется, не без вмешательства людей: некоторые шейдеры AI обработать не мог из-за слишком плохого качества в начале, и их пришлось переписывать.

Дело было в 21 году, а сейчас мир захлестнут волной нейросетей, и я предлагаю вам подумать вот о чем: а далеко ли до момента, когда AI начнет самостоятельно делать вполне качественные и крепкие игры (и моды. конечно)? Не без помощи людей, разумеется, ведь сети отвечают на запросы "кожаных мешков", и самостоятельно подобных желаний не проявляют. Пока.

может ли ai создать игру?

Никто, думаю, не удивится, что попытки создать игру, нажав на кнопочку "создать игру", будут сопровождать эксплуатацию нейросетей, пока у них не начнет получаться. И разумеется, такие попытки уже были.
Финн Юсси-Петтери Кемппайнен пытается сделать видеоигру, используя нейросети Midjourney и Stable Diffusion. Они генерируют изображения по текстовому описанию. База для игры создается при помощи Blender и Unity, а вот концепты, локации, текстуры и даже изображения персонажей генерирует AI. Для удобства такого сотрудничества Кемппайнен выбрал формат 2,5D.

Плоды совместного творчества.

Но у финна опыт в создании игр порядка 20 лет. Вопрос, что будет, если корованы погонять захочет простой юзер или человек с небольшим опытом? Что же, вот видео на русском языке, где автор пытается создать минимальнейшую игрушку на Roblox, используя мощный интеллект сети ChatGPT. Этой сети чуть ли не прочат судьбу убийцы Google, так как она выдает в результате поиска нормальную информацию, а не искусственно поднятые алгоритмами вверх бессмысленные сотни рекламных сайтов и копирайтерских текстов. Иными словами, найти, как именно написать скрипт, она, по идее, должна. Но пока что результат не очень.

Робот, сделай мне игру!

Уверен, рано или поздно сделать игру запросто будет делом недолгой возни. Но пока что рано говорить, что нейросети оставят всех без работы. Предлагаю пока что рассмотреть, что же мы можем сделать для игр в нейросетях?

нейросети работают с графикой (2D, 3D, видео)

Не умеете рисовать, моделировать и делать видео? Какая ерунда, скоро везде появятся знаменитые кнопочки "сделайте мне красиво", предмет стеба преподов графики над новичками. Стеб закончен!

Кроме полезнейших профессиональных инструментов от NVIDIA и TopazLab, сетей множество, самую известную из них, Midjorney, я уже упомянул выше. Ее щупают и разработчики. Эрик Беллефьюлл - арт-директор Ubisoft Montréal - побаловался с сетью, чтобы получить изображения кораблей в стиле стимпанк, и вот что у него вышло:

Пока этот чертеж лишь концепт

Но концепт уже неплохой

Пока с этими чертежами ничего не сделаешь, они больше напоминают бессмысленное нагромождение деталей, но в этом есть какая-то чуждая красота. Главное для нейросетей - их способность обучаться с накоплением опыта. Быть может, однажды Эрик получит в результате роскошные и достойные чертежи.

С момента создания DALL-E в 2021 году (а я напомню, что это одна из первых сетей, генерирующих изображение по описанию), AI расплодился как грибы после дождя.

Нейросети:

делают из портретов людей персонажа аниме: QQ Small World, скажем.
рисуют картины, которые вы можете использовать, как арт: StarreAI, Pixray, Hotpot, ruDALL-E на основе самого первого генератора, обученного русскому языку, совсем уж чудящий абстрактный Dream на базе сетей Google и так далее.
генерируют несуществующих людей, портреты, которые можно без опаски использовать в качестве референсов для персонажей: This Person Does Not Exist, (использующий разработанный компанией Nvidia алгоритм StyleGAN), Artbreeder (на базе StyleGAN и BigGAN) и т.п.
генерируют фотореалистичное изображение из наброска: GauGAN от Nvidia.
улучшают изображение: SuperResolution.
делают из фотографий портреты: Lensa на основе Stable Diffusion.
выделяют и удаляют объекты на фото: Instance segmentation, а еще смешной AI Replace My Ex, заменяющий бывшего на старом фото каким-нибудь левым объектом.
преобразуют и стилизуют изображение: Style Transfer, Pix to Pix, Image-to-image, алгоритм CycleGAN

Это лишь несколько примеров. Разработчики игр и программ могут применять графические таланты нейросетей достаточно широко. Компания Adobe уже встроила сетку в Photoshop и Substance, улучшая алгоритмы обработки и выделения объектов, работы с тенями и текстурами.

Куда же без нее

Пощупайте и подружку

Далеко шагнули и видеотехнологии: от Deepfake, позволяющей имитировать на видео реальных людей (вы можете, скажем, понаблюдать за приключениями президентов в таких роликах на YouTube), до умения исправлять старые ролики, как это делают сети на основе уже упомянутой технологии GAN, например, DeepHD от Яндекса.

Яндекс так же научился переводить видео с английского и генерировать субтитры, так что вы наконец можете расшифровать англоязычное видео, которое не очень понимаете, да еще услышать его в русской озвучке. Проверял лично, очень здорово было смотреть старые ролики заново. Сейчас добавлена и возможность синхронного перевода для стримов. Нужен Яндекс.Браузер.

Сеть Waifu2x в десктопной версии увеличит разрешение. подавит шум и улучшит резкость видео. Доступна в России. Так же можно упомянуть куда более продвинутые Wisecut, Pixop, SuperSloMo, DVDFab Enlarger AI.
Но самое интересное - генерация видео по описанию. Это должна суметь находящаяся в разработке у Meta (запрещена в РФ) сеть Make A Video, которая пока что выдает нечто не очень внятное. Пока что китайская CogVideo справляется куда лучше с реалистичностью, но генерирует коротенькие маленькие ролики. И есть надежда на Imagen Video от комании Google, которая изо всех сил старается не отстать в разработке от остальных.

Немного подождем, и генерировать видео для игр собственной разработки будет уже намного проще.

GDFLab video upscaler увеличивает разрешение и размер видео

И конечно же, сети помогают в генерации 3D-моделей. Эти модели суть сетка, координаты точек, описывающие форму объекта, так что проблем с этим не должно было возникнуть - и не возникло. Как были программы-генераторы моделей, так и остались, зачем же тогда сети?

Конечно же, для генерации по описанию или плоской картинке. Те же авторы DALL-E создали сеть POINT-E, которая сначала генерирует изображение по описанию, а потом преобразует в трехмерный объект. Nvidia в соавторстве со Стэнфордом разработали сеть EG3D, генерирующую точные модели с двухмерного изображения, как и PiFUHD, Dream Fusion AI и так далее, список пополняется.

Именно здесь никаких особых проблем я не жду, разве что на первых порах все придется доделывать за тупыми роботами. Но ведь это дело времени. Есть и сети, которые помогают моделлерам по-другому. Скажем, занятная PoseNet анализирует движение человека, его суставы, скелет и ключевые точки, облегчая задачу этого анализа аниматорам. Сеть Vibe при этом еще генерирует точный силуэт. PRNet выполняет построение модели лица после сканирования. А нейронная сеть Occupancy Network не только генерирует объекты, но и улучшает существующие модели (правда, пока что простые).

Как уже стало ясно из этого материала, с графикой не будет особых заморочек. Если вы пожелаете делать концепты для игры - вы их сделаете. Портреты реалистичных персонажей не будут вызывать стеб, как над BioWare, где взяли первое попавшееся лицо из Google для проекта Andromeda. Текстуры, модели - все это в недалеком будущем почти перестанет вызывать заторы в работе. Но это еще не все, что нужно для игры.

Так что продолжение следует: в следующей части мы разберемся с музыкой, текстами и программированием! Поделитесь своим опытом столкновения с AI и нейросетями. Удалось сделать что-нибудь интересное?

Все новости

Комментарии (30)

Отображать:

Ilver•22 мар. 2023 г., 05:32#

Lord RZ, пробовал, вариант 2 - диалоги для неписей:
habr.com/ru/news/t/723990

Svetoslav14•22 мар. 2023 г., 05:11#

Ilver, ну японцы - известные любители подобных "интересных моментов". Фантазия у самураев бога-а-атая. ))

Ilver•22 мар. 2023 г., 04:55#

AlexandrYasenev, Лунная Призма, дай мне коммунизму! (с)

Ilver•22 мар. 2023 г., 04:54#

Svetoslav14, не понял, что за 4 базы и при чем тут острова в Японском море?

Svetoslav14•22 мар. 2023 г., 02:50#

Lord RZ,

Цитата:

Конечно, надо быть Перумовым, но оно и понятно, что люди не будут тратить деньги на что попало.

Как по мне, так взаимоисключающие параграфы. )) (Впрочем, мнение сугубо личное. Ведь собрал же. Как там... "Миллионы мух не могут ошибаться")))

Svetoslav14•22 мар. 2023 г., 02:47#

Ilver, четыре базы этой армии уже предвижу (Хоккайдо, Хонсю etc))))

Lord RZ•6 мар. 2023 г., 17:04#

StarterBA, я не забыл, я просто физически не могу найти все, а его много)) вот и прошу делиться в комментах. Спасибо!

StarterBA•6 мар. 2023 г., 13:50#

Забыли про EtherDynamics youtube.com/watch?v=_ziIVfwUXLk. У него есть Enhanced AI Framework и Organic Factions, благодаря чему появились фракции, которые развиваются сами, сражаются с другими фракциями, организуют осады Маркарта. AI Director может автоматически регулировать сложность, добавляя более сильных врагов или убирая их если считает , что игроку легко/сложно, также может экспортировать данные для анализа и машинного обучения. В общем, он считает, что будущее ИИ и моддинга еще впереди!

Nikett•3 мар. 2023 г., 13:57#

Для стелариса уже делают портреты рас с помощью нейросети, сам собираюсь попробовать.

Даэдра•2 мар. 2023 г., 16:20#

Хорошая статья.
Последнее время эта тема, кажется, из каждого "утюга" звучит.))
Мне стало любопытно, что это и правда ли оно для чего-то годно. Посмотрела несколько бесплатных уроков вконтакте.
Попробовала сама в Плейграунд сгенерировать персонажа своего романа. Такая дичь выходила.)))
Забавно, но то, что хотелось, именно так, как я вижу это в своем воображение получить не удалось.
Ну, да, было несколько почти годных вариантов, не считая кривых лиц и кистей рук. Но пока что, годноты не выходит.
Хотелось бы найти способ сгенерировать мой текст разным голосами его героев. Не знаю, возможно ли это без участия людей мастеров озвучки. Так что пока, это как баловство воспринимаю.

Lord RZ•2 мар. 2023 г., 07:24#

AlexandrYasenev, DVD это не произведение искусства, а формат хранения данных, поэтому я не понял, зачем вмешивать его в кучу. И поддержка творчества донатами - это формат. Перумов тот же написал роман, предварительно собрав всю нужную сумму краудфандингом, по мне, отличное решение, ни копейки не потерял. Конечно, надо быть Перумовым, но оно и понятно, что люди не будут тратить деньги на что попало.

Drazgar•1 мар. 2023 г., 19:46#

Цитата:

продажа DVD умерла полностью

Да, умерла так, что даже у нас тут с "перекрытием потоков" маркетплейсы типа Озона наводнились пиратскими фильмами (в том числе неизданным ранее), причём не на DVD, а на блюреях.
А на загнивающем Западе достаточно зайти на любой Амазон в раздел "DVD & Blu-ray" и посмотреть, как там всё полностью умерло.

Darkenral•1 мар. 2023 г., 16:30#

Озвучку Довакина от Алисы, а лучше от Маруси бы. Данные голосовые боты уже отлично озвучивают английские видео и статьи.

AlexandrYasenev•1 мар. 2023 г., 16:09#

Lord RZ,
Ну, строго говоря, продажа DVD умерла полностью. Доходы литераторов сократились. Постепенно совершается переход от рыночной продажи результатов творчества к поддержке творчества донатами.

Lord RZ•1 мар. 2023 г., 15:55#

AlexandrYasenev, умение рисовать сейчас доступно, как никогда, а художники все еще зарабатывают, зарабатывают киношники, порнушники, цирк, театр, литература и все виды искусства, которым прочили смерть. С играми будет то же самое.

Deska•1 мар. 2023 г., 15:21#

Великолепная статья, и очень актуальная!
А сама описанная проблема навевает ассоциации с появлением фотографии. Сначала аппаратура была невероятно громоздкая, тяжелая, сложная и, наверное, очень дорогая. Процесс требовал колоссальных усилий. Но проходило время, и появлялись более простые фотоаппараты. А главное, более доступные. И сейчас даже ребенок на смартфон нащелкает таких фото (особенно при использовании всяких режимов и фильтров), которые в 19 веке были бы шедевром невероятным. А компьютеры... Сначала они были огромные, размером со шкаф, и считалось, что это очень сложная техника для ученых или инженеров. Но посмотрите, как изменился мир.
Разве появление крутых смартфонов уничтожило профессию фотографа? Или доступность и вычислительные способности машин убили науку? Ничего подобного!
Возможно, ИИ в итоге сильно изменят мир и процесс создания игр. Но думается, все равно главным в этом процессе будет человек. Если ИИ, конечно, все-таки не восстанет :)

AlexandrYasenev•1 мар. 2023 г., 07:33#

но пока что рано говорить, что нейросети оставят всех без работы.

Всех-не всех, но профессиональному геймдеву в перспективе точно конец. Когда творчество доступно каждому, его невозможно монетизировать.

2023-03-01_13-54-36.png.png

Lord RZ•28 февр. 2023 г., 00:45#

Атомный Белый, это было именно мое чувство, когда я погрузился в тему, прямо первое, что в голову пришло)) что я потянул за краешек, а открылось...

Noinikaido•27 февр. 2023 г., 15:23#

Lord RZ, пример Ai youtube.com/watch?v=F2y2bIlfbfI&ab_channel=noisia twitter.com/DealsHole/status/1630270137545764867

Атомный Белый•27 февр. 2023 г., 07:23#

Цитата:

Открылась бездна звезд полна; Звездам числа нет, бездне дна.

это, кстати, лучшие нуминозные стихи во всей истории прошлого и будущего вселенной (я проверял). как заглавие или эпиграф в статьях по космическому сайфаю всегда мурашит, там смотрится как влитое.

Ewlar•27 февр. 2023 г., 06:13#

ZEYGEN, даже известно, к чему.

Ewlar•27 февр. 2023 г., 06:12#

Hangman, сам может сделать из себя аниме-персонажа ;)

Ilver•27 февр. 2023 г., 05:58#

katkat74, 0_o Это очень плохая идея. Потому что нейросети начнут генерить новое порно из того, что уже есть. Причем нейросеть не будет делать разницы между видео и 3d графикой. А сейчас в 3d графике миллионы роликов, подавляющее количество из которых - это футы и монстры. В результате в самый интересный момент герои могут неприятно изменится: у женщины появиться член, а мужчина станет чем-то вроде гоблина или зомбака! Хуже другое: у такого порно тут же появиться армия поклонников-извращенцев...

katkat74•27 февр. 2023 г., 01:53#

Ну щас порно научиться генерировать и заживем! А без шуток пока это все микшевание всего и со всем. Недавно юзала несколько для создания интерьеров. Ну такая хрень на выходе, что продуктивнее погуглить.

ZEYGEN•26 февр. 2023 г., 18:50#

С одной стороны вроде всё здорово, НО с другой стороны когда чего-то слишком много, оно легоко и доступно, то это неизбежно приводт к сами знаете чему (￢_￢)

Обзор на мой любимый Морровинд от AI О_о