Как затащить обломки китайского ИИ-пузыря к себе в серверную и не разориться
В Китае лопнул очередной технологический пузырь. Региональные дата-центры, построенные на кредитные миллиарды ради красивых отчетов перед партией, дружно идут ко дну. Лизинговые компании выбивают долги через суды, а приставы выставляют имущество обанкротившихся облачных стартапов на молоток.
У любого нормального технаря, который крутит у себя локальные модели и устал платить за чужие API, в этот момент загораются глаза. Кажется, что сейчас на рынок хлынет лавина дешевых видеокарт, как это было после криптозимы. Покупай стойки на торгах за треть цены, ставь в угол, накатывай поверх квантованные модели и наслаждайся бесплатным корпоративным интеллектом внутри своего контура.
Но если заглянуть под капот китайских судебных аукционов и почитать, о чем плачут инженеры на профильных ветках Реддита, картина оказывается куда прозаичнее и одновременно интереснее.
Почему не стоит ждать дешевых видеокарт на развес
Первое, о чем нужно забыть — это мечта урвать с банкротных торгов свежие ускорители Nvidia за копейки. В Китае они стоят в три раза дороже, чем на Западе. Ирония в том, что пока государственные дата-центры банкротятся из-за простоев, частные китайские компании пылесосят весь мировой рынок, скупая геймерские пятитысячные карты по десять тысяч долларов за штуку, чтобы перепаять их под свои нужды. Поток живых видеокарт идет в Китай, а не из него. Если у лопнувшего оператора и было что-то приличное от зеленых, это забирают свои же по закрытым каналам задолго до того, как лот появится на сайте суда.
А что тогда доходит до открытых торгов на площадках вроде Таобао и ДжейДи? Туда попадает то, от чего отказались сами китайцы.
Во-первых, это отечественные китайские чипы. Выглядят солидно, стоят в красивых стойках, но попытка запустить на них привычный стек для локального инференса закончится нервным срывом. Там нет привычной экосистемы CUDA, документация написана на суровом техническом китайском, а стандартные движки на них просто не заводятся. За пределами Китая это не вычислительный узел, а очень дорогой кирпич.
Во-вторых, это серверные платы специфического форм-фактора с пассивным охлаждением. На Реддите сейчас регулярно высмеивают оптимистов, которые думают, что карту из дата-центра можно просто воткнуть в домашний или офисный сервер. Без продувных серверных вентиляторов, которые воют как истребитель на взлете и гонят поток воздуха на пятнадцати тысячах оборотов, такая плата сгорит через минуту после запуска.
В-третьих, это китайские франкенштейны — старые геймерские карты с кустарно перепаянной памятью и турбинными кулерами. Они год крутились в режиме двадцать четыре на семь в сомнительных условиях, и к моменту изъятия приставами чипы памяти там уже наполовину мертвы от перегрева. Покупать такое на судебном аукционе без проверки — чистая лотерея, где выигрывает только организатор торгов.
Трюк с квантованием: почему нам вообще плевать на топовые чипы
И вот тут начинается самое интересное. Если ваша цель — не обучать с нуля очередного убийцу всех нейросетей, сжигая мегаватты электричества, а просто крутить у себя готовые квантованные модели с открытыми весами для рабочих задач, то вся эта драма с дефицитными видеокартами вас вообще не должна волновать.
Обучение модели упирается в дикую вычислительную мощь и сверхбыструю связь между сотнями чипов. А вот инференс квантованной модели упирается в совершенно другие вещи: в объем памяти и в пропускную способность этой самой памяти. Когда модель ужата до четырех или восьми бит, ей не нужны космические терафлопсы новейших ускорителей. Ей нужно просто поместиться в память целиком и достаточно быстро отдавать веса процессору, чтобы текст генерировался со скоростью чтения человека, а не по одному слову в минуту.
Именно поэтому на западных форумах энтузиасты локального запуска смотрят на китайский обвал совсем под другим углом. Пока гиганты вроде Тенсент брезгуют местными дата-центрами и арендуют сто тысяч топовых чипов за границей, для малого и среднего бизнеса открывается отличное окно возможностей в сегменте обычного серверного железа.
Что реально стоит вытаскивать с китайских торгов под локальный инференс
Вся судебная распродажа в Китае крутится вокруг трех больших площадок: судебного раздела Таобао, аукционов ДжейДи и государственного реестра судебных активов. Механика там простая и безжалостная: если в первом раунде лот со скидкой тридцать процентов никто не забрал, во втором раунде цену режут уже больше чем наполовину от рынка. А не забирают такие лоты часто, потому что суды любят сваливать все в одну кучу: десяток серверных стоек, систему охлаждения и тридцать офисных стульев в придачу. Самовывоз со склада в условном Шанхае, гарантий ноль.
Случайные люди туда не лезут, зато вокруг этих торгов в Шэньчжэне и Гонконге выросла целая индустрия брокеров. Они выкупают эти братские могилы железа, привозят к себе на стенды, отбраковывают мертвые блоки питания и битую память, а живое железо продают дальше.
И если не гоняться за призрачными видеокартами, то на этих распродажах сейчас можно за копейки собрать идеальную базу под собственный инференс-сервер.
Первая цель — это двухсокетные серверные платформы от местных гигантов вроде Инспур или АшТриСи на базе свежих серверных процессоров с кучей каналов памяти, и сами планки серверной памяти стандарта ДДР5. Для современных движков гибридного инференса и моделей с архитектурой смеси экспертов, где при каждом запросе работает только малая часть параметров, сервер с полутора терабайтами быстрой многоканальной оперативной памяти оказывается невероятно живучим решением. Да, он будет выдавать токены чуть медленнее, чем стойка за миллион долларов, но для внутренних корпоративных агентов, обработки документов, парсинга и фоновых задач этой скорости хватит с головой. А главное — в такую память влезает вообще любая тяжелая модель, которую вы никогда в жизни не запихнете в обычные видеокарты.
Вторая цель — это корпоративные твердотельные накопители большого объема и сетевая обвязка, которые при ликвидации стартапов идут практически на вес. Быстрая подгрузка весов модели с диска и надежное хранилище под векторные базы данных стоят на вторичном рынке Китая ровно столько, сколько за них готовы дать перекупщики лома.
Третья история — это старая гвардия ускорителей прошлых поколений со стандартным разъемом, которые не попали под жесткий экспортный контроль или уже давно списаны крупными облаками. Для обучения они безнадежно устарели, поэтому крупные игроки сливают их без сожаления. Но чтобы поднять у себя квантованную модель на тридцать или семьдесят миллиардов параметров, пара таких старичков в связке с хорошей серверной тушкой работает ничуть не хуже модных новинок.
Сухой остаток
Китайские чиновники и горе-инвесторы устроили себе образцово-показательный кризис: накупили в лизинг оборудования, не подумав, кто и зачем будет на нем работать. Но прелесть открытых моделей и современного софта для инференса в том, что они всеядны. То, что для венчурного фонда с миллиардными долгами выглядит как неликвидный мусор и финансовая катастрофа, для прагматичного архитектора оказывается отличным донором дешевой памяти, серверных корпусов и процессорных мощностей. Главное — не покупать с торгов чужие мечты о технологическом величии, а забирать только те железки, которые умеют молча и дешево перемалывать токены в вашей собственной серверной.