Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Все, что не подходит под определение "старого софта и железа", обсуждается здесь
falanger
Advanced Member
Сообщения: 2626
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 24.09.2025,21:46

Проект воскрес месяц назад. В боксы Nvidia Tesla S2050 Server отлично встают после снятия пластикового кожуха с кулером карты Palit RTX 3060 StormX 13Gb. У них достаточно тонкий радиатор системы охлаждения у которого ребра расположены вдоль карты. Шины 16х 2.0 оказалось достаточно для загрузки в карты слоев нейросети.
Главная удача - что Кобольд который собственно и запускает нейросеть имеет официальную ветку под старые процессоры с AVX1, такие как мои Xeon E5-2650L V2.
На сервере с пока одной видеокартой в боксе успешно запущена сеть 24б, правда пока всего 10 слоев, надо наращивать число карт. так-же успешно запущен сервер локального перевода на нейросети крутящейся на процессорах, современные нейронки понимают русский, но вывод идет на английском и поднята для них локальная трансляция.
В планах поднять на нем-же приватный сервер WoW с ботами под управлением ollama. Буду наращивать количество карт, потом надо будет 512 Гб памяти и увеличить дисковый массив. Так же надо поднимать генерацию изображения и видео, распознание видео, может получится завести сеть пишущую код.

falanger
Advanced Member
Сообщения: 2626
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 10.10.2025,16:40

Дело постепенно двигается. Приватный сервер World of Warcraft Lich King на ядре AzerothCore работает. Даже сделали внешний шлюз через VPN для узкого круга друзей. Сейчас разбираемся и настраивает SillyTaver со всеми актуальными плагинами и буду постепенно наращивать поголовье GPU.
Надо не только чат-боты настроить, но и генерацию картинок, распознавание картинок, генерацию видео, распознавание речи и генерацию голоса, надо разбираться как запускать ассистента программирования, а не просто чат-болталку...

falanger
Advanced Member
Сообщения: 2626
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 11.10.2025,22:10

FTP на Ubuntu 22.04 адский глючный, сегодня подняли на сервере Самбу с шарой доступной по локалке. Начал туда постепенно выселять архив видео с жесткого диска ноутбука. Доступно все по локалке с любого устройства и с хорошей надежностью, большей чем у одиночного ноутбучного диска.

Вот такой вот Деревенский Киберпанк. Живу практический как в Кибердеревне... :biggrin:

falanger
Advanced Member
Сообщения: 2626
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 14.11.2025,15:01

Доехала вторая Palit RTX 3060 StormX 12 Gb. Откручивать лишнее и имплантировать в GPU-бокс буду завтра. Сегодня ночная смена, надо поспать. По результатам отпишусь.

falanger
Advanced Member
Сообщения: 2626
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 15.11.2025,20:08

Открутил от карты все лишнее, установил в бокс для GPU - работает. 24б сетка на паре карт у которой загружено около половины слоев + 20К контекста - 3 токена в секунду. На одной карте - менее 1 токена в секунду.
Будет три карты, все слои сетки и контекст будут в памяти карт и латентность шины PCI-E 16x 2.0 будет сказываться минимально. Сейчас карты гоняют активно данные через шину что конечно все замедляет.
В прочем когда у меня было две карты в системе со слотами 8х 4.0 - дело было не сильно лучше. Именно потому что не все слои сетки влезали в видеопамять.

falanger
Advanced Member
Сообщения: 2626
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 22.11.2025,09:09

Снял как раз видео как оно выглядит в живую.

Надо было добавить на карты упоры-амортизаторы из жесткого поролона которые я наклеиваю на двухсторонний скотч 3М чтобы они были в боксе в правильном положении.

falanger
Advanced Member
Сообщения: 2626
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 26.11.2025,18:46

Сегодня выяснил, что платы видеокарт Palit RTX 3060 StormX 12 Gb и Palit RTX 3060 DUAL 12 Gb - одинаковые. Отличия сугубо в системе охлаждения и может быть - прошивке. Но конструкция радиатора двухкулерной карты не подходит для использования в моих 1U боксах с продольной вдоль карт продувкой и им подобных.
Вот собственно пруфы:
https://www.ixbt.com/3dv/palit-geforce- ... eview.html
https://www.ixbt.com/3dv/palit-geforce- ... eview.html
Зато теперь знаю какие карты можно использовать как "доноры" плат для своей системы если вдруг какая-то откиснет в процессе работы.

falanger
Advanced Member
Сообщения: 2626
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 01.12.2025,17:52

https://habr.com/ru/articles/520996/ Очень полезная статья про выбор GPU для частного проекта под нейросети.
Мой выбор RTX 3060 12 Gb вполне годен, внешние боксы для GPU с 16х 2.0 шиной которая равна 8х 3.0 и 4х 4.0 по пропускной способности - вполне хорошее решение для системы на 4-8 GPU.

falanger
Advanced Member
Сообщения: 2626
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 06.12.2025,15:59

Недавно раскопал, что мои боксы Nvidia Tesla S2050 server с картами-интерфейсами Nvidia Tesla P797-HIC - практический одно и то-же, что системы NVIDIA Quadro Plex S4 еще 2008-го года. Кстати, в lspci Ubuntu 22.04 они именно так и определяются:
PCI bridge: NVIDIA Corporation NF200 PCIe 2.0 switch for Quadro Plex S4 / Tesla S870 / ...

Кому интересно, ссылки на описание Quadro Plex.
https://www.nvidia.cn/docs/IO/40049/DI- ... 01_v01.pdf
https://www.nvidia.com/docs/CP/26962/OSC.pdf
Про NF200.
https://www.xtechx.ru/c40-visokotehnolo ... ontroller/
https://envytools.readthedocs.io/en/lat ... .html#br04

Заодно снял радиатор в одной из двух "запасных" P797-HIC. Под ним только один чип NVIDIA BR04-300-A3 - коммутатор PCI Express 2.0 16x. Это собственно и есть NVIDIA nf200 = NVIDIA BR04.

falanger
Advanced Member
Сообщения: 2626
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 06.12.2025,18:58

Обзор на материнку сервера https://byurrer.ru/asus-z9pe-d16-2l
Описание https://www.nix.ru/autocatalog/motherbo ... 44177.html
Из важного - режим работы 16х слотов - 0-16-16-16-16-8 или 8-8-16-16-16-8.
У меня конфигурация первая - карты P797 стоят в 0-Р-Р-Р-Р-0 и в последний 8х слот влез переходник PCI-E 4x to NVMe M,2 SSD между последней Р797 и ASUS PIKE 2008. M2 SSD туда конечно придется ставить без радиатора, но хватит какого-нибудь 3x 3.0 на 500-1000 Gb чтобы с него быстро грузить все связанное с нейронками.

В принципе можно на этот M2 SSD поставить и Ubuntu, но тогда /BOOT раздел надо ставить на USB флешку во внутреннем разъеме сервера и настраивать чтобы система всегда стартовала с нее, а потом подхватывался основной Ext4 на SSD. Напрямую с NVMe грузиться старый BIOS не умеет, а курочить его пытаясь вставить загрузку я не хочу, это все-таки сервер.

falanger
Advanced Member
Сообщения: 2626
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 07.12.2025,22:30

Мой переходник PCI-E to NVMe вот такой, хорошо встал в 2U сервер.
http://www.efxi.ru/more/asus_hyper_m2_x4.html

Немного про NVMe SSD на старых платах.
https://habr.com/ru/articles/472224/

Возможно стоит поискать NVMe SSD Samsung 950 PRO который умеет прикидываться Legacy-устройством благодаря встроенному доп-ПЗУ, но где такой сейчас найдешь новый...
https://3dnews.ru/922203/obzor-ssdnakop ... viy-uroven

Ответить