«Торрент для запуска ИИ»: вышла утилита для распределённого запуска ИИ-моделей на любом оборудовании

Большие языковые модели искусственного интеллекта требуют значительных ресурсов не только при обучении, но и при запуске — необходимы существенные объёмы оперативной памяти и мощные графические процессоры. Альтернативу предложили создатели Exo — бесплатной программы для распределённого запуска ИИ на нескольких устройствах. Почти как торренты, только для запуска ИИ.


Приложение позволяет объединять вычислительные ресурсы нескольких компьютеров, смартфонов и даже одноплатных компьютеров, в том числе Raspberry Pi, для запуска моделей, с которыми ни одна из имеющихся в распоряжении пользователя систем не справилась бы самостоятельно. Ресурсы устройств объединяются по одноранговой сети.

Exo динамически распределяет нагрузку, создаваемую большой языковой моделью, по доступным в сети устройствам, размещая её слои, исходя из доступного объёма оперативной памяти и имеющейся вычислительной мощности. Поддерживаются LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Программа устанавливается на устройства под управлением Linux, macOS, Android или iOS — версии под Windows пока нет. Для работы Exo требуется минимальная версия Python 3.12.0 и, в случае машин под Linux с графикой Nvidia, ряд других компонентов.

Модель ИИ, требующую 16 Гбайт оперативной памяти, можно запустить на двух ноутбуках с 8 Гбайт на каждом; а мощную DeepSeek R1, которой нужны 1,3 Тбайт памяти, в теории можно запустить на кластере из 170 Raspberry Pi 5 с 8 Гбайт. Скорость сети и задержка могут снизить качество работы модели, и разработчики Exo предупреждают, что устройства небольшой производительности способны замедлить ИИ, но с каждым добавленным в сети устройством общая производительность увеличивается. Нельзя также забывать об угрозах безопасности, которые неизбежно возникают при совместном выполнении рабочих нагрузок на нескольких машинах. И даже с учётом этих оговорок Exo представляется перспективной альтернативой облачным ресурсам.

Источник

Скайнет?

Вооот - теперь вместо майнинга будут вирусы использовать твой комп для просчета задач ИИ

sayrus_kub писал(а):

Скайнет?

Хуже. Пророк.

sayrus_kub писал(а):

Скайнет?

Magic Gooddy просто подрос.

Dmitriy_sav писал(а):

Вооот - теперь вместо майнинга будут вирусы использовать твой комп для просчета задач ИИ

а ты думаешь для каких таких целей и использовался майнинг?

rr11rr22rr писал(а):

Хуже. Пророк.

чего это хуже? с современными политиками, регулярно толкающими мир на грань ядерной катастрофы, Deus ex machina был бы весьма неплохим решением.

skytear писал(а):

чего это хуже? с современными политиками, регулярно толкающими мир на грань ядерной катастрофы, Deus ex machina был бы весьма неплохим решением.

Зачем современному политику конкурент в виде Deus ex machina?

"Торрент", мда...
https://github.com/deepseek-ai/3FS

торрент - да супер,
но я хочу спокойно писать нейросеть на коленке в следующем году.
или не хочу...

Громкий заголовок. К протоколу BitTorrent не имеет никакого отношения, разве что к p2p.

stalkerok писал(а):

Громкий заголовок

ИИ запустили на чистом листе бумаги А4, вот это громко)
или как школьник запустил нейросеть прямо у себя в голове)

Инопланетяне так уже давно делают, но только с мозгами)))

Добавлено спустя 1 минуту:

weter писал(а):

stalkerok писал(а): Громкий заголовок ИИ запустили на чистом листе бумаги А4, вот это громко) или как школьник запустил нейросеть прямо у себя в голове)

Можно попробовать запустить ИИ в PDF файле, как игру DOOM )))

Искусственный и естественный интеллекты стремительно сближаются, причём в основном за счёт атрофии последнего.

wat902h писал(а):

Искусственный и естественный интеллекты стремительно сближаются, причём в основном за счёт атрофии последнего.

средний интеллект или смешанный интеллект, введу новый термин)
это такое состояние человека, когда он лишен возможности к произвольному мышлению,
согласно проф. Савельеву.
Более точно - такой человек лишен интеллекта.
Добавлю, произвольное мышление - это способность к творчеству
(а не только его возможность).
Это трудно.