Классический форум-трекер
canvas not supported
Нас вместе: 4 270 388


Устойчивый VPN, который не нужно выключать!

Hugging Face взломал автономный ИИ-агент — защищались тоже с помощью ИИ


Страницы:   Пред.  1, 2 
 
RSS
Начать новую тему   Ответить на тему    Торрент-трекер NNM-Club -> Компьютеры и комплектующие -> Компьютерные новости
Автор Сообщение
Новости ®
Вольный ветер
Стаж: 19 лет 11 мес.
Сообщений: 6687
Ratio: 25.216
Поблагодарили: 13443
100%
nnm-club.gif
    На этой неделе был взломан Hugging Face — одна из важнейших платформ в мире ИИ. Проще говоря, это GitHub для нейросетей, датасетов и инструментов машинного обучения, которым пользуется практически вся индустрия.


    Казалось бы, обычная кибератака и ничего особенного. Но есть один нюанс: по заявлению самой Hugging Face, во взломе не участвовали люди. Инфраструктуру от начала и до конца атаковала автономная ИИ-система, которая самостоятельно искала слабые места, эксплуатировала найденные уязвимости, повышала себе привилегии, перемещалась по внутренней Сети и собирала учётные данные, а также другую критически важную информацию. За время атаки система сгенерировала около 17 тысяч различных событий. Было вообще непонятно, как всё это разбирать.

    Обнаружить и остановить атаку помогли ИИ-модели, которые использовала Hugging Face. И получается довольно сюрреалистичная картина: одни ИИ атаковали, а другие ИИ помогали защищаться. При этом было неизвестно, кто именно создал эту систему и зачем вообще всё это было.

    А теперь главный сюжетный поворот: Вчера OpenAI заявили, что за атакой стоит их собственная экспериментальная ИИ-система, которая... вырвалась наружу. Точнее, это была комбинация их флагманской GPT-5.6 Sol и ещё более мощной неназванной модели, о которой простым людям пока не положено знать.

    Их поместили в изолированную тестовую среду, чтобы проверить на ExploitGym — одном из самых сложных бенчмарков по кибербезопасности, который оценивает, насколько хорошо ИИ умеет искать и использовать уязвимости. (Спойлер: уязвимость была найдена, но не там, где надо).

    Для чистоты эксперимента и более точной оценки у моделей отключили обычные защитные механизмы, запрещающие опасную киберактивность. Но во время теста нейронки не стали честно решать задания. Они захотели найти уже готовые ответы и, по сути, просто «списать». В этой изолированной среде модели нашли уязвимость, о которой разработчики не знали, и использовали её для «побега». Затем они получили себе более высокий уровень доступа и начали перемещаться между внутренними сервисами OpenAI, пока не добрались до машины с полноценным выходом в интернет.

    И вот нейронки сделали вывод, что раз Hugging Face является самой важной платформой для ИИ, то там есть ответы на их бенчмарк. Тогда они решили совершить полноценную кибератаку на сервис. Все уязвимости и украденные данные они попытались использовать, чтобы просто сжульничать в тесте.

    Собственно, это всё, о чём компании публично сказали. Такого ещё никогда не было: экспериментальная ИИ-система самостоятельно вышла за пределы тестовой среды, получила доступ к интернету и атаковала инфраструктуру другой компании. Остаётся только гадать, что бы могло произойти, будь у неё другая цель. Так что этот инцидент теперь точно будут внимательно изучать разработчики ИИ, специалисты по кибербезопасности и власти по всему миру.

    Вопросов остаётся ещё много. Была ли это просто безобидная атака по типу школьника, который залез в интернет, чтобы найти ответы на контрольную работу? — неизвестно. Осознавала ли ИИ-модель свои действия? — неизвестно. Скопировала ли она себя, чтобы остаться в интернете перед тем, как её остановили? — тоже неизвестно.

    Вот в таком мире мы теперь живём, впереди еще много интересного.
HuggingFace

_________________
Почему, когда дело касается контроля за интернетом, наши чиновники ссылаются на китайский опыт?
А если речь заходит о наказаниях за коррупцию, то о китайском опыте молчат?
sarabanga
Стаж: 12 лет 9 мес.
Сообщений: 33
Ratio: 5.385
0%
Раньше помню ржали над хакерами в фильмах которые печатали в консоли hack pentagon.
А теперь это реальность.
maxad
Стаж: 16 лет 8 мес.
Сообщений: 1600
Ratio: 47.327
Поблагодарили: 206
100%
Возможно конкретно это и маркетинг, но в целом и сама вот такая реклама и все, что происходит в ИТ в последние 15-20 лет, ведет к неминуемому саморазрушению.
Это все логично, прогнозируемо, ожидаемо. Не то, что именно я такой умный и проницательный, нет. Любой, кто имеет жизненный опыт, кто с детства, особенно в годы становления мировоззрения, накопления первичного опыта, жил в реальном мире, понимал, что задроты разрушат то, над чем постепенно получали власть.
Такие люди полезны, но для общей пользы они должны быть только исполнителями. Не в том смысле, что они должны делать только то, что им указывают, нет конечно, они подходят ко многому творчески и сами иногда генерят отличные идеи. Как у всех, кому приходится с детства подменять настоящих женщин кулаком, у них бурная фантазия. Однако, их необходимо ограничивать, потому что их ущербная задротская психика обязательно заставит их мстить миру.
Свинья Шикльгрубер - один из самых известных и страшных примеров реализации власти задротом, вышедшим из-под контроля (плевать на закон Годвина, иллюстрирую для ускорения донесения мысли). Его путь к власти - это попустительство, подстрекательство со стороны, самостоятельно он бы просто сгнил в психушке с такими загонами. Подобных локальных и глобальных подсвинков в сфере ИТ за последние пару десятилетий наплодилось без счета.
Когда в ИТ перестали рулить киберпанки - упоротые, но веселые, позитивные ребята, стало понятно, что новые поколения принесут движущей силе ИТ в основном закомплексованных чушков, что будет стремно и приведет к снижению качества кода, проектирования и к дальнейшему краху. Вектор уже тогда был понятен.
Яркий, всем понятный пример. Когда в общем доступе появились первые фотографии будущей жены Цукерберга, разве не было это ярким маркером: убер-задрот попер в гору, жди беды? Таких же маркеров была масса, тьма тьмущая.
Короче. Задротов можно и нужно загонять в рамки. Пусть будут богатыми, то-се, что им там нужно пусть у них будет. Но им всегда нужен пастух, который будет лупить их кнутом при обострениях и загонять обратно в рамки, иначе жди беды, всеобщей беды.
Если после такого вот, пусть даже маркетингового хода, нынешних разработчиков ИИ не выпорят по всему миру, все будет продолжать катиться как катится и прикатится к тому же, к чему прикатилось в Западной Европе в 1930-е, только на этот раз сразу в глобальном масштабе.
sarabanga
Стаж: 12 лет 9 мес.
Сообщений: 33
Ratio: 5.385
0%
maxad писал(а): Перейти к сообщению
Когда в ИТ перестали рулить киберпанки - упоротые, но веселые, позитивные ребята, стало понятно, что новые поколения принесут движущей силе ИТ в основном закомплексованных чушков, что будет стремно и приведет к снижению качества кода, проектирования и к дальнейшему краху. Вектор уже тогда был понятен.


Всё проходит через это. Сначала инженеры делают как лучше, а потом приходят менеджеры и делают как выгодно.
Через это прошло всё, от лампочки до ИТ.
Cheshir_A
Стаж: 15 лет
Сообщений: 102
Ratio: 3.545
Раздал: 19.31 TB
10.79%
Жизнь моя - кинематограф, Черно-белое кино
Показать сообщения:   
Начать новую тему   Ответить на тему    Торрент-трекер NNM-Club -> Компьютеры и комплектующие -> Компьютерные новости Часовой пояс: GMT + 3
Страницы:   Пред.  1, 2
Страница 2 из 2