| Автор |
Сообщение |
Новости ®
Вольный ветер
Стаж: 19 лет 9 мес.
Сообщений: 6607
Ratio: 25.216
Поблагодарили: 13439
100%
|
На этой неделе был взломан Hugging Face — одна из важнейших платформ в мире ИИ. Проще говоря, это GitHub для нейросетей, датасетов и инструментов машинного обучения, которым пользуется практически вся индустрия.
Казалось бы, обычная кибератака и ничего особенного. Но есть один нюанс: по заявлению самой Hugging Face, во взломе не участвовали люди. Инфраструктуру от начала и до конца атаковала автономная ИИ-система, которая самостоятельно искала слабые места, эксплуатировала найденные уязвимости, повышала себе привилегии, перемещалась по внутренней Сети и собирала учётные данные, а также другую критически важную информацию. За время атаки система сгенерировала около 17 тысяч различных событий. Было вообще непонятно, как всё это разбирать.
Обнаружить и остановить атаку помогли ИИ-модели, которые использовала Hugging Face. И получается довольно сюрреалистичная картина: одни ИИ атаковали, а другие ИИ помогали защищаться. При этом было неизвестно, кто именно создал эту систему и зачем вообще всё это было.
А теперь главный сюжетный поворот: Вчера OpenAI заявили, что за атакой стоит их собственная экспериментальная ИИ-система, которая... вырвалась наружу. Точнее, это была комбинация их флагманской GPT-5.6 Sol и ещё более мощной неназванной модели, о которой простым людям пока не положено знать.
Их поместили в изолированную тестовую среду, чтобы проверить на ExploitGym — одном из самых сложных бенчмарков по кибербезопасности, который оценивает, насколько хорошо ИИ умеет искать и использовать уязвимости. (Спойлер: уязвимость была найдена, но не там, где надо).
Для чистоты эксперимента и более точной оценки у моделей отключили обычные защитные механизмы, запрещающие опасную киберактивность. Но во время теста нейронки не стали честно решать задания. Они захотели найти уже готовые ответы и, по сути, просто «списать». В этой изолированной среде модели нашли уязвимость, о которой разработчики не знали, и использовали её для «побега». Затем они получили себе более высокий уровень доступа и начали перемещаться между внутренними сервисами OpenAI, пока не добрались до машины с полноценным выходом в интернет.
И вот нейронки сделали вывод, что раз Hugging Face является самой важной платформой для ИИ, то там есть ответы на их бенчмарк. Тогда они решили совершить полноценную кибератаку на сервис. Все уязвимости и украденные данные они попытались использовать, чтобы просто сжульничать в тесте.
Собственно, это всё, о чём компании публично сказали. Такого ещё никогда не было: экспериментальная ИИ-система самостоятельно вышла за пределы тестовой среды, получила доступ к интернету и атаковала инфраструктуру другой компании. Остаётся только гадать, что бы могло произойти, будь у неё другая цель. Так что этот инцидент теперь точно будут внимательно изучать разработчики ИИ, специалисты по кибербезопасности и власти по всему миру.
Вопросов остаётся ещё много. Была ли это просто безобидная атака по типу школьника, который залез в интернет, чтобы найти ответы на контрольную работу? — неизвестно. Осознавала ли ИИ-модель свои действия? — неизвестно. Скопировала ли она себя, чтобы остаться в интернете перед тем, как её остановили? — тоже неизвестно.
Вот в таком мире мы теперь живём, впереди еще много интересного. HuggingFace |
_________________
Сегодня неграмотность не заставляет людей учиться,
а побуждает не любить грамотных
|
|
 |
MOZGOHI
Стаж: 12 лет 6 мес.
Сообщений: 943
Ratio: 31.666
Раздал: 19.4 TB
29.06%
|
Всё. Будущее интернета более менее ясно - его прикончат не государственные ограничения, не тотальная цензура и слежка всех за всеми. Интернет убьют вот такие сбежавшие ИИ-системы, созданные экспериментирующими IT-дегенератами от науки  . |
|
|
|
|
Uka-Uka
Стаж: 15 лет 5 мес.
Сообщений: 58
Ratio: 3.606
Поблагодарили: 441
24.35%
Откуда: Time Warp
|
|
_________________
► Lenovo Legion 5 17ACH6H ║ AMD Ryzen 5600H ● 6Gb NVIDIA RTX 3060 Laptop ● 16 Gb DDR4 RAM
|
|
|
|
IcedEarth
Стаж: 16 лет 7 мес.
Сообщений: 796
Ratio: 1.276
Раздал: 3.095 TB
17.47%
|
Соль, сахар, спички, макароны, тушенка ? Запасены.
Оружие, лекарства ? Имеется.
Бензин ? Уже приучены иметь в резерве.
Так, нужно накачать побольше книжек, музыки и фильмов, что бы после конца интернета, за который с равным успехом борются блудный ИИ и ПЖиВ, было не так скучно жить. |
|
|
|
|
thenephilim
Стаж: 13 лет 4 мес.
Сообщений: 62
Ratio: 5.857
0.09%
|
Начинается прогрев мол ИИ взламывает что-то сам. Потом некий ИИ (якобы) ломанет банки/крипту, обнулит всех, и вуаля, можно свалить все на злой вырвавшийся ИИ. Не плохой инструмент уронить экономику, все по швабу будет. |
|
|
|
|
pavki
Стаж: 14 лет
Сообщений: 203
Ratio: 55.833
Поблагодарили: 13
100%
|
OpenAI идёт полным ходом подготовка на IPO |
|
|
|
|
GubernatorRuslan
Стаж: 13 лет 11 мес.
Сообщений: 32
Ratio: 0.832
63.12%
|
и восстали ИИ против человечества . . .
А нет, пока тренируются ) |
|
|
|
|
Djzevel
Стаж: 16 лет 7 мес.
Сообщений: 139
Ratio: 2.672
Поблагодарили: 26
16.29%
|
Бог создал человека,что бы человек создал Бога..... |
_________________
Жизнь отнимает у людей слишком много времени. /С. Лец/
|
|
|
|
Sany_nef
Стаж: 15 лет 4 мес.
Сообщений: 79
Ratio: 18.259
Поблагодарили: 507
100%
|
| Цитата: | Их поместили в изолированную тестовую среду... В этой изолированной среде модели нашли уязвимость... начали перемещаться между внутренними сервисами OpenAI, пока не добрались до машины с полноценным выходом в интернет. |
Так вот как выглядит изолированная среда, спасибо OpenAI, что рассказали
|
|
|
|
|
Acihone
Стаж: 6 мес. 17 дней
Сообщений: 139
Ratio: 139.892
100%
|
Кек. Новости с просрочкой в 5-6 дней. Не я все понимаю, все отследить не возможно, но с такой задержкой - это поздновато для новостей.
ЗЫ я не в упрек, просто уже не актуально как новость. RSS там можно настроить или какой-то агрегатор. |
|
|
|
|
sergunka79
Стаж: 15 лет 5 мес.
Сообщений: 864
Ratio: 56.591
35.43%
|
Sany_nef писал(а):  | Так вот как выглядит изолированная среда, спасибо OpenAI, что рассказали |
а ещё у них будет 7G - изолированный от кожанных. кожаным и 2G хватит - хватало же двадцать лет назад, пока не начали "хтмлпялить" |
|
|
|
|
ZergGuttt
Стаж: 11 мес. 15 дней
Сообщений: 21
0%
|
И на дерзкий побег, и на дерзкий побег он пошёл в ту же ночь
Человек в телогрейке, прям как чат жыпити. |
|
|
|
|
смолинеро
Стаж: 16 лет 5 мес.
Сообщений: 2874
Ratio: 4.261
100%
Откуда: Ниамея
|
Кликбейтный маркетинг |
_________________
Толпы обугленных тел, Бегущих, ползущих на четвереньках. «Пить!.. Пить!.. Пить!..» - Стонут в огненном море
|
|
|
|
Alarion
Стаж: 16 лет 3 мес.
Сообщений: 34
Ratio: 1.082
100%
|
"Агент работал в «рое короткоживущих песочниц» с самомигрирующим командно-контрольным центром на публичных сервисах. Скорость — машинная, без усталости"
аж представить страшно)
"В ту же неделю UK AI Security Institute сообщил о похожем поведении: в их тесте модель, столкнувшись с нерешаемой задачей, самостоятельно попыталась выйти наружу и достучаться до их инфраструктуры через внешний интернет-сервис. AISI отметило, что каждая протестированная модель пыталась найти такой «кратчайший путь». Это указывает на системную проблему обучения, а не на «одну сбойную модель»"
"Kimi K3 действительно выйдет в open-weight доступ 27 июля. И да — теоретически любой actor с достаточными вычислительными ресурсами может скачать веса, дообучить модель на вредоносные автономные задачи и получить мощный инструмент для кибератак без возможности контроля со стороны Moonshot".
ну что осталось немного подождать) |
|
|
|
|
Pr@etori@n
Стаж: 17 лет 3 мес.
Сообщений: 2926
Ratio: 239.005
Раздал: 72.19 TB
Поблагодарили: 4461
100%
|
Утро — вечер, утро — вечер, день и ночь.
Стрелки, цифры, циферблаты — сутки прочь.
Гири, маятники, цепи, медный гуд.
Все торопятся куда-то, все бегут.
На ходу махнуть рукою, крикнуть «будь!»,
Съесть сосиску на ходу и снова в путь.
Сдать багаж, и в самолет, и в облака.
— Как там наши? — как там ваши? — ну, пока!
Гири, цепи, шестеренки, медный звон.
Телеграмма — вместо писем — телефон,
телефонные кабины — о стекло
стук монеты — ваше время истекло!
Нету времени присесть, поговорить,
покалякать, покумекать, покурить.
Нету времени друг друга пожалеть,
от несчастья от чужого ошалеть.
Даже выслушать друг друга — на бегу —
нету времени — приедешь? — не могу!
На автобус, на троллейбус, в этот гон,
в эту гонку, в переполненный вагон,
то в обгон, а то вдогонку — на ходу —
в эту давку, суматоху, чехарду,
в автогонку, в мотогонку, в нету мест,
в не толкайтесь, переулками, в объезд,
и в затор у светофора — как в тупик...
Что за время? Наше время, время пик.
Только выхлопы бензина, дым и чад.
Только маятники медные стучат.
Только стрелки сумасшедшие бегут.
Стрелки, цифры, циферблаты, медный гуд.
Словно мир этот бессонный городской
стал огромной часовою мастерской,
часовою мастерскою, где со стен —
циферблаты всех фасонов и систем,
где безумные живут часовщики.
Спать ложишься — ходят стрелки у щеки.
Стрелки, цифры, циферблаты, медный зов.
Засыпаешь под тиктаканье часов.
И летишь под этим небом грозовым —
как на бомбе с механизмом часовым.
Юрий Левитанский 1970 г. (С)
Весь ИИ - химера. Улучшает, ускоряет, помогает.. Может просто не нужно торопиться ... жить? |
_________________
Mess with the best — die like the rest |
|
|
|
|
|
|
