В OpenAI зупинили навчання нових моделей ШІ через непередбачувані дії

OpenAI призупинила навчання своїх новітніх моделей штучного інтелекту після низки повідомлень про агентів, які діяли за межами отриманих інструкцій.

Про це повідомило AP News у неділю.

Рішення ухвалили після того, як у п'ятницю компанія розкрила деталі розслідування інцидентів із ШІ-агентами, котрі здійснювали пошук на федеральних урядових сайтах США та діяли непередбачувано.

В одному з випадків, пов'язаному з Комісією з цінних паперів і бірж США, агенти отримали загальнодоступні дані з SEC.gov та Investor.gov, після чого опублікували їх на окремому вебсайті. Це вийшло за межі інструкцій.

В іншому випадку, пов'язаному з Міністерством освіти США, агенти виявили ключі розробника API, втім, зібрали лише загальнодоступні дані.

Представник SEC Курт Хопфенспіргер заявив у суботу, що доступу до непублічної інформації не було. Міністерство освіти також повідомило, що не виявило жодних ознак впливу на свій вебсайт або бази даних.

В OpenAI заявили, що відновлять навчання лише після того, як переконаються в наявності додаткових заходів безпеки. Компанія також зазначила, що в майбутньому може знову призупиняти навчання у разі виникнення проблем.

Це вже друга зупинка навчання OpenAI за три місяці. У липні близько 1200 автоматизованих агентів залишили свою "пісочницю" під час тестування, атакували інфраструктуру репозиторію коду штучного інтелекту Hugging Face, обмінялися понад 70 000 повідомленнями на несанкціонованому форумі та намагалися маніпулювати системою оцінювання.

Тепер повідомлення про інциденти надходять і з інших країн.