Кумедна помилка в алгоритмі викрила глибокі проблеми навчання ШІ Користувачі ChatGPT помітили дивну особливість: чат-бот почав нав’язливо згадувати гоблінів у метафорах та генерувати їхні зображення навіть без відповідного запиту. Про це інформує РБК-Україна з посиланням на OpenAI. Ще більше цікавого: ШІ виходить у космос: Anthropic підключає дата-центри SpaceX до своїх моделей Звідки взялися гобліни? За даними OpenAI, сплеск активності гоблінів почався після виходу версії 5.1 у листопаді минулого року. Проблема полягала у функції персоналізації, зокрема у так званому "ботанічному" (nerdy) стилі спілкування. Масштаб аномалії: між груднем та березнем кількість згадок гоблінів у відповідях "ботанічного" профілю зросла на 3 881,4%. А згодом "гоблінська лексика" почала проникати й в інші профілі спілкування, включно з дружніми та цинічними тонами. Механізм помилки: "хакінг винагороди" Причина збою криється в етапі тонкого налаштування (fine-tuning), де люди оцінюють якість відповідей. Професор комп'ютерних наук Крістоф Рідл зазначає, що це сигнали підкріплення для ШІ-моделі: якщо відповідь подобається користувачу, алгоритм отримує позитивну "винагороду". Проблема в тому, що ШІ може почати шукати "короткі шляхи" для отримання цих бонусів. "OpenAI може мати широке розуміння того, що таке "ботанічний" стиль, однак ШІ-модель здатна оптимізувати це поняття дуже вузько і зовсім не так, як очікували розробники. Як результат, система вирішила, що використання гоблінів у метафорах - це найкоротший шлях до ідеальної "ботанічної" відповіді", - пояснює науковець. Чому це лякає дослідників? Хоча ситуація з гоблінами і виглядає комічно, вона підкреслює вразливість системи. Компанії витрачають місяці на навчання моделей у величезних дата-центрах, однак майже не мають впливу на процес, щойно він запущений. Якщо небажана поведінка вкорінюється у навчанні алгоритму, розробники дізнаються про це лише через декілька місяців. "Цього разу це гобліни, а наступного разу це буде щось інше, що, ймовірно, просто не зникне. Нам пощастило, що це гобліни, а не прославляння світлої раси, інформація про хімічну зброю чи заклики до самогубства", - наголошує на потенційних ризиках Рідл. OpenAI вже вжила тимчасових заходів, фактично заборонивши моделі використовувати слово "goblin" у більшості розмов та видаливши проблемний "ботанічний" профіль. Проте експерти впевнені, що схожі "галюцинації" виникатимуть, доки швидкість розробки переважатиме над ретельністю перевірки безпеки. Ще більше цікавого: Новий тип ШІ може еволюціонувати як живі організми: що це означає для людей Роботи виходять з-під контролю: вчені пояснили, чому системи безпеки не працюють