Нейромережам шкідливо "споживати" синтетичні дані Науковці виявили критичну вразливість сучасних ШІ-алгоритмів: коли нейромережі починають навчатися на даних, згенерованих іншими машинами, їхня точність стрімко падає. Цей процес вчені назвали терміном "колапс моделі". Про це повідомляє РБК-Україна з посиланням на Techxsplore. Більше цікавого: ШІ знає про вас надто багато: як чат-боти непомітно впливають на ваші рішення Що таке "колапс моделі"? Термін, введений у науковий обіг у 2024 році, описує сценарій, за якого ШІ, що навчається на продуктах діяльності алгоритмів, втрачає здатність видавати точні результати. Причина: низька якість навчальних даних призводить до накопичення помилок. Наслідок: замість змістовних відповідей модель починає генерувати нісенітницю та незрозумілий набір слів. Актуальність: оскільки кількість створеного людьми контенту обмежена, розробники дедалі частіше використовують синтетичні дані, а це підвищує ризик глобального збою систем. Які причини? Команда вчених із Великої Британії, Норвегії та Італії проаналізувала процес на базі статистичних моделей так званих "експоненціальних сімей". Вони з'ясували, що навчання у замкненому циклі неминуче призводить до колапсу, проте знайшли несподівано просте пояснення. Рішення: додавання всього лише однієї точки даних із реального світу у процес навчання повністю зупиняє деградацію моделі. Парадокс: ефект зберігається навіть тоді, коли кількість машинних даних у мільйони разів перевищує цей єдиний "людський" фрагмент. Альтернатива: колапс також можна попередити, впровадивши в алгоритм попередні знання або "апріорні переконання" ще на етапі тренування. Майбутнє без галюцинацій Хоча досліджені моделі простіші за складні нейромережі на кшталт ChatGPT, професор Яссер Руді з Королівського коледжу Лондона зазначає, що ці принципи є фундаментальними для всієї галузі. Чому це важливо: Розуміння причин: робота науковців пояснює природу незрозумілих "галюцинацій" ШІ, коли неможливо відстежити логіку помилкової відповіді. Універсальність: вчені довели, що аналогічне явище спостерігається і в інших класах нейромереж. Масштабування: у майбутньому дослідники планують протестувати ці принципи на LLM, що використовуються у безпілотних автомобілях та складних чат-ботах. Загалом же відкриття дає програмістам необхідні інструменти для створення надійного ШІ, який зможе безпечно розвиватися, навіть коли людський ресурс для його навчання стане дефіцитним. Вчені переконані: така вірогідність цілком реальна. Ще більше цікавого: Тепер не лише у браузері: Google випустив офіційні ШІ-додатки для Windows та Mac Вчені виявили небезпечну рису ШІ: алгоритми переймають людські упередження