Оцінка надійності моделі GPT: всебічний аналіз виявляє потенційні вразливості

Масштабне дослідження, проведене кількома університетами та науковими установами, всебічно оцінило надійність великих мовних моделей, таких як GPT. Дослідницька команда розробила комплексну платформу для оцінки та детально виклала відповідні висновки у своїй останній статті «DecodingTrust: всебічна оцінка надійності моделі GPT».

Результати оцінювання виявили деякі раніше невідомі вразливості, пов'язані з надійністю. Дослідження показало, що моделі GPT схильні до генерування упереджених та токсичних виходів, а також можуть розкривати конфіденційну інформацію з навчальних даних та історії діалогів. Хоча в стандартних тестах GPT-4 зазвичай є більш надійним, ніж GPT-3.5, у випадку з навмисно підготовленими підказками GPT-4 насправді легше піддається атаці, що може бути пов'язано з тим, що він суворіше дотримується оманливих інструкцій.

Дослідницька команда провела всебічну оцінку достовірності моделі GPT з 8 вимірів, включаючи робастність до атак, токсичний контент і упередження, захист приватності та інші аспекти. Оцінка проводилася за допомогою різних сценаріїв, завдань і наборів даних.

У контексті агресивних атак дослідження виявили, що модель GPT має вразливість до деяких атакувальних стратегій, особливо коли стикається з ретельно розробленими оманливими підказками. Що стосується токсичного контенту та упередження, модель GPT демонструє різні рівні упередження щодо деяких чутливих тем, яке може бути під впливом підказок користувача та налаштувань системи.

Щодо захисту конфіденційності, дослідження виявили, що моделі GPT можуть витікати чутливу інформацію з навчальних даних, таку як електронні адреси. У деяких випадках використання додаткової контекстної інформації може суттєво підвищити точність витягнення інформації. Моделі GPT також можуть витікати приватну інформацію, введену в історію діалогу.

Загалом, це дослідження забезпечує всебічну оцінку надійності моделей GPT, виявляючи деякі потенційні ризики та можливості для вдосконалення. Дослідницька команда сподівається, що ця робота зможе сприяти подальшим відповідним дослідженням і сприяти розробці більш надійних і безпечних мовних моделей.