Ученые доказали, что нейросети глупеют. Из-за чего это происходит

ArXiv: ученые доказали, что нейросети глупеют из-за брейнрот-контента

Американские ученые заявили, что сгенерированный брейнрот-контент способен повредить не только человеческому мозгу, но и искусственному интеллекту. Они обнаружили, что большие языковые модели, обучающиеся на «мусорных» данных, начинают хуже рассуждать, чаще ошибаются и теряют способность логично формулировать мысли, пишет Forbes со ссылкой на препринт исследования, опубликованный на платформе ArXiv.

Термин brain rot (буквально — «гниение мозга») означает эффект, когда человек из-за постоянного просмотра бессмысленного контента теряет внимание, память и способность к критическому мышлению.

В 2024 году Оксфордский словарь английского языка объявил brain rot словом года. В статье словаря это слово трактуют как ухудшение психологического состояния и когнитивных навыков из-за чрезмерного потребления информации и онлайн-контента, у которого нет содержательной ценности. Частота использования данного словосочетания за прошлый год выросла на 230%.

Исследователи из Техасского университета в Остине, Техасского университета A&M и Университета Пердью решили разобраться, как брейнрот-контент влияет на сами нейросети. Оказалось, что ИИ тоже подвержен «гниению мозга».

Ученых заинтересовало, что произойдет с моделями, если они будут обучаться на том же потоке данных, что и пользователи интернета. Ведь ИИ, особенно крупные языковые модели, получает миллиарды текстов из соцсетей, блогов, форумов и новостных платформ, где все больше преобладает контент, рассчитанный на внимание, а не на смысл.

Чтобы проверить эту гипотезу, специалисты собрали два набора данных из социальной сети X (бывший Twitter). Один включал вирусные посты, кликбейтные темы, переработанные комментарии к мемам и эмоциональные треды. Второй набор содержал нейтральные тексты без эмоциональной окраски. Ученые обучили на этих данных популярные языковые модели Llama3 от Meta (признана в России экстремистской организацией и запрещена) и Qwen от Alibaba.

Результаты оказались однозначными: обученные на вирусном контенте модели начали выдавать больше логических ошибок, фактических неточностей и проявляли меньшую способность удерживать длинные цепочки рассуждений. Исследователи Цзюньюань Хон и Атлас Ванг объяснили, что ИИ в этом случае не учится понимать, а лишь имитирует внимание.

Более того, последствия такого «обучения» оказались долгосрочными. Даже после повторной тренировки на качественных текстах модели не смогли полностью восстановить прежний уровень когнитивных способностей. Хон и Ванг назвали это явление «когнитивным шрамом».

Бывший старший научный сотрудник Google DeepMind Илья Шумайлов заявил, что не удивлен результатам эксперимента. Он отметил, что в научной среде давно обсуждается проблема «отравления моделей» — ситуации, когда в обучающие данные намеренно вносят искажения, чтобы влиять на поведение ИИ. По мнению Шумайлова, исследования о «гниении мозга» можно рассматривать как предупреждение: нужно тщательнее проверять данные, на которых обучаются системы.

Авторы исследования предложили ввести понятие «когнитивная гигиена» для искусственного интеллекта — аналог человеческой информационной гигиены. Они считают, что будущее ИИ напрямую зависит от достоверности и чистоты данных, на которых он формируется. Ученые предупреждают, что если большая часть контента в Сети уже создается ИИ и ориентируется на внимание, а не на смысл, будущие поколения моделей могут унаследовать те же ошибки мышления, которые сами же порождают.

К чему приведет засилье сгенерированного нейросетями контента

По мнению экспертов, общество сегодня стоит на пороге «цифрового Средневековья»: из-за засилья синтетического контента, сгенерированного с помощью ИИ, в интернете через десять лет можно остаться без проверенных научных и энциклопедических данных.

Такая ситуация уже создает риски появления фейковой цифровой реальности. Например, в США еще в 2021 году появилась теория «мертвого интернета», согласно которой подавляющая часть контента в Сети производится ИИ-роботами.

Многие эксперты приходят к выводу о необходимости создания прозрачной системы аудита, в рамках которой каждый шаг генеративной модели должен быть проверен и объяснен профессиональным сообществом.

Ключевым элементом, по мнению экспертов, станет разработка международных этических и методологических стандартов, которые закрепят принципы объективности и воспроизводимости при использовании ИИ в науке. Это позволит не блокировать инновации, а направить их в русло, укрепляющее доверие к цифровому знанию, а не подрывающее его, убеждены эксперты.

Как нейросети будут развиваться дальше

Следующий прорыв в развитии искусственного интеллекта (ИИ) будет связан с появлением модели, обладающей критическим мышлением, считает первый зампред IT-комитета Госдумы Антон Горелкин.

Парламентарий отметил, что ИИ пока не умеет проверять факты и подтверждать информацию. Он считает, что развитие этой технологии будет направлено на устранение этого недостатка: «Количество действительно ценного контента в этом океане информации ничтожно мало, а нейросети сегодня не умеют проводить фактчекинг и верифицировать информацию. Думаю, следующий прорыв на рынке ИИ-ассистентов случится, когда там появится модель, обладающая критическим мышлением, способная отделить правду от вымысла. Пока этого не произошло, помогать ИИ верифицировать контент придется людям», — резюмирует Антон Горелкин.

Источник: www.rbc.ru