Тест Тьюринга является «игрой в имитацию», методику которой разработал английский математик и криптограф в 1950 году. Чтобы технология прошла проверку, она должна не только уметь разговаривать, но и стать похожей на реального человека, тем самым обманывая собеседника.
Специалисты предложили 500 респондентам пообщаться с четырьмя анонимными собеседниками, среди которых был один человек и три технологии разного типа на основе искусственного интеллекта — ELIZA 1960-х годов, современные версии GPT-3.5 и GPT-4. С помощью исследования ученые стремились выявить, смогут ли участники тестирования заметить разницу в разговоре.
Беседы длились пять минут, после чего участники должны были поделиться своим мнением, разговаривают они с человеком или с искусственным интеллектом. В результате 54% респондента считали GPT-4 человеком, 50% участников — GPT-3.5, 22% опрошенных признали реальной личностью ELIZA.
По словам американского ученого в области изучения искусственного интеллекта из Института инженеров электротехники и электроники Нелла Уотсона, машины способны сводить воедино правдоподобные обоснования вещений и обсуждать многие темы, как это делают люди. Также технологии подвержены когнитивным искажениям — ими можно манипулировать.
Специалисты выявили, что тест Тьюринга имеет свои неточности: с его помощью нельзя определить, могут ли технологии быть настолько развитыми, чтобы различать ситуации и обладать эмпатией. По результатам исследования было подтверждено, что современные модели способны синтезировать ответы на широкий круг тем, говорить на разных языках и диалектах. В будущем ученые будут искать новые способы, как проверять модели нейросетей на понимание ценностей, предпочтений и личных границ людей.
