Apple исследование выявило главный недостаток языковых моделей ИИ: Точность падает до 65%

Недавнее исследование https://winfuture.de/news,146050.html исследование, проведенное некоторыми учеными на сайте Apple, в корне меняет наше представление об интеллекте больших языковых моделей (БЯМ), таких как ChatGPT. В исследовании, проведенном под руководством Имана Мирзаде, использовался новый тест под названием GSM-Symbolic, чтобы проверить, насколько хорошо эти системы ИИ справляются с математикой и логическим мышлением.

Результаты оказались не самыми лучшими для ИИ. Когда они добавляли в вопросы случайную дополнительную информацию, точность моделей сильно падала - в некоторых случаях на целых 65%. При этом основной вопрос даже не менялся. Это говорит о том, что эти системы ИИ не могут по-настоящему понять свои задачи.

Исследование указывает на существенную разницу между тем, чтобы выглядеть умным, и тем, чтобы разбираться в вопросе. Многие ответы, сгенерированные ИИ, кажутся правильными на первый взгляд, но когда Вы вникаете в суть, они рассыпаются. Это подчеркивает, что если Вы говорите как человек, это не значит, что машина думает как человек.

В связи с этим исследование показывает, что нам нужно переосмыслить, насколько мы доверяем этим системам и зависим от них. Конечно, они могут делать невероятные вещи, но у них есть и существенные недостатки, особенно при решении хитрых или сложных задач. Признание этих недостатков - ключевой момент, если мы хотим использовать ИИ ответственно.

В конечном итоге, это исследование напоминает нам о том, что, хотя ИИ может быть полезен, мы должны критически относиться к тому, что он может и чего не может делать. По мере того, как эти инструменты становятся все большей частью нашей жизни, знание их пределов будет иметь решающее значение, если мы хотим использовать их разумно и ответственно.