Исследователи Apple подвергают сомнению способность ИИ «рассуждать»
Новое исследование ученых из корпорации Apple в области искусственного интеллекта выявило значительные недостатки в способности больших языковых моделей к базовому рассуждению. Об этом сообщает Esport.ru.
Эксперимент, проведенный командой Apple, показал, что языковые модели, включая ChatGPT, разработанный компанией OpenAI, испытывают сложности с математическим рассуждением. В ходе тестирования ученые обнаружили, что даже небольшие изменения в числовых значениях или формулировке задач могут значительно повлиять на результат.
«Производительность всех моделей падает, когда в вопросе меняются только числовые значения. Более того, хрупкость математических рассуждений в этих моделях демонстрирует, что их производительность значительно ухудшается по мере увеличения количества предложений в вопросе», – говорится в исследовании. Также отмечается, что на текущем этапе развития крупные языковые модели лишены навыков формального рассуждения. Они скорее сопоставляют шаблоны.