MacRumors: энтузиаст запустил ИИ Llama 2 на 20-летнем Apple PowerBook G4

Вопреки распространенному мнению о высоких требованиях к ресурсам компьютера для моделей искусственного интеллекта, энтузиаст смог запустить современную генеративную нейросеть на 20-летнем ноутбуке Apple PowerBook G4. Инженер-программист Эндрю Россиньол (Andrew Rossignol) рассказал в своем блоге на этой неделе о том, как ему удалось добиться работы генеративного ИИ на старом устройстве. Об этом сообщает издание MacRumors.

Модель PowerBook G4, выпущенная в 2005 году, оснащена процессором PowerPC G4 с тактовой частотой всего 1,5 ГГц и 1 ГБ оперативной памяти. Несмотря на столь скромные по современным меркам характеристики, Россиньолу удалось запустить на этом раритетном ноутбуке вывод (инференс) модели Llama 2 от Meta.

Для эксперимента инженер портировал проект с открытым исходным кодом llama2.c и затем значительно ускорил работу, используя векторное расширение PowerPC под названием AltiVec.

Стоит отметить, что это не первый случай, когда энтузиастам удается запустить генеративные модели ИИ на устаревшем оборудовании. Ранее в новостях уже появлялись сообщения об аналогичных экспериментах, например, с PlayStation 3 и Xbox 360.