Meta представила Llama 2 – LLM с открытым исходным кодом

Первая большая языковая модель LLM Llama от Meta более или менее официально распространилась на просторах интернета, теперь представлена модель второго поколения Llama 2, причем сразу с открытым исходным кодом. Ее можно бесплатно использовать и для исследований, и для коммерческих сценариев. Здесь Meta следует по стопам специалиста по оптимизации софта MosaicML , который не так давно тоже выпустил модель с открытым исходным кодом.

Модели Llama-2 доступны с 7, 13 и 70 млрд. параметров. Для тренировки использовались 2 трлн. токенов с контекстной длиной 4.096. То есть контекстная длина в два раза больше по сравнению с первыми моделями Llama.

Подробности модели и партнерства между Meta и Microsoft приведены в посте .

{nozuna nzimagefromgallery}b3d37682-258d-11ee-88a5-000c29322405 0{/nozuna nzimagefromgallery}

Сеть уже прошла тренировку, к ней также добавлено более миллиона аннотаций от пользователей (Reinforcement Learning from Human Feedback или RLHF), которые существенно сказались на качестве ...