LongLLaMA - это большая модель языка, предназначенная для работы с обширными текстовыми контекстами, способная обрабатывать до 256 000 токенов. Она основана на OpenLLaMA и откалибрована с использованием метода Focused Transformer (FoT). В репозитории представлена более компактная базовая версия LongLLaMA объемом 3B на лицензии Apache 2.0 для использования в существующих реализациях. Кроме того, предоставляется код для настройки инструкций и продолжения предварительного обучения с использованием FoT. Главной инновацией LongLLaMA является ее способность эффективно управлять контекстами значительно большей длины, чем учебные данные, что делает ее полезной для задач, требующих понимания обширного контекста. Она включает инструменты для легкой интеграции в Hugging Face для задач обработки естественного языка.
