Kisoku 1.6B: модель, обученная одним человеком на гранте TPU, заявлена на уровне Llama 3.2 1B

Что известно

На GitHub опубликован репозиторий проекта kisoku — языковой модели с 1,6 млрд параметров. Согласно заголовку и описанию источника, модель обучена «с нуля» одним человеком на вычислительном гранте TPU, а по качеству заявлена на уровне Llama 3.2 1B.

Публикация замечена в лентах Hacker News, но на момент подготовки черновика обсуждение практически отсутствует: указано всего 2 балла и 0 комментариев. Это значит, что независимой проверки или разбора от сообщества пока нет.

Почему это интересно

Обучение LLM традиционно ассоциируется с большими командами и крупными бюджетами на вычисления. Кейс, в котором один разработчик доводит модель до состояния, сравнимого с открытой моделью сопоставимого размера, — потенциально показательный пример того, как грантовые вычислительные ресурсы снижают порог входа.

Отдельно стоит отметить масштаб: 1,6B параметров — это «малый» класс моделей, который обычно ориентирован на локальный запуск и недорогой инференс.

Что пока не подтверждено

Все ключевые утверждения — размер модели, способ обучения, использование TPU-гранта и сопоставимость с Llama 3.2 1B — на данный момент исходят только из описания проекта. Ни методики оценки, ни воспроизводимых бенчмарков в предоставленном фрагменте нет.

Что стоит проверить читателю

• доступны ли веса модели и под какой лицензией;

• на каких бенчмарках и при каких настройках проводилось сравнение с Llama 3.2 1B;

• какой объём данных и вычислений потребовался для обучения;

• воспроизводим ли пайплайн обучения по опубликованным материалам.

Первоисточник: https://github.com/0arch-io/kisoku