Для реализации проекта энтузиаст выбрал архитектуру с послойным встраиванием (Per-Layer Embeddings), аналогичную той, что применяется в Google Gemma. Ключевым этапом стало квантование модели до 4 бит, что позволило сократить ее размер до 14,9 МБ. Основную часть параметров разместили во флеш-памяти, оставив дефицитную оперативную память только под вычислительные задачи.
Модель обучена на датасете TinyStories и специализируется на коротких художественных зарисовках. Это не полноценный чат-бот для написания кода, а скорее демонстрация инженерного подхода. Подобные решения открывают путь к созданию «умной» бытовой техники и промышленных контроллеров, способных обрабатывать данные локально без участия облачных сервисов. Автор проекта считает, что этот принцип распределения нагрузки между флеш-памятью и ОЗУ пригодится и в серверных системах, позволяя оптимизировать затраты на дорогостоящее оборудование.
Комментарии (0)
Пока нет комментариев. Будьте первым!