Mixtral
статус: legacy лицензия: Apache License 2.0 контекст: 65 536 токенов заявлено
Что это
Ранний и влиятельный пример открытой MoE-модели: качество уровня плотных моделей заметно большего размера при меньших затратах на инференс.
- Открытые веса под Apache 2.0
- MoE-роутинг: 8 экспертов, на токен активна часть
- Стала базой для множества дообучений
Версии
Показаны последние 3 из 3 версий, известных каталогу (всего в базе — включая варианты режимов и тарифов).
| Версия | Канал | Релиз | Что изменилось |
|---|---|---|---|
| Mixtral 8x22B | ga · актуальная | 2024-04-17 | Старший вариант MoE-семейства. |
| mixtral-8x22b-instruct | ga · актуальная | 2024-04-17 | — |
| Mixtral 8x7B | legacy | 2023-12-11 | Первый публичный релиз, показавший зрелость MoE на открытых весах. |
Быстрый старт
Ollama: ollama run mixtral