Grok-1 is currently designed with the following specifications:
Deci este disponibil si este super mare.
Daca te gandesti sa-l probezi, ar trebui sa iti uiti si sa te apuci de altceva pentru ca la o rulare cu 8 GPU A100 80 GB abia daca reuseste sa raspunda si sistemul este aproape 100%.
Un A100 80 GB costa aproximativ 30-40.000$ si daca vrei sa inchiriezi costa minim 5$ pe ora doar GPU, plus restul de componente.
Il gasiti aici GitHub - xai-org/grok-1: Grok open release
Link do torent
- Parameters: 314B
- Architecture: Mixture of 8 Experts (MoE)
- Experts Utilization: 2 experts used per token
- Layers: 64
- Attention Heads: 48 for queries, 8 for keys/values
- Embedding Size: 6,144
- Tokenization: SentencePiece tokenizer with 131,072 tokens
- Additional Features:
- Rotary embeddings (RoPE)
- Supports activation sharding and 8-bit quantization
- Maximum Sequence Length (context): 8,192 tokens
Deci este disponibil si este super mare.
Daca te gandesti sa-l probezi, ar trebui sa iti uiti si sa te apuci de altceva pentru ca la o rulare cu 8 GPU A100 80 GB abia daca reuseste sa raspunda si sistemul este aproape 100%.
Un A100 80 GB costa aproximativ 30-40.000$ si daca vrei sa inchiriezi costa minim 5$ pe ora doar GPU, plus restul de componente.
Il gasiti aici GitHub - xai-org/grok-1: Grok open release
Link do torent
Cod:
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
