ALLaM-Thinking-GGUF

Description

ALLaM-Thinking-GGUF is an Arabic language model optimized for step-by-step reasoning and mathematical problem-solving. The model has been quantized to the GGUF format for efficient inference on consumer hardware.

Model Details

• Model Name: ALLaM-Thinking-GGUF
• Author: almaghrabima
• Languages: Arabic (primary)
• Format: GGUF (GPU/CPU inference optimized)
• Quantization: q4_k_m

Features

• Specialized in step-by-step reasoning for mathematical problems
• Optimized for Arabic language comprehension and generation
• Efficient inference through GGUF quantization
• Suitable for educational applications and mathematical assistance

Installation

# Clone or download the repository
git clone https://huggingface.co/almaghrabima/ALLaM-Thinking-GGUF

# Navigate to the downloaded directory
cd ALLaM-Thinking-GGUF

Usage

The model can be used with llama.cpp for local inference:

./build/bin/llama-cli -m ./ALLaM-Thinking-q4_k_m.gguf -cnv -p "Your prompt in Arabic"

Example

./build/bin/llama-cli -m ./ALLaM-Thinking-q4_k_m.gguf -cnv -p "في فريق مكون من 15 لاعباً، 40% منهم يسجلون الأهداف. إذا سجل كل لاعب من اللاعبين الذين يسجلون الأهداف في المتوسط 5 أهداف خلال الموسم، فكم عدد الأهداف الكلي التي سجلها اللاعبون الذين يسجلون الأهداف؟"

Sample Output

[INST] في فريق مكون من 15 لاعباً، 40 % منهم يسجلون الأهداف. إذا سجل كل لاعب من اللاعبين الذين يسجلون الأهداف في المتوسط 5 أهداف خلال الموسم، فكم عدد الأهداف الكلي التي سجلها اللاعبون الذين يسجلون الأهداف؟ [/INST] 

لحساب عدد الأهداف الكلي التي سجلها اللاعبون الذين يسجلون الأهداف في الفريق المكون من 15 لاعباً، نبدأ بحساب عدد اللاعبين الذين يسجلون الأهداف.

عدد اللاعبين الذين يسجلون الأهداف = إجمالي عدد اللاعبين * نسبة اللاعبين الذين يسجلون الأهداف = 15 * 0.40 = 6 لاعبين

ثم نضرب عدد اللاعبين الذين يسجلون الأهداف في متوسط عدد الأهداف التي يسجلها كل لاعب منهم خلال الموسم.

الأهداف الكلي المسجلة = عدد اللاعبين الذين يسجلون الأهداف * متوسط عدد الأهداف لكل لاعب = 6 * 5 = 30 هدفاً

لذا، سجل اللاعبون الذين يسجلون الأهداف إجمالي 30 هدفاً خلال الموسم.

Advanced Options

You can customize inference parameters with additional options:

./build/bin/llama-cli -m ./ALLaM-Thinking-q4_k_m.gguf -cnv -p "Your prompt" \
  --ctx_size 2048 \
  --temp 0.7 \
  --top_p 0.9 \
  --repeat_penalty 1.1

Hardware Requirements

• Minimum: 8GB RAM
• Recommended: 16GB RAM, High-end CPU or GPU with at least 8GB VRAM

License

This model is released under the Apache 2.0 License.

Citations

If you use this model in your research or applications, please cite:

@misc{almaghrabima2025allam,
  author = {Mohammed Al-Maghrabi Research},
  title = {ALLaM-Thinking: Arabic Large Language Model with Enhanced Reasoning Capabilities},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/almaghrabima/ALLaM-Thinking}}
}

Acknowledgements

• This model utilizes the GGUF format developed by the llama.cpp team
• Special thanks to contributors and the Arabic NLP community