راهنمای کامل Fine-tuning مدل‌های Llama 3.3 برای زبان فارسی

در این آموزش جامع، قدم‌به‌قدم فرآیند fine-tuning مدل Llama 3.3 را روی دیتاست فارسی آموزش می‌دهیم. از آماده‌سازی داده با ابزارهای متن‌باز گرفته تا تنظیم hyperparameterها و deploy روی سرور اختصاصی — همه آنچه برای بهینه‌سازی یک LLM فارسی نیاز دارید.

همچنین تکنیک‌های QLoRA و quantization را برای کاهش مصرف حافظه GPU بررسی می‌کنیم و نشان می‌دهیم چطور می‌توان با یک کارت گرافیک ۲۴ گیگابایتی، مدلی با ۷۰ میلیارد پارامتر را fine-tune کرد.

مقایسه Transformer و Mamba — کدام معماری برای پردازش زبان فارسی بهتر است؟

معماری‌های State Space Model (SSM) مانند Mamba و S4 چالش جدی برای Transformerها ایجاد کرده‌اند. در این مقاله با بررسی عملکرد هر دو روی وظایف مختلف NLP فارسی — از تحلیل احساسات تا خلاصه‌سازی متون — نشان می‌دهیم کدام معماری برای زبان فارسی مناسب‌تر است.

نتایج آزمایش‌ها روی دیتاست‌های PersianSent، ParsiNLU و FarsTail نشان می‌دهد که Mamba در وظایف با ورودی طولانی (بیش از ۲۰۰۰ توکن) عملکرد بهتری دارد، در حالی که Transformer هنوز برای وظایف کوتاه‌مدت برتری نسبی دارد.

پیاده‌سازی RAG پیشرفته با LangChain و پایگاه داده وکتور فارسی

Retrieval-Augmented Generation یا RAG یکی از مهم‌ترین تکنیک‌های سال ۲۰۲۶ برای ساخت سیستم‌های پرسش و پاسخ سازمانی است. در این مقاله، یک سیستم RAG کامل با LangChain، ChromaDB و مدل‌های embedding فارسی پیاده‌سازی می‌کنیم.

از chunking هوشمند متون فارسی با رعایت مرز جملات، تا semantic search با FAISS و reranking با Cross-Encoder — تمام مراحل با کد کامل Python توضیح داده شده است. همچنین نکات بهینه‌سازی retrieval accuracy برای متون حقوقی و پزشکی فارسی را بررسی می‌کنیم.

تکنیک‌های Compression در Distributed Training — آموزش مدل روی ۱۰۰۰ GPU

آموزش مدل‌های عظیم (۱۰۰B+ پارامتر) روی کلاسترهای توزیع‌شده چالش‌های جدی در پهنای باند ارتباطی دارد. در این مقاله تکنیک‌های gradient compression مانند Top-K sparsification، PowerSGD و quantization-based compression را به‌طور کامل بررسی و پیاده‌سازی می‌کنیم.

تشخیص اخبار جعلی فارسی با ترکیب BERT و Graph Neural Networks

در این پژوهش، یک مدل هیبریدی برای تشخیص اخبار جعلی فارسی ارائه می‌دهیم که ParsBERT را با Graph Attention Networks ترکیب می‌کند. مدل پیشنهادی روی دیتاست PersianFakeNews به ۹۴.۲٪ دقت رسیده است — بهبود ۶٪ نسبت به روش‌های قبلی.