پیشنیاز پیشنیاز خاصی لازم نیست؛ آشنایی پایه با کار با رایانه کافی است.
هدفهای یادگیری مفهوم «داده زبانی و صورتبندی مسئله NLP» و ارتباط آن با پردازش زبان طبیعی را توضیح بدهی. موضوعات فنی این مرحله را در یک محیط کنترلشده اجرا و اعتبارسنجی کنی. نتیجه، خطاها، محدودیتها و تصمیمهای فنی را مستند کنی.
موضوعاتی که باید یاد بگیری موضوع فنی: Text classification, sequence labelling, retrieval and generation tasks موضوع فنی: Corpus sampling, annotation policy and class balance موضوع فنی: Train, validation and test splits without leakage موضوع فنی: Language-specific issues: Persian script, normalization and mixed-language text موضوع فنی: NLP specialization: NLP: focus on tokenisation, linguistic preprocessing, text representation, transformer evaluation and language-specific error analysis.
ابزارهای موردنیاز Python Jupyter Pandas Datasheets for datasets
تمرین عملی در یک محیط آزمایشگاهی یا پروژه محلی، یک سناریوی واقعی از «داده زبانی و صورتبندی مسئله NLP» را اجرا کن. ورودیها، خروجیها و حالتهای خطا را ثبت کن و نتیجه را با معیارهای همین مرحله مقایسه کن.
پروژه پیشنهادی پروژه این گام باید یک خروجی قابل اجرا در حوزه «پردازش زبان طبیعی» باشد و دستکم این موضوعات را پوشش دهد: موضوع فنی: Text classification, sequence labelling, retrieval and generation tasks، موضوع فنی: Corpus sampling, annotation policy and class balance، موضوع فنی: Train, validation and test splits without leakage؛ راهنمای اجرا و شواهد نتیجه را نیز همراه آن ارائه کن.
منابع یادگیری معیار اتمام مرحله معیار اتمام: بتوانی مفاهیم «داده زبانی و صورتبندی مسئله NLP» را مستقل اجرا کنی، نتیجه را با داده یا آزمون بررسی کنی و محدودیتهای آن را توضیح بدهی.
مرحله بعدی: نرمالسازی متن و توکنسازی
✓ این مرحله را تکمیل کردم
پیشنیاز تکمیل مرحله قبلی و تسلط بر خروجیهای آن، بههمراه محیط تمرینی آماده.
هدفهای یادگیری مفهوم «نرمالسازی متن و توکنسازی» و ارتباط آن با پردازش زبان طبیعی را توضیح بدهی. موضوعات فنی این مرحله را در یک محیط کنترلشده اجرا و اعتبارسنجی کنی. نتیجه، خطاها، محدودیتها و تصمیمهای فنی را مستند کنی.
موضوعاتی که باید یاد بگیری موضوع فنی: Unicode normalization and whitespace policy موضوع فنی: Persian/Arabic character variants and ZWNJ موضوع فنی: Sentence segmentation and tokenization موضوع فنی: Subword tokenization and vocabulary trade-offs موضوع فنی: NLP specialization: NLP: focus on tokenisation, linguistic preprocessing, text representation, transformer evaluation and language-specific error analysis.
ابزارهای موردنیاز Hazm or equivalent Persian NLP tools Hugging Face Tokenizers Regex and Unicode inspectors
تمرین عملی در یک محیط آزمایشگاهی یا پروژه محلی، یک سناریوی واقعی از «نرمالسازی متن و توکنسازی» را اجرا کن. ورودیها، خروجیها و حالتهای خطا را ثبت کن و نتیجه را با معیارهای همین مرحله مقایسه کن.
پروژه پیشنهادی پروژه این گام باید یک خروجی قابل اجرا در حوزه «پردازش زبان طبیعی» باشد و دستکم این موضوعات را پوشش دهد: موضوع فنی: Unicode normalization and whitespace policy، موضوع فنی: Persian/Arabic character variants and ZWNJ، موضوع فنی: Sentence segmentation and tokenization؛ راهنمای اجرا و شواهد نتیجه را نیز همراه آن ارائه کن.
منابع یادگیری معیار اتمام مرحله معیار اتمام: بتوانی مفاهیم «نرمالسازی متن و توکنسازی» را مستقل اجرا کنی، نتیجه را با داده یا آزمون بررسی کنی و محدودیتهای آن را توضیح بدهی.
مرحله بعدی: خط مبنای آماری و واژگانی
✓ این مرحله را تکمیل کردم
پیشنیاز تکمیل مرحله قبلی و تسلط بر خروجیهای آن، بههمراه محیط تمرینی آماده.
هدفهای یادگیری مفهوم «خط مبنای آماری و واژگانی» و ارتباط آن با پردازش زبان طبیعی را توضیح بدهی. موضوعات فنی این مرحله را در یک محیط کنترلشده اجرا و اعتبارسنجی کنی. نتیجه، خطاها، محدودیتها و تصمیمهای فنی را مستند کنی.
موضوعاتی که باید یاد بگیری موضوع فنی: Bag-of-words and n-grams موضوع فنی: TF-IDF and sparse features موضوع فنی: Naive Bayes and linear classifiers موضوع فنی: Error analysis by label and text length موضوع فنی: NLP specialization: NLP: focus on tokenisation, linguistic preprocessing, text representation, transformer evaluation and language-specific error analysis.
ابزارهای موردنیاز scikit-learn Pandas Jupyter
تمرین عملی در یک محیط آزمایشگاهی یا پروژه محلی، یک سناریوی واقعی از «خط مبنای آماری و واژگانی» را اجرا کن. ورودیها، خروجیها و حالتهای خطا را ثبت کن و نتیجه را با معیارهای همین مرحله مقایسه کن.
پروژه پیشنهادی پروژه این گام باید یک خروجی قابل اجرا در حوزه «پردازش زبان طبیعی» باشد و دستکم این موضوعات را پوشش دهد: موضوع فنی: Bag-of-words and n-grams، موضوع فنی: TF-IDF and sparse features، موضوع فنی: Naive Bayes and linear classifiers؛ راهنمای اجرا و شواهد نتیجه را نیز همراه آن ارائه کن.
منابع یادگیری معیار اتمام مرحله معیار اتمام: بتوانی مفاهیم «خط مبنای آماری و واژگانی» را مستقل اجرا کنی، نتیجه را با داده یا آزمون بررسی کنی و محدودیتهای آن را توضیح بدهی.
مرحله بعدی: بردارهای معنایی و بازنمایی متن
✓ این مرحله را تکمیل کردم
پیشنیاز تکمیل مرحله قبلی و تسلط بر خروجیهای آن، بههمراه محیط تمرینی آماده.
هدفهای یادگیری مفهوم «بردارهای معنایی و بازنمایی متن» و ارتباط آن با پردازش زبان طبیعی را توضیح بدهی. موضوعات فنی این مرحله را در یک محیط کنترلشده اجرا و اعتبارسنجی کنی. نتیجه، خطاها، محدودیتها و تصمیمهای فنی را مستند کنی.
موضوعاتی که باید یاد بگیری موضوع فنی: Static embeddings and their limitations موضوع فنی: Contextual embeddings موضوع فنی: Sentence embeddings and vector similarity موضوع فنی: Embedding evaluation and domain shift موضوع فنی: NLP specialization: NLP: focus on tokenisation, linguistic preprocessing, text representation, transformer evaluation and language-specific error analysis.
ابزارهای موردنیاز Sentence Transformers Hugging Face FAISS for a local experiment
تمرین عملی در یک محیط آزمایشگاهی یا پروژه محلی، یک سناریوی واقعی از «بردارهای معنایی و بازنمایی متن» را اجرا کن. ورودیها، خروجیها و حالتهای خطا را ثبت کن و نتیجه را با معیارهای همین مرحله مقایسه کن.
پروژه پیشنهادی پروژه این گام باید یک خروجی قابل اجرا در حوزه «پردازش زبان طبیعی» باشد و دستکم این موضوعات را پوشش دهد: موضوع فنی: Static embeddings and their limitations، موضوع فنی: Contextual embeddings، موضوع فنی: Sentence embeddings and vector similarity؛ راهنمای اجرا و شواهد نتیجه را نیز همراه آن ارائه کن.
منابع یادگیری معیار اتمام مرحله معیار اتمام: بتوانی مفاهیم «بردارهای معنایی و بازنمایی متن» را مستقل اجرا کنی، نتیجه را با داده یا آزمون بررسی کنی و محدودیتهای آن را توضیح بدهی.
مرحله بعدی: مدلهای توالی و Transformer
✓ این مرحله را تکمیل کردم
پیشنیاز تکمیل مرحله قبلی و تسلط بر خروجیهای آن، بههمراه محیط تمرینی آماده.
هدفهای یادگیری مفهوم «مدلهای توالی و Transformer» و ارتباط آن با پردازش زبان طبیعی را توضیح بدهی. موضوعات فنی این مرحله را در یک محیط کنترلشده اجرا و اعتبارسنجی کنی. نتیجه، خطاها، محدودیتها و تصمیمهای فنی را مستند کنی.
موضوعاتی که باید یاد بگیری موضوع فنی: Attention and Transformer blocks موضوع فنی: Encoder, decoder and encoder-decoder models موضوع فنی: Pretraining objectives and token limits موضوع فنی: Model families and task/model fit موضوع فنی: NLP specialization: NLP: focus on tokenisation, linguistic preprocessing, text representation, transformer evaluation and language-specific error analysis.
ابزارهای موردنیاز PyTorch Hugging Face Transformers Model cards
تمرین عملی در یک محیط آزمایشگاهی یا پروژه محلی، یک سناریوی واقعی از «مدلهای توالی و Transformer» را اجرا کن. ورودیها، خروجیها و حالتهای خطا را ثبت کن و نتیجه را با معیارهای همین مرحله مقایسه کن.
پروژه پیشنهادی پروژه این گام باید یک خروجی قابل اجرا در حوزه «پردازش زبان طبیعی» باشد و دستکم این موضوعات را پوشش دهد: موضوع فنی: Attention and Transformer blocks، موضوع فنی: Encoder, decoder and encoder-decoder models، موضوع فنی: Pretraining objectives and token limits؛ راهنمای اجرا و شواهد نتیجه را نیز همراه آن ارائه کن.
منابع یادگیری معیار اتمام مرحله معیار اتمام: بتوانی مفاهیم «مدلهای توالی و Transformer» را مستقل اجرا کنی، نتیجه را با داده یا آزمون بررسی کنی و محدودیتهای آن را توضیح بدهی.
مرحله بعدی: تطبیق مدل با وظیفه و Fine-tuning
✓ این مرحله را تکمیل کردم
پیشنیاز تکمیل مرحله قبلی و تسلط بر خروجیهای آن، بههمراه محیط تمرینی آماده.
هدفهای یادگیری مفهوم «تطبیق مدل با وظیفه و Fine-tuning» و ارتباط آن با پردازش زبان طبیعی را توضیح بدهی. موضوعات فنی این مرحله را در یک محیط کنترلشده اجرا و اعتبارسنجی کنی. نتیجه، خطاها، محدودیتها و تصمیمهای فنی را مستند کنی.
موضوعاتی که باید یاد بگیری موضوع فنی: Fine-tuning vs prompting vs feature extraction موضوع فنی: Learning rate, batch size and overfitting موضوع فنی: Class imbalance and data augmentation موضوع فنی: Reproducible configuration and checkpoints موضوع فنی: NLP specialization: NLP: focus on tokenisation, linguistic preprocessing, text representation, transformer evaluation and language-specific error analysis.
ابزارهای موردنیاز Transformers Trainer PyTorch Weights & Biases or MLflow
تمرین عملی در یک محیط آزمایشگاهی یا پروژه محلی، یک سناریوی واقعی از «تطبیق مدل با وظیفه و Fine-tuning» را اجرا کن. ورودیها، خروجیها و حالتهای خطا را ثبت کن و نتیجه را با معیارهای همین مرحله مقایسه کن.
پروژه پیشنهادی پروژه این گام باید یک خروجی قابل اجرا در حوزه «پردازش زبان طبیعی» باشد و دستکم این موضوعات را پوشش دهد: موضوع فنی: Fine-tuning vs prompting vs feature extraction، موضوع فنی: Learning rate, batch size and overfitting، موضوع فنی: Class imbalance and data augmentation؛ راهنمای اجرا و شواهد نتیجه را نیز همراه آن ارائه کن.
منابع یادگیری معیار اتمام مرحله معیار اتمام: بتوانی مفاهیم «تطبیق مدل با وظیفه و Fine-tuning» را مستقل اجرا کنی، نتیجه را با داده یا آزمون بررسی کنی و محدودیتهای آن را توضیح بدهی.
مرحله بعدی: ارزیابی، استحکام و استفاده مسئولانه
✓ این مرحله را تکمیل کردم
پیشنیاز تکمیل مرحله قبلی و تسلط بر خروجیهای آن، بههمراه محیط تمرینی آماده.
هدفهای یادگیری مفهوم «ارزیابی، استحکام و استفاده مسئولانه» و ارتباط آن با پردازش زبان طبیعی را توضیح بدهی. موضوعات فنی این مرحله را در یک محیط کنترلشده اجرا و اعتبارسنجی کنی. نتیجه، خطاها، محدودیتها و تصمیمهای فنی را مستند کنی.
موضوعاتی که باید یاد بگیری موضوع فنی: Macro/micro metrics and calibration موضوع فنی: Subgroup and language-variant error analysis موضوع فنی: Hallucination, bias and privacy risks where applicable موضوع فنی: Human review and confidence thresholds موضوع فنی: NLP specialization: NLP: focus on tokenisation, linguistic preprocessing, text representation, transformer evaluation and language-specific error analysis.
ابزارهای موردنیاز Evaluate library Great Expectations or custom validators Error analysis notebook
تمرین عملی در یک محیط آزمایشگاهی یا پروژه محلی، یک سناریوی واقعی از «ارزیابی، استحکام و استفاده مسئولانه» را اجرا کن. ورودیها، خروجیها و حالتهای خطا را ثبت کن و نتیجه را با معیارهای همین مرحله مقایسه کن.
پروژه پیشنهادی پروژه این گام باید یک خروجی قابل اجرا در حوزه «پردازش زبان طبیعی» باشد و دستکم این موضوعات را پوشش دهد: موضوع فنی: Macro/micro metrics and calibration، موضوع فنی: Subgroup and language-variant error analysis، موضوع فنی: Hallucination, bias and privacy risks where applicable؛ راهنمای اجرا و شواهد نتیجه را نیز همراه آن ارائه کن.
منابع یادگیری معیار اتمام مرحله معیار اتمام: بتوانی مفاهیم «ارزیابی، استحکام و استفاده مسئولانه» را مستقل اجرا کنی، نتیجه را با داده یا آزمون بررسی کنی و محدودیتهای آن را توضیح بدهی.
مرحله بعدی: پروژه نهایی محصول زبانی
✓ این مرحله را تکمیل کردم
پیشنیاز تکمیل مرحله قبلی و تسلط بر خروجیهای آن، بههمراه محیط تمرینی آماده.
هدفهای یادگیری مفهوم «پروژه نهایی محصول زبانی» و ارتباط آن با پردازش زبان طبیعی را توضیح بدهی. موضوعات فنی این مرحله را در یک محیط کنترلشده اجرا و اعتبارسنجی کنی. نتیجه، خطاها، محدودیتها و تصمیمهای فنی را مستند کنی.
موضوعاتی که باید یاد بگیری موضوع فنی: Data ingestion and preprocessing pipeline موضوع فنی: Model serving and latency measurement موضوع فنی: Monitoring for data drift and quality regressions موضوع فنی: Documentation, privacy and handover موضوع فنی: NLP specialization: NLP: focus on tokenisation, linguistic preprocessing, text representation, transformer evaluation and language-specific error analysis.
ابزارهای موردنیاز FastAPI Docker Prometheus or structured metrics Git
تمرین عملی در یک محیط آزمایشگاهی یا پروژه محلی، یک سناریوی واقعی از «پروژه نهایی محصول زبانی» را اجرا کن. ورودیها، خروجیها و حالتهای خطا را ثبت کن و نتیجه را با معیارهای همین مرحله مقایسه کن.
پروژه پیشنهادی پروژه این گام باید یک خروجی قابل اجرا در حوزه «پردازش زبان طبیعی» باشد و دستکم این موضوعات را پوشش دهد: موضوع فنی: Data ingestion and preprocessing pipeline، موضوع فنی: Model serving and latency measurement، موضوع فنی: Monitoring for data drift and quality regressions؛ راهنمای اجرا و شواهد نتیجه را نیز همراه آن ارائه کن.
منابع یادگیری معیار اتمام مرحله معیار اتمام: بتوانی مفاهیم «پروژه نهایی محصول زبانی» را مستقل اجرا کنی، نتیجه را با داده یا آزمون بررسی کنی و محدودیتهای آن را توضیح بدهی.
پایان نقشه: پروژه نهایی را تکمیل کن و نمونهکارت را بساز.
✓ این مرحله را تکمیل کردم