برنامه درسی

• Haykin, S. S. (2009). Neural networks and learning machines, Pearson Education

• Haykin, S. S. (1999). Neural Networks: A Comprehensive Foundation, Prentice Hall.

• Hagan, M. T., H. B. Demuth and M. Beale (1996). Neural network design, PWS Publishing Co.

• Fausett, L. V. (1994). Fundamentals of Neural Networks: Architectures, Algorithms, and Applications,   Prentice-Hall.

• Mehrotra, K., C. K. Mohan and S. Ranka (1997). Elements of Artificial Neural Networks, MIT Press.

• Bishop, C. M. (1995). Neural Networks for Pattern Recognition, Clarendon Press.

• Hertz, J., A. Krogh and R. G. Palmer (1991). Introduction to the Theory of Neural Computation, Addison-Wesley.

• MacKay, D. J. C. (2003). Information Theory, Inference and Learning Algorithms, Cambridge University Press.

ریز مواد

1. مقدمه و معرفی شبکه‌های عصبی مصنوعی
2. پرسپترون چند لایه (Multi-layer Perceptron)
   • MLP به عنوان تقریب‌زننده عمومی (Universal approximator)
3. الگوریتم انتشار رو به عقب‌ خطا (Error back propagation)
4. بهینه‌سازی در شبکه‌های ژرف
   • مروری بر بهینه‌سازی محدب
   • معرفی انواع روشهای SGD، Momentum، RMS Prop، Adams و …
5. تکنیک‌هایی در آموزش، طراحی و تعمیم‌پذیری شبکه‌های ژرف
   • معرفی تکنیک‌های بهبود تعمیم‌پذیری نظیر regularization، dropout، data augmentation
   • هنجارسازی بسته‌ای (Batch Normalization)
   • انتخاب توابع فعالیت (activation function)، مقداردهی اولیه وزنها، هنجارسازی ورودی و …
6. شبکه‌های عصبی کانولوشنی (Convolutional Neural Networks)
   • لایه‌های convolution و pooling
   • معماریهای معروف شبکه‌های CNN
   • کاربردهای مختلف شبکه‌های CNN
7. شبکه‌های عصبی بازگردنده (Recurrent Neural Networks)
   • مدل‌سازی دنباله‌ها
   • حافظه‌های بلند کوتاه مدت (Long Short Term Memories)
   • شبکه‌های توجه (Attention Networks)
   • مدل‌سازی زبانی (Language Modeling) با استفاده از شبکه‌های RNN
   • کاربرد‌های دیگر شبکه‌های RNN در زمینه‌های مختلف نظیر پردازش زبان طبیعی (Natural Language Processing)
8. معماری تبدیل کننده (Transformer)
9. شبکه‌های جمع-ضرب (Product-Sum)
10. مدل‌های مولد (Generative Models)
    • مدلهای Autoregressive
    • خودکدگذار وردشی (Variational)
    • شبکه‌های مولد حریفانه (Generative Adversarial Networks)
    • مدل‌های مولد مبتنی بر جریان (Flow based)
11. یادگیری تقویتی ژرف (Deep Reinforcement Learning)
    • یادگیری تقویتی ژرف با استفاده از توابع Q (Q function)
    • رویکرد گرادیان سیاست (Policy Gradient)
    • رویکرد بازیگر-نقاد (Actor Critic)
12. نمونه‌های خصمانه (Adversarial)‌ و مقاومت شبکه‌های ژرف به نمونه‌های خصمانه
13. مباحث پیشرفته
    • شبکه‌های دوگان و یادگیری دوگان (Dual Learning)
    • شبکه‌های کانولوشن گرافی
    • یادگیری خودنظارتی (Self-supervised)

ارزیابی

• تمرین: ۳۰٪
• میان‌ترم: ۲۰٪
• پایان‌ترم: ۳۰٪
• آزمون‌های کوتاه: ۱۰٪
• پروژه یا کار تحقیقاتی: ۱۰٪

مراجع

1. Ian Goodfellow, Yoshua Bengio and Aaron Courville, Deep Learning, Book in preparation for MIT Press, 2016.
2. Michael Nielsen, Neural networks and deep learning, Preprint, 2016.

1) A. R. Webb and K. D. Copsey, Statistical pattern Recognition john wiley & sons 2011.
2) G. J. Melachian, Discrinminant Analysis and statical pattern Recognition, john wiley & sons, 2004.
3) D. J. Marchette, Random Graphs for Statistical pattern Recognition, John wiley& sons, 2005.
4) D. Y. Yeung, J. T. Kwok. A. Fred, F. Roli and D. D. Ridder. Structural. Syntactic, and statistical pattern recognition, springer, 2006.
5) J. T. Tou and R. C. Gonzales, pattern Recogntion prenciples, Addison- Wesley, 1981.
6) P. A. Devijver and J. kittler, pattern Recognition: Theory and application, springer, 1986.

اهداف کلی درس رئوس مطالب:

1-  طبقه بندی الگوهای آماری

2- تئوری تخمین و آموزش ماشین

3- توابع تمایز خطی و خوشه بندی

4- تئوری استخراج ویژگی ها

5- تقریب آماری و شناسایی الگو

مبانی الکترونیک نویسنده: دکتر سید علی میرعشقی

مبانی میکروالکترونیک (Fundamentals of Microelectronics) نویسنده: دکتر بهزاد رضوی

کتاب تحلیل و طراحی مدارهای الکترونیک نویسنده تقی شفیعی - جلد اول

طراحی دیجیتال (مدار منطقی) نویسنده: موریس مانو زبان: فارسی (ترجمه دکتر قدرت سپیدنام)

مدارهای دیجیتال و طراحی منطقی نوشته ساموئل سی لی

کتاب پروژه‌های مدار دیجیتال کان

کتاب مدار منطقی براون

کتاب تحلیل و طراحی مدارهای منطقی دیجیتال نلسون

کتاب نظریه اساسی مدارها و شبکه ها دکتر جبه دار

کتاب تحلیل مهندسی مدار هیت، کمرلی و دوربن

• ترجمه قدرت‌الله سپیدنام، انتشارت علوم رایانه
• ترجمه محمود دیانی، انتشارات نص
• ترجمه محمدرضا موسوی تقی‌آبادی، انتشارت خراسان

کتاب نظریه اساسی مدارهای الکتریکی مایرگیز و لاوسون

مدارهای الکتریکی نیلسون و ریدل

مدارهای الکتریکی مفهومی وانگ

کتاب مدار الکتریکی سری شومز محمود نحوی و جوزف ادمینیستر

کتاب اصول مدارهای الکتریکی الکساندر و سادیکو

نظریه اساسی مدارها و شبکه‌های کوه و دسور