شما در حال خواندن درس معیارهای ارزیابی دقت پیش‌بینی از دوره‌ی پیش‌بینی تقاضا هستید.

معیارهایی برای ارزیابی دقت پیش‌بینی

به تفاوت مقدار پیش‌بینی شده با واقعیت خطا گفته می‌شود که نمونه‌هایی از کاربرد آن را در درس‌های قبلی مشاهده کردید، مثلاً در درس نمو هموار (هموارسازی نمائی) تلاش کردیم ضرایب آلفا و بتا را طوری انتخاب کنیم که خطای پیش‌بینی به حدأقل برسد.

با این حال به جز روشی که در درس‌های قبلی استفاده کردیم و میانگین خطا نامیده می‌شود، روش‌های دیگری هم برای تعیین دقت پیش‌بینی وجود دارد که در این درس با بخشی از آن‌ها آشنا می‌شوید.

پیش‌نیاز

پیش از شروع این درس لازم است با دو روش جمع زدن خطا آشنا شوید.

یادآوری می‌کنیم که در این درس منظورمان از خطا، تفاضل مقدار واقعی و مقدار پیش‌بینی شده است، مثلاً اگر مقدار واقعی ۸۰ و مقدار پیش‌بینی شده ۱۰۰ باشد، خطا برابر ۲۰- می‌شود.

حالت اول. ارزش مطلق خطاها (Absolute Value of the Errors)

کمی جلوتر برای محاسبه‌ی بعضی شاخص‌ها، مثل MAD، می‌بینید که به جای استفاده از تفاضل مقدار واقعی و پیش‌بینی شده (خطای واقعی) از فاصله‌ی این مقادیر (یا قدر مطلق خطای واقعی) استفاده می‌کنیم که ارزش مطلق اشتباهات یا Absolute Value of the Errors نامیده می‌شود.

به جدول زیر نگاه کنید:

ارزش مطلق خطاهای این جدول برابر عدد ۲۶ است، چون همه‌ی خطاها را مثبت در نظر می‌گیریم و بعداً آن‌ها را جمع می‌کنیم.

حالت دوم. خطای تجمعی پیش‌بینی (Cumulative sum of Forecast Errors)

به این شیوه‌ی جمع زدن خطاها CFE یا RSFE یا Running Sum of Forecast Errors هم گفته می‌شود.

در این حالت از قدر مطلق استفاده نمی‌کنیم و مقادیر واقعی خطاها را با هم جمع می‌کنیم. دوباره به جدول بالا نگاه کنید، اگر همه‌ی خطاها را جمع بزنیم به عدد صفر می‌رسیم که همان خطای تجمعی است.

در خیلی از موارد خطای تجمعی پذیرفته نیست چون مقادیر مثبت و منفی هم‌دیگر را خنثی می‌کنند و همان‌طور که در مثال دیدیم، با وجود خطاهای پیش‌بینی مجموع‌شان صفر می‌شود.

با این حال گاهی CFE یا RSFE برای سیستم پیش‌بینی مناسب هستند و تحلیل‌گر را به جواب دلخواه می‌رسانند، چون خطاهای منفی مراحل قبلی توسط خطاهای مثبت مراحل بعدی جبران می‌شوند و نهایتاً اگر مقدار CFE در راستای مثبت یا منفی تشدید شود، نشان می‌دهد که پیش‌بینی از مسیر خود منحرف شده است.

در ادامه با چند معیار مختلف برای سنجش دقت پیش‌بینی آشنا می‌شوید.

میانگین انحراف مطلق (Mean Absolute Deviation یا MAD)

در MAD برای محاسبه‌ی خطای کلّ پیش‌بینی، فاصله‌ی هرکدام از داده‌های پیش‌بینی شده را از مقادیر اصلی حساب می‌کنیم و از آن‌ها میانگین می‌گیریم، یعنی داریم:

محاسبه‌ی MAD یا میانگین قدرمطلق خطا

دقت کنید که وقتی از فاصله صحبت می‌کنیم،‌ علامت‌ها مهم نیست و برای همین از قدر مطلق استفاده کردیم. مثلاً اگر عدد واقعی ۱۰ و اعداد پیش‌بینی شده ۱۸ و ۲ باشد، هر دو مقدار ۸ واحد تا عدد اصلی فاصله دارند.

به جدول زیر نگاه کنید:

همان‌طور که می‌بینید فاصله‌ی همه‌ی مقادیر پیش‌بینی شده از مقادیر اصلی محاسبه و نهایتاً از آن‌ها میانگین گرفته شده است، در نتیجه میانگین قدر مطلق خطاها (خطای محاسبه شده با MAD)  برابر ۲٫۵ است.

میانگین مجذور خطاها (Mean of Squared Error)

در این روش اختلاف مقادیر واقعی و پیش‌بینی شده به توان دو می‌رسند، به همین علت مقدار MSE حساسیت بیشتری نسبت به پراکندگی داده‌‌ها دارد و برای محاسبه‌ی آن داریم:

محاسبه‌ی مقدار MSE یا میانگین مجذور خطاها

وقتی پراکنده نبودن داده‌ها از اهمیت زیادی برخوردار است، می‌توانیم از مقدار MSE برای مقایسه‌ی دقت پیش‌بینی‌ها استفاده کنیم تا این موضوع به‌طور پررنگ‌تری بررسی شود.

در جدول زیر نمونه‌ای از محاسبه‌ی MSE را می‌بینید:

میانگین درصد خطای مطلق (Mean of Absolute Percent Error)

در این روش مشخص می‌کنیم که در هر دوره، قدر مطلق خطا (|F-A|) چه درصدی از مقدار واقعی (A) است و این مقادیر را برای همه‌ی دوره‌ها محاسبه می‌کنیم و از آن‌ها میانگین می‌گیریم تا خطای MAPE محاسبه شود. این اقدامات را می‌توانیم با رابطه‌ی زیر نمایش دهیم:

فرض کنید مقدار MAPE معادل ۱۰ درصد باشد، این چه معنایی دارد؟ یعنی به‌طور میانگین، اگر مقدار واقعی یک دوره ۱۰۰ بوده است ما آن را حدوداً ۹۰ یا ۱۱۰ پیش‌بینی کردیم و اگر مقدار واقعی دوره‌ی دیگری ۲۰۰ بوده است ما آن را حدوداً ۱۸۰ یا ۲۲۰ پیش‌بینی کردیم.

این مقدار به نسبت MSE شفاف‌تر است و ساده‌تر درک می‌شود، همچنین به واحد اندازه‌‌گیری پیش‌بینی وابسته نیست و می‌تواند نتایج پیش‌بینی‌های مختلف را مقایسه کند.

برای درک این تفاوت فرض کنید دو پیش‌بینی مختلف برای یک کارخانه انجام دادیم:

پیش‌بینی اول (تعداد فروش از سال ۲۰۰۰ تا ۲۰۰۴)

پیش‌بینی اول (مقدار سود از سال ۲۰۰۰ تا ۲۰۰۴ به تومان)

به نظرتان کدام پیش‌بینی دقیق‌تر است؟

اگر مقدار MAD را لحاظ کنیم، میانگین قدر مطلق خطا در پیش‌بینی اول ۴۷۵ و در پیش‌بینی دوم ۱۵۰۰۰۰۰ است، اما نمی‌توانیم این اعداد را مقایسه کنیم چون واحد اندازه‌گیری پیش‌بینی‌ اول و دوم فرق می‌کند (یکی تعداد است و دیگری تومان).

اما معیار MAPE نسبت‌ها را نشان می‌دهد و به واحدها وابسته نیست و همان‌طور که می‌بینید با این معیار، خطای پیش‌بینی اول ۳۳% و خطای پیش‌بینی دوم ۱% محاسبه می‌شود، یعنی پیش‌بینی دوم بسیار دقیق‌تر بوده است.

انحراف معیار (Standard Deviation)

شاخص انحراف معیار یکی از مواردی است که به تحلیل داده‌ها بسیار کمک می‌کند اما بررسی دقیق و ریشه‌ای آن نیازمند درک مفاهیم توزیع نرمال و اصلاح بسل و … است که در چهارچوب‌های این دوره نیست، پس بدون پرداختن به جزئیات و ظرافت‌های ریاضی آن را از نظر کاربردی بررسی می‌کنیم.

انحراف معیار کمک می‌کند تا پراکندگی داده‌ها را بسنجیم و در موضوع پیش‌بینی، نشان می‌دهد که خطاهای پیش‌بینی در دوره‌های مختلف تا چه حد به خطای میانگین نزدیک بوده‌اند.

به رابطه‌ی انحراف از معیار توجه کنید:

محاسبه‌ی انحراف از معیار

مطابق این رابطه برای محاسبه‌ی انحراف معیار اقدامات زیر را انجام می‌دهیم:


مقدار خطای میانگین را محاسبه می‌کنیم (Eavg)

مشخص می‌کنیم که خطای پیش‌بینی هر دوره (t) چقدر از میانگین فاصله داشته است و این مقدار را به توان دو می‌رسانیم. (اسم این مقدار را Vt می‌گذاریم که t شماره‌ی دوره را نشان می‌دهد)

از مقادیر مختلف V میانگین می‌گیریم. (نکته‌ی مهمی دارد که پایین‌تر گفتیم)

نهایتاً از مقدار محاسبه شده جذر می‌گیریم تا انحراف از معیار محاسبه شود.

اما در محاسبه‌ی میانگین مقادیر  V چرا آن‌ها را به‌جای n در n-1 تقسیم کردیم؟

این نوعی تصحیح مقادیر است که اثبات کارایی آن به مباحث عمیق‌تر ریاضی نیاز دارد، اما به‌صورت کلی بدانید که برای داده‌های نمونه‌گیری شده (مثلاً ۱۰۰ نمونه از یک جمعیت بزرگ، مثل درآمد تهرانی‌ها) باید از n-1 استفاده کنیم و اگر داده‌ها نماینده‌ی کل جمعیت باشند (مثلاً ۱۰۰ نمونه از یک جمعیت ۱۰۰ تایی، مثل درآمد کارمندان یک شرکت) از n استفاده می‌کنیم.

در جدول زیر مقدار انحراف از معیار را محاسبه کردیم:

مثال برای انحراف از معیار

شماره و نام درسی که هم‌اکنون خواندید:

درس نهم. معیارهایی برای سنجش دقت پیش‌بینی از دوره‌ی پیش‌بینی تقاضا

درس اولپیش بینی تقاضا چیست و چه کاربردی دارد؟
درس دومتفاوت روش‌های کمی و کیفی پیش بینی
درس سومروش‌های کیفی پیش‌بینی
درس چهارممقدمه‌ی روش‌های کمی
درس پنجم شناسایی رابطه‌ی ریاضی میان علت و معلول
درس ششمپیش بینی با روش‌های مبتنی بر میانگین
درس هفتمپیش‌بینی با روش هموارسازی نمایی (نمو هموار)
درس هشتمپیش‌بینی داده‌های فصلی
درس نهممعیارهایی برای سنجش دقت پیش‌بینی
درس دهممثال کاربردی از پیش‌بینی با اکسل