معیارهایی برای ارزیابی دقت پیش‌بینی

میانگین انحراف مطلق (Mean Absolute Deviation یا MAD)

در MAD برای محاسبه‌ی خطای کلّ پیش‌بینی، فاصله‌ی هرکدام از داده‌های پیش‌بینی شده را از مقادیر اصلی حساب می‌کنیم و از آن‌ها میانگین می‌گیریم، یعنی داریم:

دقت کنید که وقتی از فاصله صحبت می‌کنیم،‌ علامت‌ها مهم نیست و برای همین از قدر مطلق استفاده کردیم. مثلاً اگر عدد واقعی ۱۰ و اعداد پیش‌بینی شده ۱۸ و ۲ باشد، هر دو مقدار ۸ واحد تا عدد اصلی فاصله دارند.

به جدول زیر نگاه کنید:

همان‌طور که می‌بینید فاصله‌ی همه‌ی مقادیر پیش‌بینی شده از مقادیر اصلی محاسبه و نهایتاً از آن‌ها میانگین گرفته شده است، در نتیجه میانگین قدر مطلق خطاها (خطای محاسبه شده با MAD)  برابر ۲٫۵ است.

میانگین مجذور خطاها (Mean of Squared Error)

در این روش اختلاف مقادیر واقعی و پیش‌بینی شده به توان دو می‌رسند، به همین علت مقدار MSE حساسیت بیشتری نسبت به پراکندگی داده‌‌ها دارد و برای محاسبه‌ی آن داریم:

وقتی پراکنده نبودن داده‌ها از اهمیت زیادی برخوردار است، می‌توانیم از مقدار MSE برای مقایسه‌ی دقت پیش‌بینی‌ها استفاده کنیم تا این موضوع به‌طور پررنگ‌تری بررسی شود.

در جدول زیر نمونه‌ای از محاسبه‌ی MSE را می‌بینید:

میانگین درصد خطای مطلق (Mean of Absolute Percent Error)

در این روش مشخص می‌کنیم که در هر دوره، قدر مطلق خطا (|F-A|) چه درصدی از مقدار واقعی (A) است و این مقادیر را برای همه‌ی دوره‌ها محاسبه می‌کنیم و از آن‌ها میانگین می‌گیریم تا خطای MAPE محاسبه شود. این اقدامات را می‌توانیم با رابطه‌ی زیر نمایش دهیم:

فرض کنید مقدار MAPE معادل ۱۰ درصد باشد، این چه معنایی دارد؟ یعنی به‌طور میانگین، اگر مقدار واقعی یک دوره ۱۰۰ بوده است ما آن را حدوداً ۹۰ یا ۱۱۰ پیش‌بینی کردیم و اگر مقدار واقعی دوره‌ی دیگری ۲۰۰ بوده است ما آن را حدوداً ۱۸۰ یا ۲۲۰ پیش‌بینی کردیم.

این مقدار به نسبت MSE شفاف‌تر است و ساده‌تر درک می‌شود، همچنین به واحد اندازه‌‌گیری پیش‌بینی وابسته نیست و می‌تواند نتایج پیش‌بینی‌های مختلف را مقایسه کند.

برای درک این تفاوت فرض کنید دو پیش‌بینی مختلف برای یک کارخانه انجام دادیم:

پیش‌بینی اول (تعداد فروش از سال ۲۰۰۰ تا ۲۰۰۴)

پیش‌بینی اول (مقدار سود از سال ۲۰۰۰ تا ۲۰۰۴ به تومان)

به نظرتان کدام پیش‌بینی دقیق‌تر است؟

اگر مقدار MAD را لحاظ کنیم، میانگین قدر مطلق خطا در پیش‌بینی اول ۴۷۵ و در پیش‌بینی دوم ۱۵۰۰۰۰۰ است، اما نمی‌توانیم این اعداد را مقایسه کنیم چون واحد اندازه‌گیری پیش‌بینی‌ اول و دوم فرق می‌کند (یکی تعداد است و دیگری تومان).

اما معیار MAPE نسبت‌ها را نشان می‌دهد و به واحدها وابسته نیست و همان‌طور که می‌بینید با این معیار، خطای پیش‌بینی اول ۳۳% و خطای پیش‌بینی دوم ۱% محاسبه می‌شود، یعنی پیش‌بینی دوم بسیار دقیق‌تر بوده است.

انحراف معیار (Standard Deviation)

شاخص انحراف معیار یکی از مواردی است که به تحلیل داده‌ها بسیار کمک می‌کند اما بررسی دقیق و ریشه‌ای آن نیازمند درک مفاهیم توزیع نرمال و اصلاح بسل و … است که در چهارچوب‌های این دوره نیست، پس بدون پرداختن به جزئیات و ظرافت‌های ریاضی آن را از نظر کاربردی بررسی می‌کنیم.

انحراف معیار کمک می‌کند تا پراکندگی داده‌ها را بسنجیم و در موضوع پیش‌بینی، نشان می‌دهد که خطاهای پیش‌بینی در دوره‌های مختلف تا چه حد به خطای میانگین نزدیک بوده‌اند.

به رابطه‌ی انحراف از معیار توجه کنید:

مطابق این رابطه برای محاسبه‌ی انحراف معیار اقدامات زیر را انجام می‌دهیم:

مشخص می‌کنیم که خطای پیش‌بینی هر دوره (t) چقدر از میانگین فاصله داشته است و این مقدار را به توان دو می‌رسانیم. (اسم این مقدار را V_t می‌گذاریم که t شماره‌ی دوره را نشان می‌دهد)

از مقادیر مختلف V میانگین می‌گیریم. (نکته‌ی مهمی دارد که پایین‌تر گفتیم)

نهایتاً از مقدار محاسبه شده جذر می‌گیریم تا انحراف از معیار محاسبه شود.

اما در محاسبه‌ی میانگین مقادیر  V چرا آن‌ها را به‌جای n در n-1 تقسیم کردیم؟

این نوعی تصحیح مقادیر است که اثبات کارایی آن به مباحث عمیق‌تر ریاضی نیاز دارد، اما به‌صورت کلی بدانید که برای داده‌های نمونه‌گیری شده (مثلاً ۱۰۰ نمونه از یک جمعیت بزرگ، مثل درآمد تهرانی‌ها) باید از n-1 استفاده کنیم و اگر داده‌ها نماینده‌ی کل جمعیت باشند (مثلاً ۱۰۰ نمونه از یک جمعیت ۱۰۰ تایی، مثل درآمد کارمندان یک شرکت) از n استفاده می‌کنیم.

در جدول زیر مقدار انحراف از معیار را محاسبه کردیم: