رگرسيون چيست؟ روشهاي آن كدامند؟

اگر بخواهیم واژه رگرسيون(Regression) را از لحاظ لغوی تعریف نماییم ، این واژه در فرهنگ لغت به معني پسروی، برگشت و بازگشت است. اما اگر آن را از دید آمار و ریاضیات تعریف کنیم اغلب جهت رساندن مفهوم "بازگشت به يک مقدار متوسط يا ميانگين” به کار مي رود. بدين معني که برخي پديده ها به مرور زمان از نظر کمي به طرف يک مقدار متوسط ميل مي کنند.

در حقيقت تحليل رگرسيوني فن و تکنيکي آماري براي بررسي و مدل سازي ارتباط بين متغيرها است. رگرسيون تقريباً در هر زمينه اي از جمله مهندسي، فيزيک، اقتصاد، مديريت، علوم زيستي، بيولوژي و علوم اجتماعي برای برآورد و پیشبینی مورد نیاز است .

مي توان گفت تحليل رگرسيوني، پرکاربردترین روش در بين تکنيک هاي آماري است. شمايي کلي و خلاصه شده از يک تحليل رگرسيوني ساده به صورت زير مي باشد:
در ابتدا تحليل گر حدس مي زند که بين دو متغير نوعي ارتباط وجود دارد ، در حقيقت حدس مي زند که يک رابطه به شکل يک خط بين دو متغير وجود دارد و سپس به جمع آوري اطلاعات کمي از دو متغير مي پردازد و اين داده ها را به صورت نقاطي در يک نمودار دو بعدي رسم مي کند.

در صورتي که نمودار نشان دهنده اين باشد که داده ها تقريباً (نه لزوماً دقيق) در امتداد يک خط مستقيم پراکنده شده اند، حدس تحليل گر تأييد شده و اين ارتباط خطي به صورت زير نمايش داده مي شود:                                

y = a x + b

که در آن  a عرض از مبدأ و b شيب اين خط است.

متغیر ها و خطا : 

بين برخي از نقاط و تصوير آنها بر روي خط رگرسيوني (خط y) کمي تفاوت به چشم مي­خورد که از آن به عنوان خطاي برآورد ياد مي کنيم.
اين خطا ممکن است از خطا در اندازه گيري ، شرایط محیط ، تفاوت های طبیعی و... ناشي شده باشد. بنابراين معادله اوليه را به صورت زير اصلاح مي کنيم:

y = ax + b + є

 معادله بالا يک مدل رگرسيون خطي ناميده مي شود . معمولاً به x متغير مستقل (رگرسيوني) و به y متغير وابسته (پاسخ) گفته مي­شود . که є خطاي تصادفي است که براي کامل شدن مدل و نشان دادن اين که خطا نيز تا حدي وجود دارد در نظر گرفته مي شود.

 فرضیات : 
معمولا فرض میشود که خطاها یکدیگر را خنثی میکنند ، به عبارت دیگر مجموع خطا ها برابر صفر است. همچنین فرض میشود خطای موجود در یک مشاهده رابطه ای با خطاهای دیگر ندارد و در نهایت تغییرات بین خطاها ثابت در نظر گرفته میشود. این سه فرض برای ساختن یک مدل ضروری است و روشهای بسیاری برای پی بردن به وجود (یا عدم برقراری ) این فرض ها وجود دارد . یکی از دلایل استفاده های نادرست از رگرسیون معمولا نادیده گرفتن این فرض ها است که موجب استدلال های غلط خواهد شد.

در صورتي که در مدل رگرسيوني فقط يک متغير مستقل وجود داشته باشد، مدل را مدل رگرسيوني خطي ساده مي نامند.

 روش های رگرسیونی : 

 تا اين مرحله مدل رگرسيوني معرفي شده و کافي است پارامترهاي مجهول مدل (در اينجا a و b) برآورد شوند. برآورد پارامترها در مدل سازي با استفاده از روش های مختلف انجام میشود از جمله روش کمترین مربع خطا.

 
روش کمترین مربع خطا که یکی از روش های مورد استفاده در تحلیل رگرسیونی است اولین بار توسط لژندر (Legendre) ریاضیدان فرانسوی در سال 1805 و گوس (Gauss) ریاضیدان مشهور آلمانی در سال 1809 معرفی و در مطالعات نجومی به کار برده شد .

 پس تا اين قسمت تحليل گر مدلي مشخص را به عنوان الگويي براي داده ها معرفي کرده است. مرحله بعدي"کنترل مناسب بودن مدل" مي باشد که مدل از نظر قابل استفاده بودن و اين که تا چه حد مي تواند خوب داده ها را بيان کند بررسي مي شود و در مورد بکارگيري مدل تصميم گرفته مي شود. در نتيجه مدل يا قابل استفاده تشخيص داده مي شود و يا اينکه بايد اصلاح شود . بنابراين تحليل رگرسيوني فرآيندي همراه با تکرار و بازنگري است، يعني در ابتدا مدلي معرفي مي شود، کيفيت مدل مورد بررسي قرار میگیرد ، مدل قبول و يا اينکه مجدداً اصلاح مي شود.

رابطه قد و وزن، رابطه عرضه و تقاضا در علم اقتصاد، تعيين رابطه بين سن افراد و فشارخون آنها، رابطه بين ميزان مطالعه دانش آموزان و سطح نمرات آنها، رابطه بين نمرات و ميزان قبولي در کنکور سراسري مثال هایی ساده در کاربرد رگرسیون  هستند.