Le cas le plus simple d`une variable de prédicteur scalaire unique x et une variable de réponse scalaire unique y est appelée régression linéaire simple. L`extension de variables prédictitrices à valeurs multiples et/ou vectorielles (signalées par un X majuscule) est connue sous le nom de régression linéaire multiple, également appelée régression linéaire multivariable. Presque tous les modèles de régression du monde réel impliquent plusieurs prédicteurs, et les descriptions de base de la régression linéaire sont souvent exprimées en termes de modèle de régression multiple. Notez, cependant, que dans ces cas, la variable de réponse y est toujours un scalaire. Un autre terme, régression linéaire multivariée, désigne les cas où y est un vecteur, c`est-à-dire la même régression linéaire générale. De nombreuses extensions de régression linéaire ont été développées, ce qui permet de assouplie certaines ou toutes les hypothèses sous-jacentes au modèle de base. Les modèles de régression linéaire standard avec des techniques d`estimation standard font un certain nombre d`hypothèses sur les variables prédictitrices, les variables de réponse et leur relation. De nombreuses extensions ont été développées qui permettent à chacune de ces hypothèses d`être assouplies (c.-à-d. réduite à une forme plus faible), et dans certains cas éliminés entièrement. En général, ces extensions rendent la procédure d`estimation plus complexe et chronophage, et peuvent également nécessiter davantage de données afin de produire un modèle tout aussi précis. Divers modèles ont été créés qui permettent l`hétérocedasticité, c.-à-d. les erreurs pour différentes variables de réponse peuvent avoir des variances différentes.

Par exemple, les moindres carrés pondérés sont une méthode d`estimation des modèles de régression linéaire lorsque les variables de réponse peuvent avoir des écarts d`erreur différents, éventuellement avec des erreurs corrélées. (Voir aussi les moindres carrés linéaires pondérés et les moindres carrés généralisés.) L`Hétérocedasticité-les erreurs standard cohérentes est une méthode améliorée pour une utilisation avec des erreurs non corrélées mais potentiellement hétérocédastiques. Les modèles linéaires généralisés (GLMs) sont un cadre pour modéliser des variables de réponse qui sont limitées ou discrètes. Ceci est utilisé, par exemple: la régression linéaire a été le premier type d`analyse de régression à étudier rigoureusement, et à être largement utilisé dans les applications pratiques. [4] c`est parce que les modèles qui dépendent linéairement de leurs paramètres inconnus sont plus faciles à adapter que les modèles qui sont non linéairement liés à leurs paramètres et parce que les propriétés statistiques des estimateurs résultants sont plus faciles à déterminer.