Método Dos Mínimos Quadrados

Método dos mínimos quadrados
Origem: Wikipédia, a enciclopédia livre.

Saltar para a navegação Saltar para a pesquisa
Esta página ou secção cita fontes confiáveis e independentes, mas
que não cobrem todo o conteúdo, o que compromete a
verificabilidade (desde abril de 2017). Por favor, insira mais referências
no texto. Material sem fontes poderá ser removido.
—Encontre fontes: Google (notícias, livros e acadêmico)
O Método dos Mínimos Quadrados (MMQ), ou Mínimos Quadrados Ordinários (MQO) ou

OLS (do inglês Ordinary Least Squares) é uma técnica de otimização matemática que procura
encontrar o melhor ajuste para um conjunto de dados tentando minimizar a soma dos quadrados
das diferenças entre o valor estimado e os dados observados (tais diferenças são chamadas
resíduos).[1]
É a forma de estimação mais amplamente utilizada na econometria. Consiste em um estimador

que minimiza a soma dos quadrados dos resíduos da regressão, de forma a maximizar o grau de
ajuste do modelo aos dados observados.
Um requisito para o método dos mínimos quadrados é que o fator imprevisível (erro) seja
distribuído aleatoriamente e essa distribuição seja normal. O Teorema Gauss-Markov garante
(embora indiretamente) que o estimador de mínimos quadrados é o estimador não-enviesado de
mínima variância linear na variável resposta.
Outro requisito é que o modelo é linear nos parâmetros, ou seja, as variáveis apresentam uma
relação linear entre si. Caso contrário, deveria ser usado um modelo de regressão não-linear.
Credita-se Carl Friedrich Gauss como o desenvolvedor das bases fundamentais do método dos
mínimos quadrados, em 1795, quando Gauss tinha apenas dezoito anos. Entretanto, Adrien-
Marie Legendre foi o primeiro a publicar o método em 1805, em seu Nouvelles méthodes pour la
détermination des orbites des comètes. Gauss publicou suas conclusões apenas em 1809.[2][3][4]
Índice
 1 Regressão simples
o 1.1 Exemplo de regressão simples
 2 Regressão múltipla
o 2.1 Exemplo de regressão múltipla
 3 Premissas
 4 Coeficiente de determinação R²
o 4.1 Exemplo de R² e R² ajustado
 5 Teste de significância dos coeficientes
o 5.1 Exemplo de teste de significância dos coeficientes
 6 Referências
 7 Ver também
 8 Ligações externas
Regressão simples
Queremos estimar valores de determinada variável . Para isso, consideramos os valores de
outra variável que acreditamos ter poder de explicação sobre conforme a fórmula:
onde:
 : Parâmetro do modelo chamado de constante (porque não depende de ).
 : Parâmetro do modelo chamado de coeficiente da variável .
 : Erro - representa a variação de que não é explicada pelo modelo.
Também temos uma base de dados com valores observados de e de . Perceba que,
usando a base de dados, e são vetores, ou seja, representam uma lista de valores, um
para cada observação da base de dados. O método dos mínimos quadrados ajuda a encontrar as
estimativas de e . Como o nome diz, serão somente estimativas desses parâmetros,

porque o valor real dos parâmetros são desconhecidos. Portanto, ao fazer a estimativa, mudamos
a notação de algumas variáveis:
Deste modo, ao estimar o modelo usando a base de dados, estamos estimando, na verdade:
onde indica cada uma das observações da base de dados e passa a ser chamado de
resíduo, ao invés de erro. Em alguns livros, a notação para as estimativas dos parâmetros é um
pouco diferente. Ao invés de substituir a letra, apenas adiciona-se o símbolo chapéu ( ).
O método dos mínimos quadrados minimiza a soma dos quadrado dos resíduos, ou seja,
minimiza .
A ideia por trás dessa técnica é que, minimizando a soma do quadrado dos resíduos,
encontraremos e que trarão a menor diferença entre a previsão de eo

realmente observado.
Substituindo por , temos:
A minimização se dá ao derivar em relação a e utilizando a regra da cadeia e

então igualar a zero:
Distribuindo e dividindo a primeira expressão por temos:
onde é a média amostral de e é a média amostral de .
Substituindo esse resultado na segunda expressão temos:
Alguns livros também usam uma fórmula diferente que gera o mesmo resultado:
Exemplo de regressão simples

Considere a seguinte base de dados:
Consumo Renda
1 122 139
2 114 126
3 86 90
4 134 144
5 146 163
6 107 136
7 68 61
8 117 62
9 71 41
10 98 120
Aplicando as fórmulas acima, chega-se em:
portanto,
Interpretação: Tirando a parte do Consumo que não é influenciada pela Renda, o incremento de
$ 1 na Renda causa um incremento esperado de $ 0,4954 no Consumo.
Regressão múltipla
A regressão múltipla apresenta um funcionamento parecido com o da regressão simples, porém,
leva em consideração diversas variáveis explicativas influenciando ao mesmo tempo:
Ao usar a base de dados com variáveis explicativas e observações, o modelo pode ser
escrito na forma matricial:
, onde representa o valor da -ésima variável da -ésima observação. A fórmula

também pode ser escrita na forma resumida:
A solução de mínimos quadrados continua sendo alcançada através da minimização da soma do
quadrado dos resíduos , que pode ser reescrito como , onde o apóstrofe significa que a
matriz foi transposta.
Substituindo por , temos:
A minimização pode ser obtida ao derivar em relação a e igualar a zero. O primeiro
termo não depende de , os segundo e terceiro termos são iguais e o terceiro termo é uma
forma quadrática dos elementos de .
Exemplo de regressão múltipla

Considere a base de dados usada no exemplo da regressão simples, porém, acrescente mais uma
variável explicativa (taxa de juros):
Consumo Renda Taxa de Juros

1 122 139 11,5%
2 114 126 12,0%
3 86 90 10,5%
4 134 144 9,0%
5 146 163 10,0%
6 107 136 12,0%
7 68 61 10,5%
8 117 62 8,0%
9 71 41 10,0%
10 98 120 11,5%
Aplicando a fórmula acima, chega-se a:
portanto,
Interpretação: Tirando a parte do Consumo que não é influenciada pela Taxa de Juros, o
incremento de $ 1 na Renda causa um incremento esperado de $ 0,6136 no Consumo; além
disso, o incremento de 1 ponto percentual (0,01) na Taxa de Juros causa um decréscimo
esperado de $ 1034,41 no Consumo.
Premissas
Ao usar o método dos mínimos quadrados, assumimos algumas premissas a respeito das
variáveis:
 Os regressores são fixos: As variáveis da matriz não são estocásticas.
 Erro é aleatório com média 0: O erro é aleatório e sua esperança .

 Homoscedasticidade: A variância do erro é constante.
Ver também: heteroscedasticidade

 Sem correlação: Não existe correlação entre os erros das observações, ou seja, para
qualquer .
 Parâmetros são constantes: e são valores fixos desconhecidos.
 Modelo é linear: Os dados da variável dependente foram gerados pelo processo
linear .
 Erro tem distribuição normal: O erro é distribuído conforme a curva de distribuição
normal.
Caso alguma dessas premissas não seja verdadeira, o método pode gerar resultados sub-ótimos
ou com viés.
Coeficiente de determinação R²
Ver artigo principal: R²
O Coeficiente de determinação, também chamado de R² é uma medida de qualidade do modelo
em relação à sua habilidade de estimar corretamente os valores da variável resposta .
, sendo SQres o Somatório dos Quadrados dos Resíduos e SQtot o Somatório dos
Quadrados Total
ou R² ajustado:
Exemplo de R² e R² ajustado
O valor do coeficiente de determinação, quando aplicado ao caso da regressão simples permite

obter o seguinte resultado:
E, usando os dados do exemplo de regressão múltipla, podemos calcular:

Isso significa que 88,729% da variância de é explicada pela variância de .
Teste de significância dos coeficientes

Ver artigos principais: Estatistica t e Valor p
Se uma variável realmente possui poder explicativo sobre , seu coeficiente deve
ser estatísticamente diferente de zero. Ou seja, deve ser suficientemente maior ou menor do que
zero para que tenhamos confiança de que a variável realmente possui poder explicativo. Caso
isso não seja verdade, a variável poderia ser retirada do modelo sem que exista grande perda da
sua qualidade. Para verificar se os coeficientes são significantes, levamos em consideração que o
estimador tem distribuição normal centrada em e com variância , onde éa
variância do erro . Ou seja:
Porém, como o erro não é observado, usamos a aproximação amostral :
, onde representa o número de variáveis explicativas mais a constante.
Considerando que a hipótese nula é a de que , então a estatística t para a variável j é:
, onde é o j-ésimo elemento da diagonal de .
Aplicando o valor de na curva acumulada da distribuição t de Student com graus de

liberdade, pode-se obter o nível de confiança necessário para que a hipótese nula seja rejeitada.
Ver também: Testes de hipóteses

Exemplo de teste de significância dos coeficientes
Usando os dados do exemplo de regressão múltipla, podemos calcular:
Na distribuição t de Student com 7 (10-2-1) graus de liberdade, o valor de que garante um
nível de confiança de 95% é 2,3646. Como é maior que 2,3646, a hipótese nula de que
é rejeitada com, pelo menos 95% de confiança. O mesmo também ocorre para .

Método Dos Mínimos Quadrados

Enviado por

Direitos autorais:

Formatos disponíveis

Método Dos Mínimos Quadrados

Enviado por

Dados do documento

Descrição original:

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Método Dos Mínimos Quadrados

Enviado por

Direitos autorais:

Formatos disponíveis

Método dos mínimos quadrados

Origem: Wikipédia, a enciclopédia livre.

O Método dos Mínimos Quadrados (MMQ), ou Mínimos Quadrados Ordinários (MQO) ou

É a forma de estimação mais amplamente utilizada na econometria. Consiste em um estimador

Queremos estimar valores de determinada variável . Para isso, consideramos os valores de

 : Parâmetro do modelo chamado de constante (porque não depende de ).

 : Parâmetro do modelo chamado de coeficiente da variável .

 : Erro - representa a variação de que não é explicada pelo modelo.

estimativas de e . Como o nome diz, serão somente estimativas desses parâmetros,

pouco diferente. Ao invés de substituir a letra, apenas adiciona-se o símbolo chapéu ( ).

encontraremos e que trarão a menor diferença entre a previsão de eo

Substituindo por , temos:

A minimização se dá ao derivar em relação a e utilizando a regra da cadeia e

Distribuindo e dividindo a primeira expressão por temos:

onde é a média amostral de e é a média amostral de .

Substituindo esse resultado na segunda expressão temos:

Exemplo de regressão simples

Aplicando as fórmulas acima, chega-se em:

leva em consideração diversas variáveis explicativas influenciando ao mesmo tempo:

, onde representa o valor da -ésima variável da -ésima observação. A fórmula

A solução de mínimos quadrados continua sendo alcançada através da minimização da soma do

Substituindo por , temos:

A minimização pode ser obtida ao derivar em relação a e igualar a zero. O primeiro

forma quadrática dos elementos de .

Exemplo de regressão múltipla

Consumo Renda Taxa de Juros

Aplicando a fórmula acima, chega-se a:

 Os regressores são fixos: As variáveis da matriz não são estocásticas.

 Erro é aleatório com média 0: O erro é aleatório e sua esperança .

Ver também: heteroscedasticidade

 Parâmetros são constantes: e são valores fixos desconhecidos.

 Modelo é linear: Os dados da variável dependente foram gerados pelo processo

O Coeficiente de determinação, também chamado de R² é uma medida de qualidade do modelo

em relação à sua habilidade de estimar corretamente os valores da variável resposta .

O valor do coeficiente de determinação, quando aplicado ao caso da regressão simples permite

E, usando os dados do exemplo de regressão múltipla, podemos calcular:

Teste de significância dos coeficientes

estimador tem distribuição normal centrada em e com variância , onde éa

variância do erro . Ou seja:

Porém, como o erro não é observado, usamos a aproximação amostral :

, onde representa o número de variáveis explicativas mais a constante.

Considerando que a hipótese nula é a de que , então a estatística t para a variável j é:

, onde é o j-ésimo elemento da diagonal de .

Aplicando o valor de na curva acumulada da distribuição t de Student com graus de

Ver também: Testes de hipóteses

Usando os dados do exemplo de regressão múltipla, podemos calcular:

Na distribuição t de Student com 7 (10-2-1) graus de liberdade, o valor de que garante um

Você também pode gostar