1.

unique e nunique
A função unique no Pandas retorna uma lista dos elementos únicos com base na
ocorrência. Esta função é mais rápida do que a unique do NumPy e também inclui
valores NaN. Isso é particularmente útil para verificar os diferentes valores em um
campo categórico.
1 data['Embarked'].unique()

2. describe
Esta função mostra estatísticas descritivas, como média, desvio padrão, máximo,
mínimo e outras tendências centrais, além da forma da distribuição. Isso exclui os
valores NaN do resumo. Isso é útil para se ter uma ideia sobre a distribuição dos
campos de dados e outliers, se houver. O percentil da saída pode ser
personalizado mencionando a faixa de percentis no parâmetro da função.
data.describe()

1 data.describe()

3. sort_values
Esta função altera a ordem dos valores em uma coluna classificando-a. Portanto,
podemos usar isso para mostrar o dataset de acordo com nossa necessidade,
classificando em ordem crescente ou decrescente.
Podemos definir o parâmetro “ascending” verdadeiro ou falso, que por padrão é
verdadeiro. Também podemos alterar a classificação por índice ou coluna
definindo o parâmetro “eixo” 0 ou 1. Além disso, podemos classificar várias
colunas mencionando-as em uma lista, por exemplo:
1 (e.g. data.sort_values(by=[‘Age’,’Pclass’, ascending=[False,True])
2 data.sort_values(by='Age',ascending=False)

4. value_counts
Esta função retorna o valor da contagem para cada item exclusivo presente na
coluna. Os valores são exibidos em ordem decrescente para que o elemento mais
frequente venha primeiro. Isso exclui os valores nulos. Aqui, veremos o número de
homens e mulheres a bordo em diferentes classes, chamando a função
value_counts () da seguinte maneira:
1 data[['Pclass','Sex']].value_counts()
5. isnull
Esta função descobre se há algum valor ausente presente em um objeto do tipo
array. Esta função retorna valores booleanos após verificar os valores ausentes.
Estamos criando uma lista com um valor nulo e quando ela é passada pela função
isnull (), ela dá saída com uma lista booleana.

Isso também pode ser útil quando verificamos se há valores ausentes em um

grande dataframe. Podemos calcular o número total de valores ausentes de uma
coluna adicionando a função sum () ao final da função isnull (). Aqui, pegamos
nosso dataset e verificamos para cada coluna se há algum valor ausente e
mostramos o mesmo.

#tirando cada coluna do dataframe

1 forcolindata.columns:
#verificando se há algum nulo na coluna
1 ifdata[col].isnull().sum()>0:
#se for nulo, número total de nulos nas colunas armazenadas
total_null=data[col].isnull().sum()
1 print('Column{}hastotalnull{},i.e.{}
%'.format(col,total_null,round(total_null*100/len(data),2)))

6. fillna
Esta função é usada para preencher os valores ausentes com base no método
especificado. Fillna usa parâmetros como valor (um valor que é usado para
preencher o valor ausente) e método (como bfill, ffill, etc). Em nosso conjunto de
dados de exemplo, o campo “Idade” tem um total de 177 valores ausentes. Vamos
preenchê-lo com a mediana de “Idade” usando a função fillna ().

1 data['Age'].fillna(value=data['Age'].median(),inplace=True)
2 data['Age'].isnull().sum()
7. groupby
A função Pandas groupby( ) é usada para dividir os dados e ajudar a aplicação
de alguma função a eles e no final combinar o resultado para outro objeto.
Frequentemente precisamos dividir os dados e aplicar alguma agregação (por
exemplo, soma, média, contagem, etc.) ou transformá-los (por exemplo, para
preencher valores ausentes ou padronizar dados), a função groupby é útil nessas
situações.

# queremos ver para cada campo de gênero máximo, mínimo, média e mediana de
idade
1 data.groupby(['Sex'])['Age'].agg(['max','min','mean','median'])

8. map
A função map ( ) no Pandas é usada para mapear séries e substituir valores de
uma série por outro valor associado a um dicionário, série ou função. Esta função
é frequentemente usada para substituir valores de uma coluna de um dataframe ou
uma série, mas lembre-se que todos os valores têm de ser do mesmo tipo!
Em nosso dataset, suponha que queremos converter o campo de gênero em um
campo binário, ou seja, substituir “masculino” pelo valor 1 e feminino pelo valor 0.
O mesmo pode ser feito facilmente da seguinte maneira:
1 data['Sex'].head()

Saída:

#crie um dicionário para substituir os valores

1 gender = {'male':1, 'female':0}
#chame a função map e passe o dicionário para mapear os valores da coluna
1 data['Sex'].map(gender).head()
30 de junho de 2021
 Tempo de Leitura: 5 minutos

Análise de Dados Dataframes Pandas

10 funções mais usadas

para manipular
dataframes no Pandas
FacebookTwitterWhatsAppTelegramLinkedIn
O Pandas é uma das bibliotecas mais utilizadas para analisar dados em Python,
além de ser uma ferramenta poderosa, flexível e confiável para muitos analistas de
dados. Existem algumas funções conhecidas, bem como técnicas não tão formais
que podem tornar a vida mais fácil para qualquer analista de dados, seja ele um
profissional ou um entusiasta.
Neste artigo, serão discutidas algumas funções úteis e técnicas significativas,
todas com exemplos. Com certeza você já usou algumas dessas funções com
frequência, mas elas podem não ser tão familiares para todos. No geral, você
enriquecerá suas habilidades em Análise de Dados.
No decorrer deste artigo você verá as seguintes funções:
 unique e nunique
 describe
 sort_values
 value_counts
 isnull
 fillna
 groupby
 map e seu uso para codificação categórica
 apply e lambda
 pivot
Vamos começar
Antes de usar as funções mencionadas acima, você pode criar um dataframe
usando o dataset Kaggle Titanic, você pode baixá-lo aqui . Dessa forma, uma
variedade de opções pode ser explorada. Como alternativa, qualquer conjunto de
dados de código aberto pode ser usado para a prática.
1. unique e nunique
A função unique no Pandas retorna uma lista dos elementos únicos com base na
ocorrência. Esta função é mais rápida do que a unique do NumPy e também inclui
valores NaN. Isso é particularmente útil para verificar os diferentes valores em um
campo categórico.
1 data['Embarked'].unique()

Saída:
1 array (['S', 'C', 'Q', nan], dtype = objeto)

A função Nunique, por outro lado, conta os valores distintos das colunas. Os
valores NaN podem ser ignorados. Isso mostra apenas o número de categorias
diferentes presentes em uma coluna de um dataframe.
1 data['Embarked'].nunique()

Saída: 3

2. describe
Esta função mostra estatísticas descritivas, como média, desvio padrão, máximo,
mínimo e outras tendências centrais, além da forma da distribuição. Isso exclui os
valores NaN do resumo. Isso é útil para se ter uma ideia sobre a distribuição dos
campos de dados e outliers, se houver. O percentil da saída pode ser
personalizado mencionando a faixa de percentis no parâmetro da função.
data.describe()

1 data.describe()

Saída:

3. sort_values
Esta função altera a ordem dos valores em uma coluna classificando-a. Portanto,
podemos usar isso para mostrar o dataset de acordo com nossa necessidade,
classificando em ordem crescente ou decrescente.
Podemos definir o parâmetro “ascending” verdadeiro ou falso, que por padrão é
verdadeiro. Também podemos alterar a classificação por índice ou coluna
definindo o parâmetro “eixo” 0 ou 1. Além disso, podemos classificar várias
colunas mencionando-as em uma lista, por exemplo:
1 (e.g. data.sort_values(by=[‘Age’,’Pclass’, ascending=[False,True])

2 data.sort_values(by='Age',ascending=False)

Saída:

4. value_counts
Esta função retorna o valor da contagem para cada item exclusivo presente na
coluna. Os valores são exibidos em ordem decrescente para que o elemento mais
frequente venha primeiro. Isso exclui os valores nulos. Aqui, veremos o número de
homens e mulheres a bordo em diferentes classes, chamando a função
value_counts () da seguinte maneira:
1 data[['Pclass','Sex']].value_counts()

Saída:

5. isnull
Esta função descobre se há algum valor ausente presente em um objeto do tipo
array. Esta função retorna valores booleanos após verificar os valores ausentes.
Estamos criando uma lista com um valor nulo e quando ela é passada pela função
isnull (), ela dá saída com uma lista booleana.

Isso também pode ser útil quando verificamos se há valores ausentes em um

grande dataframe. Podemos calcular o número total de valores ausentes de uma
coluna adicionando a função sum () ao final da função isnull (). Aqui, pegamos
nosso dataset e verificamos para cada coluna se há algum valor ausente e
mostramos o mesmo.

#tirando cada coluna do dataframe

1 forcolindata.columns:

#verificando se há algum nulo na coluna

1 ifdata[col].isnull().sum()>0:

#se for nulo, número total de nulos nas colunas armazenadas

total_null=data[col].isnull().sum()
1 print('Column{}hastotalnull{},i.e.{}
%'.format(col,total_null,round(total_null*100/len(data),2)))

Saída:

6. fillna
Esta função é usada para preencher os valores ausentes com base no método
especificado. Fillna usa parâmetros como valor (um valor que é usado para
preencher o valor ausente) e método (como bfill, ffill, etc). Em nosso conjunto de
dados de exemplo, o campo “Idade” tem um total de 177 valores ausentes. Vamos
preenchê-lo com a mediana de “Idade” usando a função fillna ().

1 data['Age'].fillna(value=data['Age'].median(),inplace=True)

2 data['Age'].isnull().sum()

Saída: 0
O parâmetro “valor” de fillna () também pode ser obtido de outro groupby complexo
ou dataframe ou dicionário.

7. groupby
A função Pandas groupby( ) é usada para dividir os dados e ajudar a aplicação
de alguma função a eles e no final combinar o resultado para outro objeto.
Frequentemente precisamos dividir os dados e aplicar alguma agregação (por
exemplo, soma, média, contagem, etc.) ou transformá-los (por exemplo, para
preencher valores ausentes ou padronizar dados), a função groupby é útil nessas
situações.

# queremos ver para cada campo de gênero máximo, mínimo, média e mediana de
idade
1 data.groupby(['Sex'])['Age'].agg(['max','min','mean','median'])

Saída:
8. map
A função map ( ) no Pandas é usada para mapear séries e substituir valores de
uma série por outro valor associado a um dicionário, série ou função. Esta função
é frequentemente usada para substituir valores de uma coluna de um dataframe ou
uma série, mas lembre-se que todos os valores têm de ser do mesmo tipo!
Em nosso dataset, suponha que queremos converter o campo de gênero em um
campo binário, ou seja, substituir “masculino” pelo valor 1 e feminino pelo valor 0.
O mesmo pode ser feito facilmente da seguinte maneira:
1 data['Sex'].head()

Saída:

#crie um dicionário para substituir os valores

1 gender = {'male':1, 'female':0}

#chame a função map e passe o dicionário para mapear os valores da coluna

1 data['Sex'].map(gender).head()

Saída:

9. apply
A função apply() no Pandas certamente é uma das funções mais versáteis entre
todas. Nós podemos utilizar uma função apply() e ela se aplicará a todo o
dataframe (ou a uma série particular). Isso ajuda a modificar os dados de acordo
com a condição de uma maneira muito flexível. Vamos ver um exemplo simples,
aqui temos um dataframe e uma das colunas tem marcas que queremos converter
em uma porcentagem.
1 df=pd.DataFrame({'Name':['X','Y','Z'],'Marks':[150,120,175]})

2 df

Saída:

1 def percentage_marks(x):

2 return x/2

3 df['Marks'].apply(percentage_marks)

Saída:

Aplicar função também pode ser usada com função anônima ou função lambda.
Suponha que tenhamos que converter um campo contínuo como “idade” em uma
coluna de faixa etária diferente ou converter um campo categórico em um campo
codificado por rótulo e, em seguida, aplicar a função junto com a função lambda é
muito útil nessas situações.
1 data['Age_bin']=data['Age'].apply(lambda x : 1 if x<=30 else

2 (2 if x>30 and x<=45 else</pre>

3  (3 if x>45 and x<=60 else 4)))

A coluna Age_bin será criada da seguinte forma

10. pivot
A função pivot remodela o dataset por valores de índice ou coluna. Essa função é
basicamente semelhante à tabela dinâmica. Ele usa o valor exclusivo de uma
coluna para formar um índice de um dataset. Ao contrário da função groupby, o
pivot não oferece suporte à agregação de dados. Veja exemplo abaixo:
df=pd.DataFrame({'Class':
1
['1st','2nd','3rd','1st','2nd','3rd'],'Section':</pre>
<pre>['A','A','A','B','B','B'],'Gr':[1,2,3,4,5,6]})</
2
pre>
3 <pre>df

Saída:

1 df.pivot(index='Class',columns='Section',values='Gr')

Saída: