Dados Esparsos do Pandas

Pandas sparse data operation example

When omitted with a specific value (NaN /When missing values are matched with any data, sparse objects will be "compressed". A special SparseIndex object tracks the positions where the data is "dispersed". In an example, this will be more meaningful. All standard Pandas data structures apply the to_sparse method:

　import　pandas　as　pd
　import　numpy　as　np
　ts　=　pd.Series(np.random.randn(10))
　ts[2:-2]　=　np.nan
　sts　=　ts.to_sparse()
　print sts

Os resultados da execução são os seguintes:

　0　-0.810497
　1　-1.419954
　2　NaN
　3　NaN
　4　NaN
　5　NaN
　6　NaN
　7　NaN
　8　0.439240
　9　-1.095910
　dtype:　float64
　BlockIndex
　Block locations: array([0,　8], dtype=int32)
　Block lengths: array([2,　2], dtype=int32)

Due to memory efficiency reasons, sparse objects exist.
Agora vamos supor que você tem um DataFrame muito grande com NA e execute o seguinte código-

　import　pandas　as　pd
　import　numpy　as　np
　df　=　pd.DataFrame(np.random.randn(10000,　4))
　df.ix[:9998]　=　np.nan
　sdf　=　df.to_sparse()
　print　sdf.density

Os resultados da execução são os seguintes:

　　　0.0001

Pode-se converter qualquer objeto esparso em forma densa padrão chamando to_dense

　import　pandas　as　pd
　import　numpy　as　np
　ts　=　pd.Series(np.random.randn(10))
　ts[2:-2]　=　np.nan
　sts　=　ts.to_sparse()
　print　sts.to_dense()

Os resultados da execução são os seguintes:

　0　-0.810497
　1　-1.419954
　2　NaN
　3　NaN
　4　NaN
　5　NaN
　6　NaN
　7　NaN
　8　0.439240
　9　-1.095910
　dtype:　float64

Tipo de Dados Esparsos

Os dados esparsos devem ter o mesmo dtype que sua representação densa. Atualmente, suporta float64，int64e booldtypes. Dependendo do dtype original, o valor padrão de fill_value muda-

float64 − np.nan

A seguir, executaremos o seguinte código para entendermos:

　import　pandas　as　pd
　import　numpy　as　np
　s　=　pd.Series([1,　np.nan,　np.nan])
　print　s
　s.to_sparse()
　print　s

Os resultados da execução são os seguintes:

　0　1.0
　1　NaN
　2　NaN
　dtype:　float64
　0　1.0
　1　NaN
　2　NaN
　dtype:　float64