プログラミング

pandasで csvファイル 形式のデータセットを読み込もうとしたら、さっそく「UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x91 in position 1: invalid start byte」というエラーに遭遇したので、その原因と解決策をメモしておきます。

エラー内容

csv ...

プログラミング, 機械学習

BLASはnumpyの実際の処理を担っており、scipyやtensorflow等の高速化にも重要です。numpyをcondaとpipどちらで入れるかによっても使われるBLASも変わってきます。「BLASの違いによる計算処理の速度差」や「自分の環境でどのBLASが入っているか調べる方法」について簡単にまとめます。

プログラミング, 機械学習

pandasにおける欠損値

実験系のデータセットなどでは、空欄がNA, N.A.(Not analyzed)やND, N.D.(Not detected)で補完されていることがあります。pandasでは、NAやNDはただの文字列(object)として認識されているため、そのままの状態ではdropna()、fillna()、isnull()関数を用いた欠損値に対する一括処理をすることができません ...