https://xainome-blog.beeskynohito.workers.dev/tags/parquet/Recent content in Parquet on Xainome BlogHugojaTue, 07 Nov 2023 00:00:00 +0000https://xainome-blog.beeskynohito.workers.dev/posts/2023/11/parquet-vscode-data-wrangler/Tue, 07 Nov 2023 00:00:00 +0000https://xainome-blog.beeskynohito.workers.dev/posts/2023/11/parquet-vscode-data-wrangler/<h2 id="parquetファイルについて">parquetファイルについて</h2> <p>parquetファイルは非常に優秀なファイルだと思います。</p> <p>pythonでデータを扱う場合、小規模のデータであればcsvファイルが使われがちですが、私の現場ではparquetファイルが使われています。</p> <h3 id="parquetのメリット">parquetのメリット</h3> <p>メリットとしては</p> <ul> <li> <p>データが圧縮されるため、ストレージの節約になる</p> </li> <li> <p>ファイルを読み込む際、型の指定をしなくても自動で読み込んでくれる</p> </li> <li> <p>データを列で読み込むと高速で読み込める</p> </li> </ul> <h3 id="parquetのデメリット">parquetのデメリット</h3> <p>デメリットとしては</p> <ul> <li>ファイルを手軽に扱えない(テキストファイルで開いたり、書き換えたり)</li> </ul> <p>個人的にはこのように感じています。</p> <h3 id="data-wranglerについて">Data Wranglerについて</h3> <p>これが<a href="https://code.visualstudio.com/docs/datascience/data-wrangler">Data Wrangler</a>(ラングラー)を使えば手軽に見ることができます！ただし、書き換えたりはできないですが…。</p> <p>しかも導入手順も簡単！</p> <ol> <li> <p>拡張機能からData Wranglerをインストール</p> </li> <li> <p>対象のファイルを右クリック &gt; Opne in Data Wranglerをクリック</p> </li> <li> <p>pythonやjupyter notebookのカーネルに接続する</p> </li> <li> <p>必要なライブラリが足らなければインストールを行う</p> </li> </ol> <p>こうすることで以下のような画面でparquetファイルの中身を見ることができます！(画面黒いと目にいいよね)</p> <p><img alt="Data Wrangler_parquet" loading="lazy" src="https://xainome-blog.beeskynohito.workers.dev/posts/2023/11/parquet-vscode-data-wrangler/images/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88-2023-11-07-224946-1024x547.png"></p> <p>csvファイルも同じように見れます</p> <p><img alt="Data Wrangler_csv" loading="lazy" src="https://xainome-blog.beeskynohito.workers.dev/posts/2023/11/parquet-vscode-data-wrangler/images/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88-2023-11-07-224915-1024x547.png"></p> <p>ちなみに上記のデータはスクレイピングで取ってきた求人情報になります(スクレイピングプログラムはChat-GPTに頼みました)。一応利用規約見てスクレイピングに関する規約はなかったので大丈夫かと思いますが、もしやる際は連続アクセスにならないよう2,3秒時間を空けることを勧めます。</p> <h3 id="データ操作について">データ操作について</h3> <p>上のカラム名の場所に欠損の数やユニークな値の数、数値であればヒストグラムの分布などが描かれたりします</p> <p>また左の操作でカラムの操作や欠損値埋め、文字列変換、グループ化など簡単なデータ変換であればこちらで操作できるうえに、コード化ファイルを出力することもできます！</p> <p>おおまかにデータを見ながら加工をし、そのプログラムを作ってくれる素晴らしい機能をMicrosoftが提供していますのでぜひ活用していきたいですね！</p>