カイワレの大冒険 Third

技術的なことや他愛もないことをたまに書いてます

2015-10-01から1ヶ月間の記事一覧

GCPのインスタンスで、pysparkからGCSに繋いでみた

お仕事で大量のデータをピボットテーブルのように集計処理する必要がでてきまして、色々触ってみたので、まとめてみます。 やることはこちら。 GCP(Google Cloud Platform)でgcloudとbdutilの設定を行う GCS(Google Cloud Storage)にCSVを置く pysparkをダウ…

グロ注意。洗濯槽の掃除をしてみた

たまには技術以外の話題でも。 しばらく洗濯槽の掃除をしていなかったことを思い出し、ちょうど連休で時間があったので、掃除してみました。 前に掃除したのが半年ぐらい前だと思いますが、洗濯槽はそれぐらいでもかなり汚れます。 以下に書いてある内容です…