【docstring】Pythonのクラス、メソッド、関数のドキュメント記述【Sphinx】
業務で開発するにしろ、個人で開発するにしろクラスやメソッド、関数を作成した際にドキュメントを記述しておくのはとても重要です。 時間がなくてこんなの書いている暇がない場合もあるかもしれませんが、絶対に書いておいた方がいいで […]
PySparkのファイル読み込み方法 readメソッドとoptions【CSV, TSV, JSON, Excel, TXT, PDF】
PySparkでファイルからデータを読み取り、データフレームに格納する機会は多いので、そこの解説をします。 というか自分のための備忘録だったりしますが…。 CSV, TSV, JSON, Excel, テキストファイルを […]
PySpark + Jupyter Notebookの環境構築【Docker image】Python初心者でも簡単！
急遽仕事で、Azure SynapseのNotebook上のPySparkを使うことになったので、自宅でもPySparkを実行できる環境がほしくなりました。 PySparkはPythonを使用してApache Spark […]