python

Airflowのconfigで環境変数を使う

documentなどに明示的に記載されてないが、Airflowのconfig file airflow.cfgでは環境変数が使える。 AIRFLOW_HOMEが環境変数として設定されていれば、以下のようにかける。 [core] # The home folder for airflow, default is ~/airflow airflow_home = ${A…

scikit imageでHue(色相), Saturation(彩度)の変更をする

scikit-image: Image processing in Python — scikit-image Hue(色相)とSaturation(彩度)の変更方法は、RGBをHSV変換して、HとSのchannelを変更すれば良い。 どの程度変更すれば良いかがわかりにくいので、GIMPと同じになるように値を調整したものを作成した…

sphinx + breatheでAttributeError: 'NoneType' object has no attribute 'replace'

以下のようなエラーがSphinx + Breatheで出る。 # Sphinx version: 1.6.3 # Python version: 3.6.2rc1 (CPython) # Docutils version: 0.13.1 release # Jinja2 version: 2.9.6 # Last messages: # building [mo]: targets for 0 po files that are out of d…

numpyの演算

numpyの演算は、二次元の配列と一次元の配列を明確に区別している。 一次元の配列はvectorとして、二次元の配列はmatrixとして、数学的に許された演算のみ可能。 例えば、[0 1 2 3 4 5]と[[0 1 2 3 4 5]]の演算はできない。 def printVar(var, symboltable):…

pythonのpackagesのimportまとめ

pythonのpackagesのimportの仕方と使いかたのメモ。 pythonはディレクトリ内に__init__.pyを置いておくと、ディレクトリはpackagesとして認識される。 __init__.pyはpackagesの初期化処理を記述し、なければ空で良い。 まとめ packages内のフォルダ名及びフ…

MacでVirtualenvsをインストール

pythonのvirtualenvs環境をMacに構築する。 pythonは入っているものとする。 インストール 取りあえず今後の為にpipを入れる。pipはpythonのパッケージ管理ソフト。インストールが楽になる。 terminalで以下を実行。 easy_install pip これでpipが入るので今…

Pythonでリストから重複なしの抽出

Pythonに限らず何らかのデータから重複なしでデータをランダムに取りたいということがままあると思う。簡単に思いつくのは、ランダムに一つとって削除、ランダムに一つとって削除を繰り返す方法だが、Pythonの場合ちゃんと関数が用意されている。 良くこの処…

ubuntuにpipでscipyをいれる

sudo apt-get build-dep python-numpy python-scipy pip install numpy pip install scipy でOK

pythonとBeautifulsoupとrequests

Beautifulsoupでscrapingをやってたが日本語の処理でつまずいた。 import requests from bs4 import BeautifulSoup #urlのデータをとってくる req=requests.get(url) #とってきたデータの文字コードを確認 print(req.encoding) #unicode->strに変換してBeaut…

pythonでMySQL操作

pythonでmysqlを弄る機会があったのでメモ。Ubuntu上にpythonを入れる。MySQLは sudo apt-get install mysql でインストールされているものとする。 pythonは2.7を利用し下記のvirtualenvなる仮想環境で実行する。 Ubuntuでpython - adragoonaの日記 つまり…

Ubuntuでpython

Ubuntuでpytonを使う必要性が出てきたのでインストール方法など。 参考になるサイト 開発環境の整備(virtualenv + pip) - kariostroの日記 numpyとmatplotlibのインストール - matsulibの日記今後のためにvirtualenvを使った仮想環境を構築する。 Ubuntuには…