Python

PythonでジョブをQueueにいれつつMulti Processでさばいていく方法

2017年12月20日 by hasete2

先日書いた「PythonでたまったQueueをMulti Threadでさばいていく方法」のMulti Process版 ProcessPoolExecutorではプロセス間で通信できないようだったのでmultiproc … 続きを読む

2017年12月18日 by hasete2

Queueにはいったジョブを指定したThread数で順番にさばいていきたいよ、っていうときに使いますあんまり大量にQueueにいれるとメモリからあふれて落ちるんだろうな import threading import … 続きを読む

2017年1月15日 by hasete2

「平均が０、分散が１」ってやつです。平均引いて標準偏差で割ればいいので大した計算量ではないのですが、SciPyを使うと関数一発。便利すぎる。 import numpy as np from scipy.stats im … 続きを読む

2017年1月5日 by hasete2

全Tweetの1%と言われるPublic streamsのsampleを受信してみます。 OAuthやらStreamやら、どう実装するかなーと調べてみるとRequests: 人間のためのHTTP があれば十分なことがわか … 続きを読む

2016年12月31日 by hasete2

久々に新しくec2に私用でインスタンスたてたのでこれまでずっとAmazon Linux使ってたけどCentOS7にしてみた。ついでに先日リリースされたPython3.6.0をインストールしてみました。 cd /usr/l … 続きを読む

2016年6月28日 by hasete2

import itertools _x = [‘0’, ‘1’, ‘2’] _y = [‘a’, ‘b’, ‘c’] for _i, _j in itertools.product(_x, _y): print(_i, … 続きを読む

2015年8月2日 by hasete2

PythonでジョブキューするといえばやっぱりCeleryがスタンダードなんだろうか。RQというシンプルなジョブキューライブラリもあるんですけど、今回はCeleryを動かしてみる。インストールは簡単。 pip inst … 続きを読む

2015年1月28日 by hasete2

Python3っていうか、3.3以降です。 from concurrent.futures import ProcessPoolExecutor import time def work(job): time.sleep … 続きを読む

2014年12月25日 by hasete2

ApachetとかNginxのログは圧縮して保存してケースが多いんですけど、それを読むときにいちいち解凍してるのもめんどくさいのでgzipのまんま読んでみるサンプル。 import gzip def main(): _f … 続きを読む

2014年11月12日 by hasete2

テキストの類似度って言っても出現する単語の回数比較でしか無いので文意解釈はしてないです。あくまで「出現した文字の一致度」ですね。 Word2Vecとかを使ってテキストを拡張してあげれば少しは文意を加味した類似度といえるの … 続きを読む