Python3

Pythonでバイト配列を16進文字列に変換してまた元のバイト配列に戻す

2018年9月2日 by hasete2

_v = b’hello world.’ _v_hex = _v.hex() print(_v_hex) _v_bytes = bytes.fromhex(_v_hex) print(_v_bytes) 出力 68656 … 続きを読む

2017年12月20日 by hasete2

先日書いた「PythonでたまったQueueをMulti Threadでさばいていく方法」のMulti Process版 ProcessPoolExecutorではプロセス間で通信できないようだったのでmultiproc … 続きを読む

2017年12月18日 by hasete2

Queueにはいったジョブを指定したThread数で順番にさばいていきたいよ、っていうときに使いますあんまり大量にQueueにいれるとメモリからあふれて落ちるんだろうな import threading import … 続きを読む

2017年1月5日 by hasete2

全Tweetの1%と言われるPublic streamsのsampleを受信してみます。 OAuthやらStreamやら、どう実装するかなーと調べてみるとRequests: 人間のためのHTTP があれば十分なことがわか … 続きを読む

2016年12月31日 by hasete2

久々に新しくec2に私用でインスタンスたてたのでこれまでずっとAmazon Linux使ってたけどCentOS7にしてみた。ついでに先日リリースされたPython3.6.0をインストールしてみました。 cd /usr/l … 続きを読む

2015年8月2日 by hasete2

PythonでジョブキューするといえばやっぱりCeleryがスタンダードなんだろうか。RQというシンプルなジョブキューライブラリもあるんですけど、今回はCeleryを動かしてみる。インストールは簡単。 pip inst … 続きを読む

2015年1月28日 by hasete2

Python3っていうか、3.3以降です。 from concurrent.futures import ProcessPoolExecutor import time def work(job): time.sleep … 続きを読む

2014年12月25日 by hasete2

ApachetとかNginxのログは圧縮して保存してケースが多いんですけど、それを読むときにいちいち解凍してるのもめんどくさいのでgzipのまんま読んでみるサンプル。 import gzip def main(): _f … 続きを読む

2014年11月12日 by hasete2

テキストの類似度って言っても出現する単語の回数比較でしか無いので文意解釈はしてないです。あくまで「出現した文字の一致度」ですね。 Word2Vecとかを使ってテキストを拡張してあげれば少しは文意を加味した類似度といえるの … 続きを読む

2014年11月7日 by hasete2

使ったのはMovieLens 100k。「100,000 ratings from 1000 users on 1700 movies.」だそうです。 from sklearn.cluster import KMea … 続きを読む