Keep on moving

あんまりまとまってないことを書きますよ

型ヒントが提供されていないpythonライブラリにmypy用に型ヒントを入れる

who can zen better than cats?

最近mypyを趣味で使い始めたのでいろいろ書こうと思います。 @tk0miiyka さんの記事を読んでとりあえず自分の仕事でmypy使えそうなところをいろいろ考えてみた

対象バージョン

version
python 3.5.2
mypy 0.4.6
last update 2017.01.08

TL;DR

pyiファイルをつくれば世の中の型ヒントが提供されていないプロジェクトに型ヒントをつけられる。 まーでも結構めんどいので、みんなでtypeshedを育てていくのがよさそうです。

GitHub - python/typeshed: Collection of library stubs for Python, with static types

mypyって?

こちらの素晴らしい記事を読んだほうがいいですね。

qiita.com

要はPython3.4以降で使える静的型チェッカーらしい。個人的にはコメントをツールで拡張できるところがいいと思ってます。 コメントだからスクリプトの邪魔をしないんですよね。また、あとから書き足すことも可能です。 世界樹の迷宮風に言うと「君は型を書いてもいいし、書かなくてもいい」ってところです。

ちなみに僕はある程度使い回す&&インターフェースがほぼもう変更されない段階のpythonスクリプトとかに書いてます。 たまにコード読むとこのコードなんだったか忘れますよねー。(ものぐさ

インストール

pipで一発です。python 3.4以降で動くのでvenvとか使うと手元の環境が汚れないので良いかと。

pip install mypy-lang

venvについてはこちら http://docs.python.jp/3.5/library/venv.htmldocs.python.jp

mypyかるく使い方説明

といいつつ、この辺見るのがよさ気。割とちゃんとドキュメントが書かれてるのが良い感じ。

http://mypy.readthedocs.io/en/latest/basics.htmlmypy.readthedocs.io

python2でも使えるよ

type hintってpython3から入ったからpython2のスクリプト使えないっぽく見えるんですが、実際には使えますです。 こんな感じ。

http://mypy.readthedocs.io/en/latest/python2.html?highlight=py2mypy.readthedocs.io

でもtypeshedが対応してないといろいろ怒られる

残念ながらtypeshedに登録されていないライブラリを実行するとmypyさんに怒られてしまう。 例えばfabric用のファイルとかにmypyを実行するとこんな感じで怒られてしまいます。

from fabric.api import run

def test():
  "() -> None"
  run("ls")
$ mypy --py2 fabfile.py 
fabfile.py:1: error: No library stub file for module 'fabric.api'
fabfile.py:1: note: (Stub files are from https://github.com/python/typeshed)

typeshedにstub登録されてないっすよって言われてしまいました。 軽い気持ちでmypy使いたい勢としては辛い。。。。

pyiファイルってのがある

やっとここからが話したかったことです。 そんなどうしようもない人たち向けにpyiってファイルがありまして、これを用意するとなんとかなる。

out/
└── fabric
    ├── __init__.py
    └── api.pyi

api.pyi

def run(command: str): ...
MYPYPATH=./mypy-stub/fabric/ mypy --py2 fabfile.py 

こんな感じで実行しても怒られなくなります。 でも毎回自分でpyiファイルを用意するのはめんどいよね。

stubgen

という声のために、mypyはpyiを作ってくれるコマンドを用意してくれてます。 こんなのをつかうとメソッドリストは簡単につくれる

mypy/stubgen.py

@methane さんが作ってるpymysql用のstubもあって、これもstubgenつかってるらしい。

github.com

使い方はmypyとstubを作りたいライブラリをインストールして、実行するだけ!!

詳しくはコードを読んでね

https://github.com/python/mypy/blob/master/mypy/stubgen.py

mkdir out
stubgen fabric
stubgen fabric.api
stubgen fabric.operations

これで無事作られる...やったー、というわけには行かなくてですね。。。

残念ながら今のstubgenはメソッドとimportを抜き出してくれるだけで、ライブラリ内でimportしてるところをうまく抜き出してくれないんですよね。。。 まー自力でメソッドリストつくらなくてもいいのは助かります。

とかとかで対象になるライブラリのコードを読んで対処します。

というわけで頑張ってある程度実行できるやつを作りました。

github.com

$ git clone https://github.com/masahitojp/fabric-mypy.git
$ MYPYPATH=./fabric-mypy/ mypy --py2 learn_mypy/fabfile.py 

ふーやっと怒られなくなりました。お疲れ様でした。

まーこんな感じで型情報が提供されてないライブラリを使ってmypyできるところまでこれました。 mypyを使いやすくするためになるべくtypeshedに上げるように頑張りたいところですねー

気になってるもの

  • ライブラリ側のバージョンアップでインターフェース変わったらどうするよ
  • pyiのテスト

github.com

参考

tk0miya.hatenablog.com qiita.com qiita.com

PostgresqlでUpdate/Select

やってみたらできた。このへんはRDBMSごとに書き方が変わりそうだな

-- T1.date2にT2のdate2を月末にスライドして格納
 update T1 set date1=a.date1, date2= a.date2 from 
  (select id, date1,
    to_date(to_char(date2,'yyyy-mm-01'),'yyyy-mm-dd') 
     + interval '1 month' + interval '-1 day' date2 
    from T2) a 
  WHERE T1.fk_id = a.id;

Eclipse Collectionガンガン使おう

うまくまとまらないけど、つらつら書いてみようと思う。

vaskir's blog: Hash maps: Rust, F#, D, Go, Scala

読んでてScalaの数値があんまり良くない原因がコメント欄で書かれてた

Scala/JVM's boxing and unboxing is very slow in such a tight loop.
Eclipse collections may be useful.

https://gist.github.com/zakki/66d785b4a9d3c64bc9f8199d7e290e07 13x faster

ただ、元コードがRustでの

  • std::collections::{HashMap}へのキー追加
  • Vecで頭から参照しながら足してく

なので、int[]で計算してたのが気になったのでeclipseコレクションつかって計算してみた

  • org.eclipse.collections.impl.factory.primitive.IntIntMaps
  • org.eclipse.collections.impl.factory.primitive.IntLists
import org.eclipse.collections.api.list.primitive.MutableIntList;
import org.eclipse.collections.impl.factory.primitive.IntIntMaps;
import org.eclipse.collections.impl.factory.primitive.IntLists;

import java.util.Random;
import java.util.function.Supplier;
import java.util.stream.IntStream;


public class Main {

	private static <T> void  time(final String name, Supplier<T> func) {
		long s = System.nanoTime();
		func.get();
		System.out.println(String.format("%s: %d elapsed.", name, (System.nanoTime() - s) / 1_000_000));
	}

	public static void main(String[] args) {
		final MutableIntList source = IntLists.mutable.empty();
		final Random r = new Random();
		IntStream.range(0, 50_000_000).forEach(i -> source.add(r.nextInt()));

		time("Insertion", () -> source.injectInto(IntIntMaps.mutable.empty(), (x, y) -> {
			x.put(y, 0);
			return x;
		}));

		time("Lookups", () -> source.injectInto(0, (x, y) -> x + (y % 10)));
	}
// Insertion: 4793 elapsed.
// Lookups: 482 elapsed.
}

https://gist.githubusercontent.com/masahitojp/475f8da57fd54f56bf9d7786c1311f6a/raw/d9f208ea1c9e29d6b644fbdf38f41d4014074a5b/ECMain.java


それにしてもMapは遅いなぁ。。。
// Map
Insertion : 42535 elapsed.

// eclipse collectionを使用
Insertion: 1040 elapsed. 

まとめ


boxing/unboxingがきになるときはEclipese Collectionを積極的につかうべし

Ubuntu 16.04 でiPhone にUSB でインターネット共有する

Ubuntu 15.10 から16.04にアップグレードしたところiPhoneでUSBでつないでインターネット共有できなくなったので
つながるようにした時の作業内容をまとめます

iphethのインストー

これのインストールと有効化がひつようです。

Ubuntu – Details of package ipheth-utils in xenial

sudo apt-get install ipheth-utils
sudo modprobe ipheth

これで iPhoneをインターネット共有したあとでラップトップPCにUSBでつないで、インターネッツにつながれば成功

/etc/modules への登録


起動時に毎回modprobeするのが面倒なそこのあなた!そんな僕みたいなあなたは /etc/modules に以下のように追加しましょう。
ここに記入するときはmodprobeはいりません

# /etc/modules: kernel modules to load at boot time.
#
# This file contains the names of kernel modules that should be loaded
# at boot time, one per line. Lines beginning with "#" are ignored.
ipheth



これでUbuntuラップトップでもスタバでどやりんぐできるようになれました

C++11/14でPython3を拡張する(pybind11)

ブログ書くの久しぶりだなぁ。。。
システムプログラムってやつを初めて勉強してるので、まとめときます。

tl;;dr

このライブラリをつかうとBoost::Pythonよりも簡単にC++11/1
でPython3を拡張できる。

github.com

簡単な使い方

TODO 後で書く

CMakeとの連携

TODO 後で書く

まとめ

コード

github.com

回文かどうかを判定する関数を実装して、いろいろ速度計測してみた

回文かどうかを判定する関数を書きたくなりまして、goで実装してみました。
回文 - Wikipedia


さくっとかけてしまったのでなんパターンか書いてみて一番早い書き方を探ってみました。
近頃仕事でJVM言語を書く機会が多いので、久々に違う言語でかくと楽しいもんですよねー

実装案

以下の4実装で比較してみました

  1. reverseして元の文字列と比較
  2. 文字列を最初/最後 => 2番目/後ろから2番目 => ...で比較
  3. ↑をutf8モジュールを使って実装
  4. ↑をutf8モジュール+rangeで回す実装

結果

というわけでutf8モジュール+rangeで回す実装が一番早いみたいです。
もっと良い実装を思いついた方がいましたら、ぜひ教えてください。