Keep on moving

あんまりまとまってないことを書きますよ

Play Framework 2.7.x + EvolutionsでEvolutionsが動かなくなった時のTips

Play Frameworkのバージョンを 2.6から2.7に上げていてEvolutionsが動かなくなるパターンがあるので共有です。 限定的な条件なんですが、私はとてもハマったので次にハマった人のために情報を残しておこうと思います。 :sob:

TL;DR

  • Play Framework 2.6以下 + HTTP Request Handlersを拡張している + Evolutionsを使っている場合にEvolutionsが実行されなくなる
  • DefaultHttpRequestHandlerの書き方が変更になり2.6までのコンストラクターがDeprecatedになったのが原因
  • 2.7で追加されたコンストラクタを追加するように変更する必要がある

起こったこと

  • Play Framework 2.6以下 + HTTP Request Handlersを拡張している + Evolutionsを使っている場合にEvolutionsが実行されなくなる
    • 正確にいうとPlay Frameworkでローカルで開発用にDEVモードで実行した時に play_evolutionsテーブルが作られるが、 d.sql(dには数字が入る)が実行されなくなる

原因詳細

Play2.6で DefaultHttpRequestHandler を拡張していて、2.7に上げてビルドするとこんなwarningが出る。

19:50:51 [warn] /app/modules/CustomRequestHandler.scala:14:11: constructor DefaultHttpRequestHandler in class DefaultHttpRequestHandler is deprecated (since 2.7.0): Use the main DefaultHttpRequestHandler constructor 19:50:51 [warn] ) extends DefaultHttpRequestHandler(

www.playframework.com

www.playframework.com

抜粋して変更点をかくと

2.6

class VirtualHostRequestHandler @Inject() (errorHandler: HttpErrorHandler,
    configuration: HttpConfiguration, filters: HttpFilters,
    fooRouter: foo.Routes, barRouter: bar.Routes
  ) extends DefaultHttpRequestHandler(
    fooRouter, errorHandler, configuration, filters
  ) {

2.7

class VirtualHostRequestHandler @Inject() (
    webCommands: WebCommands,                // 2.7から追加されたもの
    optionalDevContext: OptionalDevContext,  // 2.7から追加されたもの
    errorHandler: HttpErrorHandler,
    configuration: HttpConfiguration, filters: HttpFilters,
    fooRouter: foo.Routes, barRouter: bar.Routes
  ) extends DefaultHttpRequestHandler(
    webCommands, optionalDevContext, fooRouter, errorHandler, configuration, filters
  ) {

この時2.6のドキュメントで触れられている方のコンストラクタを使うとこんなコードになる

playframework/HttpRequestHandler.scala at master · playframework/playframework · GitHub

  def this(router: Router, errorHandler: HttpErrorHandler, configuration: HttpConfiguration, filters: HttpFilters) = {
    this(new DefaultWebCommands, None, router, errorHandler, configuration, filters.filters)
  }

そう、この場合optionalDevContext がNoneになってしまう。

playframework/HttpRequestHandler.scala at master · playframework/playframework · GitHub

    // If we've got a BuildLink (i.e. if we're running in dev mode) then run the WebCommands.
    // The WebCommands will have a chance to intercept the request and override the result.
    // This is used by, for example, the evolutions code to present an evolutions UI to the
    // user when the access the web page through a browser.
    //
    // In prod mode this code will not be run.
    val webCommandResult: Option[Result] = optDevContext.flatMap { devContext: DevContext =>
      webCommands.handleWebCommand(request, devContext.buildLink, devContext.buildLink.projectPath)
    }

そう、この場合webCommandResultがNoneになってしまうのが原因でEvolutionsが起動しなくなっていました。 Evolutionsは Play FrameworkのWebCommandを使って実行されているため、影響を受けてしまったようです。 というわけで ここはdeprecatedなwarningが出ないように変更してやれば無事Evolutionsが実行されるようになります。

class VirtualHostRequestHandler @Inject() (
    webCommands: WebCommands,                // 2.7から追加されたもの
    optionalDevContext: OptionalDevContext,  // 2.7から追加されたもの
    errorHandler: HttpErrorHandler,
    configuration: HttpConfiguration, filters: HttpFilters,
    fooRouter: foo.Routes, barRouter: bar.Routes
  ) extends DefaultHttpRequestHandler(
    webCommands, optionalDevContext, fooRouter, errorHandler, configuration, filters
  ) {

気づいてしまえばすぐに直せるんですが、ちょっとわかりづらいですね。。Play Frameworkのバージョンを上げるとdeprecatedなwarningが出がちなのですが、きちんと確認した方がハマりどころをへらせそうですね。

さらに詳細

サンプル

github.com

pep572で遊ぶ そして mypyはまだ対応してないっぽい

Python3.8a0がリリースされましたね。

www.python.org

さっそく PEP 572 で遊んでみました。

TL;DR

  • PEP572をざっくり触った
  • mypyはまだPEP572に対応していない

ざっくり使い方

# current 
env_base = os.environ.get("PYTHONUSERBASE", None)
if env_base:
    return env_base

# Improved:

if env_base := os.environ.get("PYTHONUSERBASE", None):
    return env_base

こんな感じで ifとか while内で変数に格納しつつ条件をつけられるようになった感じです。

## Type Hintsの当て方

残念ながら現在のmypyバージョンでは pep 572に対応していません(泣)

将来的には対応するんじゃないかなーと思います。PEP-0526 ではこんな記述があります

Only single assignment targets and single right hand side values are allowed. In addition, one cannot annotate variables used in a for or with statement; they can be annotated ahead of time, in a similar manner to tuple unpacking:

a: int for a in my_iter: ...

予想ですが、以下のようにtype hintsがかけるようになる可能性があるかもです。

env_base : str
if env_base := os.environ.get("PYTHONUSERBASE", None):
    return env_base

PEP526の拡張がでるかもなので、もう少し調べてみます。 ひさびさに調べて結果がでなかったことをブログに書いたな....

自作キーボード入門ーErgo42 をつくった

2019年あけましておめでとうございます。 前から気になってた自作キーボード作成に挑んでみました。

ちなみに電子工作は高校の技術の授業以来でした。はんだづけがひさしぶりすぎてだいぶ苦戦しました。 軽くメモをのこしておきます。

モチベーション

https://ergodox-ez.com/

職場でErgoDoxを使っていて非常にまんぞくしています。 家とかカフェでも使いたいなーと思うんですが、ただコレを持って歩くのは割と重いし大きいしなんかいいのないかなーと ずっと思ってました。

自作キーボードの話は知っていたのですが、さすがにはんだ付けが必要って話を聞いていて二の足をふんでましたが、年末に時間があるなってことに気づいて思い切って始めてみました。

キーボードの選定

ergo42を選んでみた.キーキャップ選んだりするのが醍醐味だってのがわかりつつまずは1個つくってみたくてキーキャップなどが全部ついてるコンプリートキットを選んでみた。

booth.pm

ちなみにDSA White Keycap + Kailh Pro Burgundyを選びました。正直何を選ぶべきかよくわかんなくて上から一番目をえらびました。笑

組み立てるためにかったもの

キーボード自作、特に Helix キーボードキットの製作に最低必要な工具のメモ · GitHub

こちらを参考に色々買いました。必須って書かれてるものはほんとちゃんと買うといいと思います。 追加で買ったコテ先は使いやすかったです、腕と経験はもので補えるんだなってことを痛感しました。 あとリードベンダー-は作業しててまじでほしくなりました。

組み立て方

qiita.com

色んな人が書いてくれてますがこちらのページを参考にしました。 はんだ付けは高校の授業以来なんで大分苦戦しました。テスターの使い方も説明書をちゃんと読まないとわかんなくてほんと大変だったんですが、 その分キーボードが動いてくれたときの感動はひとしおでしたね。

現在のキーボード配置

ErogoDoxにくらべてキー数が減った分スゴく悩んでます。

    /* BASE
   * ,------------------------------------------------.   ,------------------------------------------------.
   * | ESC  |  `   |   Q  |   W  |   E  |   R  |  T   |   |  Y   |   U  |   I  |   O  |   P  |   [  |   ]  |
   * |------+------+------+------+------+------+------|   |-------------+------+------+------+------+------|
   * | META | LCtrl|   A  |   S  |   D  |   F  |  G   |   |  H   |   J  |   K  |   L  |   ;  |   '  |   \  |
   * |------+------+------+------+------+------+------|   |------|------+------+------+------+------+------|
   * | SYMB | LSft |   Z  |   X  |   C  |   V  |  B   |   |  N   |   M  |   ,  |   .  |   /  |  UP  | RSft |
   * |------+------+------+------+------+------+------|   |------+------+------+------+------+------+------|
   * | LGUI | TAB  |      |      | LAlt | RAlt | Bksp |   |Space |Enter |   -  |   =  | LEFT | DOWN | RIGHT|
   * `----------------

ちなみに僕が欲しいなーと思ってると配列は以下のような感じで日々設定を書き換えてる感じです。 - 右手の親指でスペース、エンターキーを叩きたい - 左手の親指でバックスペースキーを叩きたい - LAltで英語、RAltで日本語を入力できるようにしたい。(コレは英字キーボードで僕がよくやる設定)

,まとめ

作るときは大変だったんですが、組み上げて動いてみてくれると本当にウレシイもんですね。 正直できあがりは割とキーの高さが不揃いだったりで正直あんまりきれいじゃないんですが、使ってみるとそれがまたかわいいですね。

ほんとたのしいんでみんなぜひ一度手を出して欲しいなーと思ってます。

参考

qiita.com

kuenishi.hatenadiary.jp テスターでどのモードで確認するかとかはこちらで学ばせてもらいました。

pyiファイルに2つの意味ではまってるはなし(仮)

仕事でPython を使っていた型チェックがほしいときがあって、今Pyiファイルをつくっています。

TL;DR

pyi ファイルからpyiファイルを読み込むと型情報が落ちてしまうらしい。

github.com

要は以下のようなフォルダ構成を考える

   ├── hello-stubs
│   │   ├── __init__.pyi
│   │   ├── api.pyi
│   │   └── operation.pyi

api.pyiはoperation.pyiのメソッドをimportしているとする。 このときに残念ながらimportのところの型チェックでそんなメソッドはないぞっていうエラーがでてしまう。 続きはまた明日書く

「響け!ユーフォニアム」という文字列だけで遊ぶシェル芸をPython ワンライナーでも遊ぶ

そのまんまです。

TL;DR

問題文

togetter.com

自分なりの回答

echo 響け!ユーフォニアム | python3 -c 'print("\n".join([a[i:] + a[:i] for sys in [__import__("sys")] for a in [sys.stdin.readline().rstrip()] for i in range(len(a))]))'

[Wandbox]三へ( へ՞ਊ ՞)へ ハッハッ

面白い世界があるもんですねー。

教えてもらったもっと短くかける方法

なるほどー、以下2点知らなかったー。教えてもらってありがたい!!

ThirdPartyLibrary + GraalVM+native-imageでCLIをつくってみる

masahito.hatenablog.com

でっかいエビーです。 これの続きを書きたいと思います。

name version
ubuntu 18.04 amd64
graalVM 1.0.0 RC2

TL;DL

  • GraalVM+native-image するときはFtatJar つくっちゃうと楽っぽい
    • 割と楽
  • native-image の実行は glibcが必要

  • Reflection/ Annotationが絡むと実行時エラーになるっぽい

    • Apache Commons とかは安心して使える. Spring系とかはかなりはまるかも

ラフに説明

用意するものがたくさんあるのでラフに説明します。exampleをつくってみたので以下を軽くみていただけると

github.com

3rd party library の使い方

ビルド時にclasspath宣言をしてビルドすることで3rd-partyライブラリを使うことが可能です。 例えばこんな感じ。

native-image --classpath=.:hoge.jar HelloWorld

ただ、数が増えてくると大変なのでfatJar(3rd-party Libraryをかためて一個にしたやつ , e.g. SpringBootとかでつくられる超でっかいJar)をつくるといいとおもいます。 ちなみにFatJarの場合はこんな感じでnative imegeがつくれます

native-image --jar=hoge.jar

これでhoge っていう名前の実行ファイルができます。

実行には glibcが必要

これでできたイメージを実行できるようになりました。 こんな感じでDocker Fileに実行ファイルをコピーするだけでとりあえず実行できるようになります。

graalvm-java-cli-native-demo/Dockerfile at master · masahitojp/graalvm-java-cli-native-demo · GitHub

$ docker build -t graalvm-test/run-test .
$ docker run -it -t graalvm-test/run-test:latest /bin/sh -c "./clitest -m test"

注意点が一個だけ。 native-image で生成された実行ファイルはglibcが必須です。 なるべく小さいdocker-imageが作りたくて素の alpine+dockerを試したんですが、 実行するとnot foucdっていう無情なエラーが出るだけでした。 alpine-glibcだと無事動作しました。 

ちなみにこの例だと19MiBくらいのdocker-imageになるようです。わりとちいさくまとまりますね1

github.com

Reflection/Annotation

もともとは Args4j を使ってexampleを書いてたんだけど、native-imageは作れるんだけど、 実行時にReflecttionのエラーがでちゃう。

ってのをTwitterでつぶやいたら教えてもらった。

ってのを教えてもらった。ありがたい。

medium.com

こちらのブログによると、

github.com

こんな感じでReflectionの対象になるであろうクラスを列挙したjsonをつくって渡してやればいいっぽい

[
  {
    "name": "io.netty.channel.socket.nio.NioServerSocketChannel",
    "methods": [
      { "name": "<init>", "parameterTypes": [] }
    ]
  }
]

まー今回は動かすのが目的なのでこの辺を調べるのはかつあいしました。詳しい方是非僕に説明よろしくです。

まとめ

結構かんたんにGraalVM+ native-imageをでnativeな実行ファイルを作れるようになりました。 JavaでFatJarつくれればそこから割とかんたんに作業をすることができるので、いろいろ遊んでみるといいと思います. Docker imageも20MiBくらいに収まりそうだし、ある程度遊べそうです

参考

先人の皆様に感謝します

  • sampleのcliの仕様はここからいただきました d.hatena.ne.jp
  • 信頼と実績のApache commons cli(reflection 使ってないっぽいので今回は悩まないために使った) Commons CLI – Home

  • 信頼と実績のkohsuke ware. Args4j

args4j parent - Args4j


  1. Go+scratchに比べると大きいけどね。

GraalVMとJavaでnative-cliを書いてみる

このTweetみて超興味がわいて、GraalVM+Javaでnative cliを書く練習をしてみた

navme version
Ubuntu 18.04
graalVM 1.0.0-rc2

install

download here

github.com

tar xzvpf graalvm-ce-1.0.0-rc2-linux-amd64.tar.gz 
mv ./graalvm-ce-1.0.0-rc2 /opt/graalvm

native imageにコンパイル

github.com

これに従ってやってみる

import java.io.IOException;
import java.nio.file.DirectoryStream;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;

class ListFiles{
    public static void main(String[] args) {
        Path dir = Paths.get(".");

        try (DirectoryStream<Path> stream = Files.newDirectoryStream(dir, "*")) {
            for (Path file : stream) {
                System.out.println(file.getFileName());
            }
        } catch (IOException ignored) {
        }
    }
}
$ /opt/graalvm/bin/java ListFiles
$ /opt/graalvm/bin/native-image ListFiles <= 一回Java classに変換してからnative-imageでビルドする
$ ls
ListFiles.class
listfiles* <= native imag3!!!
ListFiles.java
$ ./listfiles 
ListFiles.java
listfiles
ListFiles.class

こんな感じでJava環境なしでも動くイメージがつくれた。

Next

つぎは3rd-partyライブラリの使い方をしらべたいところ