Keep on moving

あんまりまとまってないことを書きますよ

ThirdPartyLibrary + GraalVM+native-imageでCLIをつくってみる

GraalVM Java

masahito.hatenablog.com

でっかいエビーです。 これの続きを書きたいと思います。

name version
ubuntu 18.04 amd64
graalVM 1.0.0 RC2

TL;DL

  • GraalVM+native-image するときはFtatJar つくっちゃうと楽っぽい
    • 割と楽

  • native-image の実行は　glibcが必要

  • Reflection/ Annotationが絡むと実行時エラーになるっぽい

    • Apache Commons とかは安心して使える. Spring系とかはかなりはまるかも

ラフに説明

用意するものがたくさんあるのでラフに説明します。exampleをつくってみたので以下を軽くみていただけると

github.com

3rd party library の使い方

ビルド時にclasspath宣言をしてビルドすることで3rd-partyライブラリを使うことが可能です。 例えばこんな感じ。

native-image --classpath=.:hoge.jar HelloWorld

ただ、数が増えてくると大変なのでfatJar(3rd-party Libraryをかためて一個にしたやつ , e.g. SpringBootとかでつくられる超でっかいJar)をつくるといいとおもいます。 ちなみにFatJarの場合はこんな感じでnative imegeがつくれます

native-image --jar=hoge.jar

これでhoge っていう名前の実行ファイルができます。

実行には glibcが必要

これでできたイメージを実行できるようになりました。 こんな感じでDocker Fileに実行ファイルをコピーするだけでとりあえず実行できるようになります。

graalvm-java-cli-native-demo/Dockerfile at master · masahitojp/graalvm-java-cli-native-demo · GitHub

$ docker build -t graalvm-test/run-test .
$ docker run -it -t graalvm-test/run-test:latest /bin/sh -c "./clitest -m test"

注意点が一個だけ。 native-image で生成された実行ファイルはglibcが必須です。 なるべく小さいdocker-imageが作りたくて素の alpine+dockerを試したんですが、 実行するとnot foucdっていう無情なエラーが出るだけでした。 alpine-glibcだと無事動作しました。　

ちなみにこの例だと19MiBくらいのdocker-imageになるようです。わりとちいさくまとまりますね1

github.com

Reflection/Annotation

もともとは Args4j を使ってexampleを書いてたんだけど、native-imageは作れるんだけど、 実行時にReflecttionのエラーがでちゃう。

ってのをTwitterでつぶやいたら教えてもらった。

ってのを教えてもらった。ありがたい。

medium.com

こちらのブログによると、

github.com

こんな感じでReflectionの対象になるであろうクラスを列挙したjsonをつくって渡してやればいいっぽい

[
  {
    "name": "io.netty.channel.socket.nio.NioServerSocketChannel",
    "methods": [
      { "name": "<init>", "parameterTypes": [] }
    ]
  }
]

まー今回は動かすのが目的なのでこの辺を調べるのはかつあいしました。詳しい方是非僕に説明よろしくです。

まとめ

結構かんたんにGraalVM+ native-imageをでnativeな実行ファイルを作れるようになりました。 JavaでFatJarつくれればそこから割とかんたんに作業をすることができるので、いろいろ遊んでみるといいと思います. Docker imageも20MiBくらいに収まりそうだし、ある程度遊べそうです

参考

先人の皆様に感謝します

  • sampleのcliの仕様はここからいただきました d.hatena.ne.jp

  • 信頼と実績のApache commons cli(reflection 使ってないっぽいので今回は悩まないために使った) Commons CLI – Home

  • 信頼と実績のkohsuke ware. Args4j

args4j parent - Args4j

  1. Go+scratchに比べると大きいけどね。 例↩

GraalVMとJavaでnative-cliを書いてみる

このTweetみて超興味がわいて、GraalVM+Javaでnative cliを書く練習をしてみた

navme version
Ubuntu 18.04
graalVM 1.0.0-rc2

install

download here

github.com

tar xzvpf graalvm-ce-1.0.0-rc2-linux-amd64.tar.gz 
mv ./graalvm-ce-1.0.0-rc2 /opt/graalvm

native imageにコンパイル

github.com

これに従ってやってみる

import java.io.IOException;
import java.nio.file.DirectoryStream;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;

class ListFiles{
    public static void main(String[] args) {
        Path dir = Paths.get(".");

        try (DirectoryStream<Path> stream = Files.newDirectoryStream(dir, "*")) {
            for (Path file : stream) {
                System.out.println(file.getFileName());
            }
        } catch (IOException ignored) {
        }
    }
}

$ /opt/graalvm/bin/java ListFiles
$ /opt/graalvm/bin/native-image ListFiles <= 一回Java classに変換してからnative-imageでビルドする
$ ls
ListFiles.class
listfiles* <= native imag3!!!
ListFiles.java
$ ./listfiles 
ListFiles.java
listfiles
ListFiles.class

こんな感じでJava環境なしでも動くイメージがつくれた。

Next

つぎは3rd-partyライブラリの使い方をしらべたいところ

Fabric2ファーストインプレッション

はい、Python界隈のレアキャラです。 ついに出るでるといってなかなかでなかったFabric2がでたのでかるくまとめます。

TL;DR

  • メジャーバージョンアップだけあってインターフェースがだいぶ変わった
  • invokeベースで書くことができる
  • 単純なタスクならFabric1からの置き換えはそこまで難しくなさそう。複雑なやつはどうなんだろ、もう少し調べる
object detail
chage date 2018/5/12
version fabic 2.0.0
os ubuntu 18.04
python 3.6.5

fabric2はPython2.7/Python3.4+でうごく

pypi

https://pypi.org/project/fabric2/

document

http://www.fabfile.org/

install

$ pip install fabric2 # fabric2を指定する
$ pip freeze
asn1crypto==0.24.0
bcrypt==3.1.4
cffi==1.11.5
cryptography==2.2.2
fabric2==2.0.0
idna==2.6
invoke==1.0.0
paramiko==2.4.1
pyasn1==0.4.2
pycparser==2.18
PyNaCl==1.2.1
six==1.11.0

Python3でインストールするとエラーがでる

https://github.com/fabric/fabric/issues/1740 どうやらwheelの作り方のもんだいっぽい

upgrade 1.x to 2.x

http://docs.fabfile.org/en/latest/upgrading.html

実行コマンド変更

pip install fabric でいれると fabコマンドで pip install fabric2 でいれると　fab2

ここでは fab2で統一する

Installing — Fabric documentation

Fabric1のスクリプトそのままではうごかない

from fabric.api import local

def hello():
    local("uname -s")
$ fab2 hello
fab2 hello
Traceback (most recent call last):
  File "/home/masahito/python-env/fabric2/bin/fab2", line 11, in <module>
    load_entry_point('fabric2==2.0.0', 'console_scripts', 'fab2')()
  File "/home/masahito/python-env/fabric2/lib/python3.6/site-packages/invoke/program.py", line 321, in run
    self.parse_collection()
  File "/home/masahito/python-env/fabric2/lib/python3.6/site-packages/invoke/program.py", line 399, in parse_collection
    self.load_collection()
  File "/home/masahito/python-env/fabric2/lib/python3.6/site-packages/fabric2/main.py", line 74, in load_collection
    super(Fab, self).load_collection()
  File "/home/masahito/python-env/fabric2/lib/python3.6/site-packages/invoke/program.py", line 588, in load_collection
    module, parent = loader.load(coll_name)
  File "/home/masahito/python-env/fabric2/lib/python3.6/site-packages/invoke/loader.py", line 75, in load
    module = imp.load_module(name, fd, path, desc)
  File "/home/masahito/python-env/fabric2/lib/python3.6/imp.py", line 235, in load_module
    return load_source(name, filename, file)
  File "/home/masahito/python-env/fabric2/lib/python3.6/imp.py", line 172, in load_source
    module = _load(spec)
  File "<frozen importlib._bootstrap>", line 684, in _load
  File "<frozen importlib._bootstrap>", line 665, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 678, in exec_module
  File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
  File "/home/masahito/src/python/try-fabric2/fabfile.py", line 1, in <module>
    from fabric.api import local, run, put
ModuleNotFoundError: No module named 'fabric'

こんな感じでかくと fab2でうごく

$ cat fabfile.py 
from invoke import task

@task
def hello(c):
    c.run("uname -s")
$ fab2 hello
Linux

invokeだと tasks.pyに書くのだけど、これを fabfile.pyに名前をかえて fab2から呼ぶことで ssh経由で呼べるようになる

fab2 -H 192.168.0.1 hello ってやると ssh経由で helloを実行することが可能

sudoするところはまた明日以降で

RenovateをつかってJSでのパッケージアップデートをbotにおまかせする

React書いててnpmパッケージのバージョンアップがちょっとめんどいときってありますよね。 基本的にこまめにnpm のバージョン上げてったほうがアップデートに追従するのがらくなんですけど、 いかんせんそれはそれでちょっとめんどくさいですよね。 というわけで近頃使い始めた外部サービスの紹介します

TL;DR

Renovate をつかうとパッケージがアップデートしたときにPR おくってくれる。

renovatebot.com

How to use

つかいかたは超かんたん。 github, bitbucket etcでサインインするだけ。あとは自分で使いたいレポジトリを指定するだけであとはRenovateがパッケージのアップデートを調べて　PR を送ってくれる。

github.com

あとはこんな感じでアップデートするパッケージ単位でPR おくってくれる

github.com

ぜひぜひ使ってみてほしい

CircleCI 2.0 でdocker build + run

CI CircleCI2.0 CircleCI

とうとつだけどテスト専用みたいに用途がきまってるDockerってべんりですよね。 手元にUnitTest用のDockerfileだけもってるときにそれをそのままCIで実行できると便利だなっておもって軽く調べました。

CircleCI2.0だったらぐぐったらでてくるかなっておもったら意外に出てこなかったので軽くしらべてまとめました。

TL;DR

circleci.com

version: 2
jobs:
 build:
   machine: true
   steps:
     - checkout
     - run: |
         docker build -t "REPOSITORY_NAME:$CIRCLE_BRANCH" .
         docker run "REPOSITORY_NAME:$CIRCLE_BRANCH"

こんなかんじ

sample

github.com

参考

circleci.com

もっといい書き方があったらぜひおしえてください!!!

Python3.7のPEP 563: Postponed evaluation of annotations はいいもんだなっていう話

python mypy typing

大家好, レアキャラです。 今日はPython3.7の新機能 で気になってるやつを紹介したいと思います。

TL;DR

version
Python 3.6.4, 3.7b2
mypy 0.580

Python3.7で __future__ に annotations ってのが追加されて、TypeHintの痒いところに手が届くようになる。

PEP 563 -- Postponed Evaluation of Annotations | Python.org

Python 3.7での変更点

ドキュメントにも書いてあるんですが、軽くコードで書くと

What’s New In Python 3.7 — Python 3.8.0a0 documentation

class C:
    @classmethod
    def from_string(cls, source: str) -> C: # クラス内で自分自身のクラス(この場合 `C`)が使えるように
        ...

    def validate_b(self, obj: B) -> bool: # クラスBが定義される前でも使えるように
        ...

class B:
    ...

class だとこんな感じで結構制約があったのが変更されるようになります。 一個例を上げときます。例えばこんな感じのコードです。

# -*- coding: utf-8 -*-

class Meter:
    def __init__(self, value: int) -> None:
        self.value = value
    def add(self, other:Meter) -> None: # Python3.6だと実行時にここがエラーになる
        self.value += other.value

a = Meter(1)
b = Meter(2)
a.add(b)
print(a.value)
$ python3.6 add.py
Traceback (most recent call last):
  File "add.py", line 5, in <module>
    class Meter:
  File "add.py", line 8, in Meter
    def add(self, other:Meter) -> None:
NameError: name 'Meter' is not defined

このコードは Python3.6では、実行時エラーになります。クラス内で自分のクラスがTypeHints として使えないからです。(1) 3.7ではこれがfrom __future__ import annotations を使うことで動かせるようになります。

# -*- coding: utf-8 -*-
# from __future__ import annotations


class Meter:
    def __init__(self, value: int) -> None:
        self.value = value
    def add(self, other:Meter) -> None:
        self.value += other.value

a = Meter(1)
b = Meter(2)
a.add(b)
print(a.value)

$ python3.7 add.py
3

futureをつけないとPython3.6と同じで実行時エラーになります.これは互換性に配慮した変更です。 ちなみにこれは Python4.0でデフォルトの挙動になります。 Python3系で future が増えるのは久しぶりです。直感的にわかりやすくかけるので個人的にはなかなかいい変更ダナーと思います。

  1. ちなみに mypy(0.580) ではこれがエラーになりません。実装系ごとの違いなのかもです↩

2017振り返り

思

こんにちは, レアキャラです。

今年もあんまりブログ書けなかったなーとか思いつつ今年のことをまとめておきます。 今年は割と外で話したりしたなーとか思いつつ。

発表

Python 3.6 リリースパーティー

pystudy.connpass.com

Pythonの有名人たちの中で発表したのですごい緊張したのを覚えています。 何しろ僕以外の発表者みなさん、Python本の著者だったんですよねー 個人的にめっちゃ興味のあったPythonでのtype-hintingについて話しました

www.slideshare.net

PyCon Taiwan 2017

PyCon Taiwan 2017

これ実はPython 3.6 リリースパーティー で使ったネタを話す予定だったんですが、 いろいろ考えてほぼ書き下ろしみたいなネタになりました。 初海外での発表で、all英語で30分。CfPから英語でなんかすごいことになっちゃったなーとか思いながら用意しました。 ちなみにスライド作成はなんだかんだで1ヶ月かかりました。ここの話はよく考えると公開してないので、あとでちゃんと書こうと思います！

www.slideshare.net

実はPyConJPでもちょいと話した

今年はTalkの方はAcceptしてもらえなかったので、ちょっと他の形で発表しました。 英語未だに苦手意識が消えないんですが、日々の業務と英語の話しを割とできたかなーと。 あと、ここも僕以外の発表者はすごい人だらけだったのでえらい緊張しました。

weekly.ascii.jp

PythonBootCampFukuoka

pyconjp.blogspot.jp

縁あって福岡のBootCampでTAをやってきました。福岡の皆さん勉強熱心ですげーなと思いました。 あと清水川さんと一緒に外でイベントで来て、楽しかったです。

以上、来年の目標はまた来年でー、皆様良いお年を！