Keep on moving

あんまりまとまってないことを書きますよ

Fabric2ファーストインプレッション

はい、Python界隈のレアキャラです。 ついに出るでるといってなかなかでなかったFabric2がでたのでかるくまとめます。

TL;DR

  • メジャーバージョンアップだけあってインターフェースがだいぶ変わった
  • invokeベースで書くことができる
  • 単純なタスクならFabric1からの置き換えはそこまで難しくなさそう。複雑なやつはどうなんだろ、もう少し調べる
object detail
chage date 2018/5/12
version fabic 2.0.0
os ubuntu 18.04
python 3.6.5

fabric2はPython2.7/Python3.4+でうごく

pypi

https://pypi.org/project/fabric2/

document

http://www.fabfile.org/

install

$ pip install fabric2 # fabric2を指定する
$ pip freeze
asn1crypto==0.24.0
bcrypt==3.1.4
cffi==1.11.5
cryptography==2.2.2
fabric2==2.0.0
idna==2.6
invoke==1.0.0
paramiko==2.4.1
pyasn1==0.4.2
pycparser==2.18
PyNaCl==1.2.1
six==1.11.0

Python3でインストールするとエラーがでる

https://github.com/fabric/fabric/issues/1740 どうやらwheelの作り方のもんだいっぽい

upgrade 1.x to 2.x

http://docs.fabfile.org/en/latest/upgrading.html

実行コマンド変更

pip install fabric でいれると fabコマンドで pip install fabric2 でいれると fab2

ここでは fab2で統一する

Installing — Fabric documentation

Fabric1のスクリプトそのままではうごかない

from fabric.api import local

def hello():
    local("uname -s")
$ fab2 hello
fab2 hello
Traceback (most recent call last):
  File "/home/masahito/python-env/fabric2/bin/fab2", line 11, in <module>
    load_entry_point('fabric2==2.0.0', 'console_scripts', 'fab2')()
  File "/home/masahito/python-env/fabric2/lib/python3.6/site-packages/invoke/program.py", line 321, in run
    self.parse_collection()
  File "/home/masahito/python-env/fabric2/lib/python3.6/site-packages/invoke/program.py", line 399, in parse_collection
    self.load_collection()
  File "/home/masahito/python-env/fabric2/lib/python3.6/site-packages/fabric2/main.py", line 74, in load_collection
    super(Fab, self).load_collection()
  File "/home/masahito/python-env/fabric2/lib/python3.6/site-packages/invoke/program.py", line 588, in load_collection
    module, parent = loader.load(coll_name)
  File "/home/masahito/python-env/fabric2/lib/python3.6/site-packages/invoke/loader.py", line 75, in load
    module = imp.load_module(name, fd, path, desc)
  File "/home/masahito/python-env/fabric2/lib/python3.6/imp.py", line 235, in load_module
    return load_source(name, filename, file)
  File "/home/masahito/python-env/fabric2/lib/python3.6/imp.py", line 172, in load_source
    module = _load(spec)
  File "<frozen importlib._bootstrap>", line 684, in _load
  File "<frozen importlib._bootstrap>", line 665, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 678, in exec_module
  File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
  File "/home/masahito/src/python/try-fabric2/fabfile.py", line 1, in <module>
    from fabric.api import local, run, put
ModuleNotFoundError: No module named 'fabric'

こんな感じでかくと fab2でうごく

$ cat fabfile.py 
from invoke import task

@task
def hello(c):
    c.run("uname -s")
$ fab2 hello
Linux

invokeだと tasks.pyに書くのだけど、これを fabfile.pyに名前をかえて fab2から呼ぶことで ssh経由で呼べるようになる

fab2 -H 192.168.0.1 hello ってやると ssh経由で helloを実行することが可能

sudoするところはまた明日以降で

RenovateをつかってJSでのパッケージアップデートをbotにおまかせする

React書いててnpmパッケージのバージョンアップがちょっとめんどいときってありますよね。 基本的にこまめにnpm のバージョン上げてったほうがアップデートに追従するのがらくなんですけど、 いかんせんそれはそれでちょっとめんどくさいですよね。 というわけで近頃使い始めた外部サービスの紹介します

TL;DR

Renovate をつかうとパッケージがアップデートしたときにPR おくってくれる。

renovatebot.com

How to use

つかいかたは超かんたん。 github, bitbucket etcでサインインするだけ。あとは自分で使いたいレポジトリを指定するだけであとはRenovateがパッケージのアップデートを調べて PR を送ってくれる。

github.com

あとはこんな感じでアップデートするパッケージ単位でPR おくってくれる

github.com

ぜひぜひ使ってみてほしい

CircleCI 2.0 でdocker build + run

とうとつだけどテスト専用みたいに用途がきまってるDockerってべんりですよね。 手元にUnitTest用のDockerfileだけもってるときにそれをそのままCIで実行できると便利だなっておもって軽く調べました。

CircleCI2.0だったらぐぐったらでてくるかなっておもったら意外に出てこなかったので軽くしらべてまとめました。

TL;DR

circleci.com

version: 2
jobs:
 build:
   machine: true
   steps:
     - checkout
     - run: |
         docker build -t "REPOSITORY_NAME:$CIRCLE_BRANCH" .
         docker run "REPOSITORY_NAME:$CIRCLE_BRANCH"

こんなかんじ

sample

github.com

参考

circleci.com

もっといい書き方があったらぜひおしえてください!!!

Python3.7のPEP 563: Postponed evaluation of annotations はいいもんだなっていう話

大家好, レアキャラです。 今日はPython3.7の新機能 で気になってるやつを紹介したいと思います。

TL;DR

version
Python 3.6.4, 3.7b2
mypy 0.580

Python3.7で __future__annotations ってのが追加されて、TypeHintの痒いところに手が届くようになる。

PEP 563 -- Postponed Evaluation of Annotations | Python.org

Python 3.7での変更点

ドキュメントにも書いてあるんですが、軽くコードで書くと

What’s New In Python 3.7 — Python 3.8.0a0 documentation

class C:
    @classmethod
    def from_string(cls, source: str) -> C: # クラス内で自分自身のクラス(この場合 `C`)が使えるように
        ...

    def validate_b(self, obj: B) -> bool: # クラスBが定義される前でも使えるように
        ...

class B:
    ...

class だとこんな感じで結構制約があったのが変更されるようになります。 一個例を上げときます。例えばこんな感じのコードです。

# -*- coding: utf-8 -*-

class Meter:
    def __init__(self, value: int) -> None:
        self.value = value
    def add(self, other:Meter) -> None: # Python3.6だと実行時にここがエラーになる
        self.value += other.value

a = Meter(1)
b = Meter(2)
a.add(b)
print(a.value)
$ python3.6 add.py
Traceback (most recent call last):
  File "add.py", line 5, in <module>
    class Meter:
  File "add.py", line 8, in Meter
    def add(self, other:Meter) -> None:
NameError: name 'Meter' is not defined

このコードは Python3.6では、実行時エラーになります。クラス内で自分のクラスがTypeHints として使えないからです。(1) 3.7ではこれがfrom __future__ import annotations を使うことで動かせるようになります。

# -*- coding: utf-8 -*-
# from __future__ import annotations


class Meter:
    def __init__(self, value: int) -> None:
        self.value = value
    def add(self, other:Meter) -> None:
        self.value += other.value

a = Meter(1)
b = Meter(2)
a.add(b)
print(a.value)
$ python3.7 add.py
3

futureをつけないとPython3.6と同じで実行時エラーになります.これは互換性に配慮した変更です。 ちなみにこれは Python4.0でデフォルトの挙動になります。 Python3系で future が増えるのは久しぶりです。直感的にわかりやすくかけるので個人的にはなかなかいい変更ダナーと思います。


  1. ちなみに mypy(0.580) ではこれがエラーになりません。実装系ごとの違いなのかもです

2017振り返り

こんにちは, レアキャラです。

今年もあんまりブログ書けなかったなーとか思いつつ今年のことをまとめておきます。 今年は割と外で話したりしたなーとか思いつつ。

発表

Python 3.6 リリースパーティー

pystudy.connpass.com

Pythonの有名人たちの中で発表したのですごい緊張したのを覚えています。 何しろ僕以外の発表者みなさん、Python本の著者だったんですよねー 個人的にめっちゃ興味のあったPythonでのtype-hintingについて話しました

www.slideshare.net

PyCon Taiwan 2017

PyCon Taiwan 2017

これ実はPython 3.6 リリースパーティー で使ったネタを話す予定だったんですが、 いろいろ考えてほぼ書き下ろしみたいなネタになりました。 初海外での発表で、all英語で30分。CfPから英語でなんかすごいことになっちゃったなーとか思いながら用意しました。 ちなみにスライド作成はなんだかんだで1ヶ月かかりました。ここの話はよく考えると公開してないので、あとでちゃんと書こうと思います!

www.slideshare.net

実はPyConJPでもちょいと話した

今年はTalkの方はAcceptしてもらえなかったので、ちょっと他の形で発表しました。 英語未だに苦手意識が消えないんですが、日々の業務と英語の話しを割とできたかなーと。 あと、ここも僕以外の発表者はすごい人だらけだったのでえらい緊張しました。

weekly.ascii.jp

PythonBootCampFukuoka

pyconjp.blogspot.jp

縁あって福岡のBootCampでTAをやってきました。福岡の皆さん勉強熱心ですげーなと思いました。 あと清水川さんと一緒に外でイベントで来て、楽しかったです。

以上、来年の目標はまた来年でー、皆様良いお年を!

GradleでScalaのインクリメンタルコンパイラのバージョンを変える

|Gradle|4.3.1|

GradleのScala plugin 使うと Zinc Compiler がすでに有効になっていて インクリメンタルにコンパイルしてくれる(=== 全コンパイルしない)

https://docs.gradle.org/current/userguide/scala_plugin.html#sec:configure_zinc_compiler

ちなみにバージョンを上げたい場合は以下のようにdependencyに追加するだけ

dependencies {
    zinc 'com.typesafe.zinc:zinc:0.3.9'
}

ちなみに

Zinc 1.0系にはまだGradleでは対応してないようです

github.com

Gradleの方でもissue化されてる。インターフェースがコレまでと違うらしく違う名前(scala-plugin じゃない名前)になるかもとのこと。今後に期待

github.com

GradleでScala projectをはじめる

近頃Scalaを学び始めるのにどうやると学びはじめやすいのかと考えることが多いです。 すでにJavaを知っているならば覚えることが少ないほうがいいよなーと思ってるので、ひとまず Gradleから始める方法をまとめておこうと思います

update 2017.11.05
Gradle 4.3
Scala 2.12.x

TL;DR

Gradle Scala-plugin超便利、sbtでできている差分コンパイル相当もできる

The Scala Plugin - Gradle User Guide Version 4.3

Gradle Scala plugin

Gradleをまずはインストールします。

Installing Gradle - Gradle User Guide Version 4.3

フォルダをつくって以下のコマンドを実行するだけでScalaのフォルダ構成とbuild.gradleを生成してくれます。

$ cd path/to/src
$ mkdir gradle-scala
$ gradle init --type scala-library
 tree
.
├── build.gradle
├── gradle
│   └── wrapper
│       ├── gradle-wrapper.jar
│       └── gradle-wrapper.properties
├── gradlew
├── gradlew.bat
├── settings.gradle
└── src
    ├── main
    │   └── scala
    │       └── Library.scala
    └── test
        └── scala
            └── LibrarySuite.scala

minimum 構成

ちなみにbuild.gradleの記述量をなるべく少なくしたい場合はこんな感じでOK

gist.github.com

scala repl on gradle

gradleから scala reple が使いたいときはこんな感じでいいみたい

stackoverflow.com

以下の様にscala-compilerも入れることでreplタスクが使える

dependencies{
  compile "org.scala-lang:scala-library:2.11.7"
  compile "org.scala-lang:scala-compiler:2.11.7"
}

task repl(type:JavaExec) {
  main = "scala.tools.nsc.MainGenericRunner"
  classpath = sourceSets.main.runtimeClasspath
  standardInput System.in
  args '-usejavacp'
}

あとは以下の様に起動できます

gradle repl --console plain --no-daemon

Please Try It!