穀風

@Windows 10 Pro 64bit

[LZO](http://www.oberhumer.com/opensource/lzo/) というアーカイブ系ライブラリを Python でラップしてくれるパッケージに
[python-lzo](https://pypi.org/project/python-lzo/) があります。

Linux では pip で一発インストール可能なのですが、Windows ではエラーが出てしまいインストールできません。

```shell
`gutter: false;
> pip install python-lzo
Collecting python-lzo
  Using cached https://files.pythonhosted.org/packages/af/60/41f17f56c920a956f1d4b9f04f9755c045b2b06b9dd933b33cdd37ab9fd7/python-lzo-1.12.tar.gz
    ERROR: Complete output from command python setup.py egg_info:
    ERROR: Traceback (most recent call last):
      File "", line 1, in 
      File "C:\Users\yusuk\AppData\Local\Temp\pip-install-jzhjob69\python-lzo\setup.py", line 46, in 
        raise Exception("please set LZO_DIR to where the lzo source lives")
    Exception: please set LZO_DIR to where the lzo source lives
```

公式の Issue によると、これは仕様で、自身でコンパイルしないといけないようです。

> 参考
>
> [unable to install python-lzo using "pip install python-lzo" on Windows · Issue #5 · jd-boyd/python-lzo · GitHub](https://github.com/jd-boyd/python-lzo/issues/5)

@Python 3.6.7

Python2 系も使うことが無くなってきたので、遅ればせながら [virtualenv](https://virtualenv.pypa.io/en/latest/) から [venv](https://docs.python.org/ja/3/library/venv.html) に移行してみました。

調べてみると、venv では virtualenvwrapper のような一元管理を使うのではなく、プロジェクト直下に `venv` というディレクトリを作って管理したほうが良いと書いてあるサイトがちらほら。

> 参考
>
> [venv: Python 仮想環境管理 - Qiita](https://qiita.com/fiftystorm36/items/b2fd47cf32c7694adc2e)

[datetime オブジェクト、Unix time、文字列の相互変換まとめ](https://kokufu.blogspot.com/2018/12/python-datetime-unix-time.html) を書いたので、ついでと言っては何ですが date と datetime の変換についてもまとめてみました。




画像としてダウンロード

Python で [datetime オブジェクト]() 、 [Unix time](https://ja.wikipedia.org/wiki/UNIX%E6%99%82%E9%96%93)、文字列を相互変換する方法はいろいろあります。
中には直感に反するものもありnative になりそうなのに、ローカルのタイムゾーンを適用しちゃうとか、
過去に1度間違えたのに、再度間違えるということもしばしば。

そこで、2度と間違えないように、個人的にベストと思う方法をまとめてみました。




画像としてダウンロード


変換には様々な方法があるので、上記が唯一の方法というわけではありませんが、
なるべく、安全かつシンプルになるものを選んだつもりです。

また、変換可能でも、安全では無いと判断したものは矢印を引いていません安全な方法をご存じの方は教えていただけると幸いです。

先日、「[datetime のコンストラクタでタイムゾーンは指定しない方がよい](https://kokufu.blogspot.com/2018/11/python-datetime.html)」と書いたのですが、
`datetime.combine()` でも同様の問題が起こりました。

以下のように、日本のタイムゾーンが `+9:19` になってしまうのです。
```python
from datetime import datetime, date, time
import pytz

d = date(2018,11,1)
datetime.combine(d, time(), tzinfo=pytz.timezone('Asia/Tokyo'))
# 2018-11-01 00:00:00+09:19
```

「サマータイムのある地域で」とタイトルに入れたのですが、地域に関わらず、時刻計算する時は UTC に変換してから行った方が良いです。
特にサマータイムのある地域では問題が起こりやすいので、注意が必要ということです。


### 問題が起こる例
2018年の ニューヨークは 11/4 2:00 am までがサマータイムアメリカでは Daylight Saving Time というでした。

```
2018/11/4 2:00 am より前
EDT -04:00

2018/11/4 1:00 am 以降
EST -05:00
```

このような時刻をまたぐ計算を aware のまま行うと、結果がおかしくなります。

```python
>>> import datetime, pytz
>>> dt = datetime.datetime(2018, 11, 4, 7, 0, 0, 0)  # 2018/11/4 7:00 am native
>>> dt_aware = pytz.timezone('America/New_York').localize(dt)
>>> dt_aware
datetime.datetime(2018, 11, 4, 7, 0, tzinfo=)
>>> str(dt_aware)
'2018-11-04 07:00:00-05:00'
```

上記の `dt_aware` から 1日前を計算すると以下のようになります。

```python
>>> calculated = dt_aware - datetime.timedelta(days=1)
>>> calculated
datetime.datetime(2018, 11, 3, 7, 0, tzinfo=)
>>> str(calculated)
'2018-11-03 07:00:00-05:00'
```

ぱっと見正しそうですが、11月3日なのに EST になっていて、間違っています。

以下を見てください。
日本のタイムゾーンが `+9:19` になってしまいました。

```python
>>> import datetime, pytz
>>> datetime.datetime(2018, 9, 1, tzinfo=pytz.timezone('Asia/Tokyo'))
datetime.datetime(2018, 9, 1, 0, 0, tzinfo=)
```

調べてみると、pytz 2017.2 以降を使う場合、上記のような動作になるようです。

原因については、以下のコメント欄が参考になります。（以下の記事で触れているのは `replace` でタイムゾーン指定した場合ですが、コンストラクタで指定した場合も同様)

> 参考
>
> [pytzの仕様が変わっている - Qiita](https://qiita.com/higitune/items/0ca244373d380cf1c060)


簡単に言うと、「複数のタイムゾーン（UTC オフセット）を持つエリアでは、日付が決まらないとオフセットが決定できないので、
勝手にデフォルトのオフセットが採用される」ということのようです。

一般的に「複数のタイムゾーンを持つエリア」といえば、サマータイムがあるようなエリアで、日本は当てはまらない気がします。
ところが、日本は 1887年以前は今とは異なるタイムゾーン (`+09:18:59`9:19:00 ではない。pytz は秒まで持てないからね…) だったそうです。

> 参考
>
> [一行入魂　PostgreSQLのtime zoneについて](http://aoyagikouhei.blog8.fc2.com/blog-entry-61.html)

pytz 2017.2 以降はこれを厳密に守るようになったということみたいですねとはいえ、100年以上前のタイムゾーンがデフォルトってどうなのよ？と思いますが…。

というわけで、aware な datetime オブジェクトを作成するには、
一度 native で作成してから aware に変換するのが正しいやり方のようです。

```python
>>> import datetime, pytz
>>> dt = datetime.datetime(2018, 9, 1)
>>> pytz.timezone('Asia/Tokyo').localize(dt)
datetime.datetime(2018, 9, 1, 0, 0, tzinfo=)
```

今回、たまたま日本のタイムゾーンで問題が起こって調べましたが、他のタイムゾーンサマータイムがあるなどでは同じ問題が前からあったということですね多分。確認はしていないけど。。

Python の [mmap](https://docs.python.jp/3/library/mmap.html) は `flush()` を実行することで変更をディスクに保存します。

この `flush([offset[, size]])` を引数つきで呼ぶときは 「`offset` が `mmap.ALLOCATIONGRANULARITY` の倍数でないといけない」という制約がありますエラーメッセージにその旨出して欲しい。

つまり、以下のように、`offset` の位置を調整しないといけません。

```python
aligned_offset = int(offset / mmap.ALLOCATIONGRANULARITY) * mmap.ALLOCATIONGRANULARITY
mm.flush(aligned_offset, offset - aligned_offset + size)
```

> 参考
>
> [Issue 32798: mmap.flush() on Linux does not accept the "offset" and "size" args - Python tracker](https://bugs.python.org/issue32798)


`offset` の調整をしないと、`OSError` が発生してしまいます。
```
OSError: [Errno 22] Invalid argument
```

最初、このエラーが発生した時、指定した範囲が不正なんじゃないか等、無駄に調べてしまいました…

以前書いたように
dependency_links は Deprecated な状態にありながらも、有効な代替手段がない状態でした。

> 参考
> 
> [setup.py に dependency_links を書いても "Could not find a version that satisfies the requirement" が出る場合の対処方法4種 | 穀風](https://kokufu.blogspot.com/2018/04/setuppy-dependencylinks-could-not-find.html)

しかし、先日2018/10/5 リリースされた pip 18.1 で [PEP 508](https://www.python.org/dev/peps/pep-0508/) が実装され `dependency_links` を使わないで独自のレポジトリを指定できるようになりました。

Ubuntu 18.04 で Python 3.5 系の動作確認をするためUbuntu 18.04 のデフォルトは Python 3.6 なので、ソースコードからビルドしてみました。

@PyCharm 2018.1.4 (Community Edition) on Ubuntu 16.04 64bit

[PyCharm](https://www.jetbrains.com/pycharm/) はユニットテストファイルを自動的に認識してコンテキストメニューを変化させてくれます。

例えば以下のように `main_test.py` を作成したとしてディレクトリ構造がフラットとか、プロジェクト名が…とか気にしないこと、

右クリック → Run 'Unittests in main_te...'

Python では `__getitem__()` を実装したクラスは Iterable になります。

> 参考
>
> [PEP 234 -- Iterators | Python.org](https://www.python.org/dev/peps/pep-0234/)

Ubuntu 16.04 LTS に [Sikuli](http://www.sikuli.org/) をインストールしたのでメモ。

### python2 では signed、python3 では unsigned として扱われる
具体的な例としては以下。

```python
`title: "python2";
>>> import binascii
>>> binascii.crc32(b"Hello")
-137262718
```

```python
`title: "python3";
>>> import binascii
>>> binascii.crc32(b"Hello")
4157704578
```

数字は違うのですが、`0xF7D18982` を 32bit の signed として扱っているか、unsigned として扱っているかの違いです。

そして、これは仕様のようです。

> 参考
>
> [Issue 4903: binascii.crc32() - document signed vs unsigned results - Python tracker](https://bugs.python.org/issue4903)

### doctest とは
ここに検索で来られた方には不要かもしれませんが、説明の都合上、簡単に書いておきます。

doctest は、以下のような docstring 内の対話実行例が正しく実行できるか確認するモジュールです。
docstring 内だけでなく、テキストファイルの実行例を確認する事も可能です。

```python
`title: "core.py";
# -*- coding: utf-8 -*-


def times(a, b):
    """
    2つの入力を掛け算して出力

    >>> times(4, 9)
    35
    """

    return a * b
```

2018/10/16 追記

Pip 18.1 以降は dependency_links を使わない方法が正式になりました。


[dependency_links を使わないでレポジトリを明示的に指定する方法](https://kokufu.blogspot.com/2018/10/dependencylinks.html)


Python で `pip install` 可能なパッケージを作成した際、
[PyPI](https://pypi.org/) に登録してしまえば `pip` が適切に処理してくれるので簡単です。

しかし、内部用のライブラリの場合は明示的にリポジトリの場所を指定しなければなりません。
そのための機能として、`setuptools.setup()` には `dependency_links` という引数があります。

ところが、`pip install` しようとした場合、`dependency_links` は無視されてしまい、うまくいきません。
`dependency_links` は、基本的に `python setup.py install` の場合を想定しているようです。

ただ、`pip` は `setup.py` の上位ラッパーこの表現が適切かどうかは怪しいですがのはず。
対処方法が無いはずはないと思って調べてみました。

2つのファイルを同時にオープンして、処理が終了したら同時にクローズするような処理例えば、解析対象ファイルと結果出力ファイルなどはよく行われると思うのですが、私は最近まで `with` をネストして書いていました。

が、Python 2.7 以降は以下のように書けるとのこと。
知らなかった以前、調べた時は出来ないって書いてあった記憶が。古い情報を引っ張ってしまったのかもしれません。。。。

```python
with open('a', 'r') as a, open('b', 'w') as b:
    do_something()
```

> 参考
>
> [How can I open multiple files using "with open" in Python? - Stack Overflow](https://stackoverflow.com/questions/4617034/how-can-i-open-multiple-files-using-with-open-in-python)

Python でシンボリックリンクを作成するには `os.symlink()` を使用します。
ただ、Windows でこれを普通に実行すると `OSError: symbolic link privilege not held` が発生してしまいます。

以前、[Ubuntu 16.04 に wxPython (Python3用) をインストール | 穀風](https://kokufu.blogspot.com/2017/04/ubuntu-1604-wxpython-python3.html) を書いたのですが、
[wxPython 4.0.1](https://www.wxpython.org/news/wxpython-4.0.1-release/index.html) になって微妙に依存関係が変わったようです。

先日書いた [wxPython でパネルを動的追加する方法 | 穀風](https://kokufu.blogspot.com/2018/03/wxpython.html) を Two Stage Creation を使って実装し直しました。

> Two Stage Creation については、以下を参考にしてください
>
> - [wxPython Project Phoenix Migration Guide — wxPython Phoenix 4.0.1 documentation](https://docs.wxpython.org/MigrationGuide.html#phase-create)
> - [XRC and two stage creation in Phoenix - Google グループ](https://groups.google.com/forum/#!topic/wxpython-users/KNCAAYJKpQU)
> - [Phoenix compatibility in pywxrc by acolomb · Pull Request #726 · wxWidgets/Phoenix](https://github.com/wxWidgets/Phoenix/pull/726/files)
> - [wxPython & XRC で Custom Frame を作る方法3種 | 穀風](https://kokufu.blogspot.com/2018/03/wxpython-xrc-custom-frame-3.html)

作成したサンプルは、前回と同様、ラベルとボタンが一つずつあるだけのシンプルなもので、ボタンをクリックすると自パネルの背景が変わるというお遊びつきです全く役に立たない！。