Python on Alicey's blog

DockerでDjango(SQLite)な開発環境を用意する

Thu, 19 Aug 2021 02:56:00 +0900

DockerでDjango(SQLite)な開発環境を用意する

今回は、Pythonで実装されたWebフレームワークの1つである、DjangoをDockerコンテナ上で動かす環境を作っていきます。環境は以下のようになっています。本来であればコンテナはなるべく軽く、1コンテナ1アプリケーション構成で作るべきだとは思いますが、今回は開発しやすさを優先して構築しています。

DBにSQLiteを利用していることや、Shellにexecして作業しているのもこの為で、コンテナに馴染みのない人でもわかりやすいことや、開発時のDBを共有しやすくするためにこの構成にしています。

もっとコンテナの特徴を生かした構成にしたい場合や、本番環境で利用したい場合は他のサイト(ドキュメント等)をご覧ください。

Dockerバージョン

Docker version 20.10.7, build f0df350

入れるもの

Python3.9.6
Django3.2.5
SQLite3
その他使うもの(vim, lessなど)

今回作成したファイルはGitHubに掲載しています。

git cloneしていただければ、そのまま動くと思います。

使い方

まず、git cloneでGitHubからファイルを落とします。(コードをコピペしても動きます)

> git clone https://github.com/Alicey0719/pythonDjangoDevelopEnv.git

次に、落ちてきたディレクトリに移動し、start.shを起動します。

この際、Dockerが起動していないと動かないので注意しましょう。

> cd pythonDjangoDevelopEnv/

> sh start.sh

すると構築が始まり、しばらくすると...

コンテナのシェルに接続されます。

意図された環境が構築されています。

記述されている内容の解説

1つずつ順に見ていきます。

docker-compose.yml

ここでは、起動するコンテナの設定を記述することができます。
4行目から見ていきましょう。
4行目では、サービスの名称を"python-django"(任意の名前)と定義しています。
5行目では、build(ComposeFileを実行し、ビルドされるときのpath)するものに対して"."を指定しています。これはカレントディレクトリを示し、そこに置かれているDockerfileが対応します。
6行目では、container_nameを指定しています。そのまんまですねｗコンテナの名前(任意)です。
7行目では、stdin_openを指定しています。これは、コンテナの標準入力をオープンしたままにします。
8行目では、ttyをtrueにしています。これはコンテナに擬似TTYを割り当てています。これにより、コンテナが自動的に正常終了することを防ぎ、起動したままの状態を作ることができます。
9,10行目では、Volumesの設定をしています。これは、コンテナ内の/codeとホストPCの./codeを同一のものとして扱うような設定となります。
11,12行目では、Portの割り当てをしています。これにより、コンテナ内の8000ポートとホストPCの8000ポートを同一のものとして扱えます。よって、ホストPCからlocalhost:8000のように指定すると、コンテナ上のサーバにアクセスできるようになります。

※djangoを実行する際にpython3 manage.py runserver 0:8000と指定しないとコンテナ外からアクセスできません。

より正確で詳しい説明はリファレンスを御覧ください。

Dockerfile

docker-composeのbuildで呼ばれているものになります。
1行目のFROMでは利用するイメージを指定しています。今回はPython3.9.6を利用します。
2行目では、Pythonの環境変数を指定しています。(非空なら標準出力・標準エラーのストリームのバッファリングを行わない)
3,4行目ではcodeディレクトリを作成し、それをワーキングディレクトリに設定しています。
5行目では、ホストPCにあるrequirements.txtをコンテナ内のcodeディレクトリにコピーしています。
6行目でaptのパッケージ一覧を更新し、aptでインストールするものを記述しています。(sqlite3とかvimとか) コンテナのお作法的には、apt install 後にapt cleanなどでアーカイブファイルを削除しコンテナを軽量化することが多いです(参考)。
7行目で、pipをアップグレードして、8行目でrequirements.txtにかかれているものを、pipでインストールしています。

本来であれば、コンテナはアプリケーションが主役であり、1コンテナ1アプリケーション等、軽い構成で作るべきだと思いますので、上記のようにアレコレ入れないほうが良いとは思います。が、作業効率化の為導入しました...
また、継続して利用するものであれば、なるべく全てのものに関してバージョンの固定を行うべきだと思います。

requirements.txt
pipでインストールするものの一覧です。
Djangoの3.2.5やその他使いそうなものを書いていきます。
各々使用するものを入れましょう。

start.sh
start.shではDockerコンテナを構築・起動し、シェルへ接続するまでの作業を1つで行うシェルスクリプトです。
まず docker-compose up -d でdocker-compose.ymlファイルを元にコンテナを起動します。
この操作が成功した場合に&&の右側に書かれたコードが実行されます。
右側のコードでは、docker exec -it でpython-djangoという名前のコンテナのシェルに接続しています。
コンテナ起動時に実行するとそのままシェルに入ることができます。

参考文献
クィックスタート: Compose と Django
DockerのTTYって何?
docker-compose.ymlの書き方について解説してみた

PythonとOCRで数字を振り分け - 2

Sun, 27 Jun 2021 23:53:00 +0900

PythonとOCRで数字を振り分け - 2

はじめに

前回(こちら)の続きです。結果を見ていると、どうも7のフォルダに7と空白(真っ白)の画像が多く分類されてしまうことがわかりました。これでは、学習データとして使用するにも不便です。

そこで今回は、これらの空白画像を別のフォルダに移動するアプローチを考えていきます。

どうするの？

そもそも、画像データというのは、（pngやjpgなどは圧縮されバイナリ化されてますが、考え方としては、各場所、各色の明るさを示す）数値の集まりです。配列があり、座標に該当する場所に色コードが格納されている...といえば良いのでしょうか？

大きさが10*10の画像が在るとすれば、一番左上の画素はpic[0][0]、右下の画素は[9][9]のようになり、それぞれに値としてRGB(255,255,255)のように格納されています。今回はこれを活用します。

今回の画像は白黒ですので、グレースケールとして読み込み、それぞれの値をRGB(255,255,255)ではなく、明るさのみの(0)から(255)のデータにします。

そして、これらデータが格納されている配列の最小値が230(任意の値)より多きければその画像は真っ白である。と考えることにしましょう。

ここまでくれば簡単です。上記に一致する際にファイルを移動するだけ。

実際のコード

これを実際にコーディングしてみました。

処理には主にopenCVとnumpyを利用しています。

コードはGitHubに掲載します。

結果

結果としては、まずまず良い出来でした。

2-3枚の取りこぼしはありましたが、ほぼほぼ移動することに成功しました。

その数なんと約2000枚。これを手動でやったら大変です。

まとめ

今回の空白画像の振り分けはうまくいったと思います。

特に、同じようなデータが大量にある際は、プログラムを書いたほうが楽で速いということを改めて実感しました。

またこのような問題があれば記事にしたいと思います。

それでは

ばいち

PythonとOCRで数字を振り分け

Thu, 10 Jun 2021 23:41:00 +0900

PythonとOCRで数字を振り分け

とある作業で、数字が書かれた画像を数万ファイル振り分けなければいけなくなった。

手作業でやるのは.....流石にダルいため、PythonとOCRを利用し、どこまで仕分けできるかやってみることにした。

結論

あまり精度が良くない。

私のやり方や、数字が書かれた画像データの解像度、背景色など、さまざまな要因は在ると思うが、あまり精度が良くない、という結果に終わった。

特に3,4,7あたりが怪しく、0や8はほぼほぼ正解しているというような結果であった。

0のフォルダ

3のフォルダ

しかし、数万件手作業で振り分けるよりは効率が良いようにも思える。

方法

今回は、Python, PyOCR, Tesseractを用いた方法で分類した。

ソースコードはこちら: GitHub

仕組みは簡単で、ソースフォルダ内にある画像を全て読み取り、OCRで読み取ったテキストが、フォルダが用意されているものであればそのフォルダに振り分ける、用意されていなければOtherフォルダに入れる。

それだけである。

今回数字を抽出するに当たり、英語ベースでの識字をしている。これは日本語に比べ英語が文字数が少ないことから誤認識の確率を減らす効果があると思われる。

また、tesseract_layoutを8にすることで、画像を1つの単語として扱っている。

> tesseract --help-psm

まとめ

以上が実験の結果である。

使えなくはないが、常用するツールではない。そんな印象である。

自分の用途に合った文字データを学習させることで、より精度の高いOCRができる可能性があるため、またトライしてみたいと思う。

また、この技術は先日話題になっていた、ワクチン用冷蔵庫の監視をWebカメラで行うというものでも活用でき、冷蔵庫に監視するような機能がなくとも、カメラで取得した画像をOCRで値にし、サーバに送信することで、異常値が出たらアラートを出すといった対応もできる、非常に有用な技術だと思われる。OCRは印刷物をコピペできるようにするためだけのものじゃない！すごい！

続: PythonとOCRで数字を振り分け-2

参考

ばいち