PostgreSQLとPostGISで国土数値情報(行政区域)を扱ってみる

先日(5/30)、小笠原諸島西方沖を震源とする地震がありましたが、そういや気象庁防災情報XMLで震源地や各地の震度情報なども配信していたなぁと思いだし...

震源地と各地の震度情報をOpenLayers3で表示するのを作ろう！

と思い立ったのが4日前。
早速作ろうと色々データを集め始めたのですが、表示の際に一番必要な各地の座標(緯度,経度)は気象庁から公開されていません。
地震が発生したときに気象庁から送信されるXML電文は、震度速報、震源に関する情報、震源・震度に関する情報などがあり、例えば震源・震度に関する情報では...

(前略)
<Pref><Name>東京都</Name><Code>13</Code><MaxInt>5+</MaxInt>
 <Area><Name>小笠原</Name><Code>359</Code><MaxInt>5+</MaxInt>
  <City><Name>小笠原村</Name><Code>1342100</Code><MaxInt>5+</MaxInt>
   <IntensityStation><Name>小笠原村母島</Name><Code>1342103</Code><Int>5+</Int></IntensityStation>
   <IntensityStation><Name>小笠原村父島西町</Name><Code>1342100</Code><Int>4</Int></IntensityStation>
   <IntensityStation><Name>小笠原村父島三日月山</Name><Code>1342101</Code><Int>4</Int></IntensityStation>
  </City>
  </Area>
 <Area><Name>東京都23区</Name><Code>350</Code><MaxInt>4</MaxInt>
  <City><Name>東京千代田区</Name><Code>1310100</Code><MaxInt>4</MaxInt>
(後略)

このようになっています。
ここで、Areaは気象庁が独自に分けた188区域を、Cityは総務省の市区町村コードをベースにした1898区域が指定されます。

参考：気象庁 | 震度情報や緊急地震速報で用いる区域の名称

このXMLには区域コードと区域名だけで、気象庁が公開している技術資料などにも各区域のコードと名称のリストはありますが、座標は無い...

というわけで、無いなら作りましょう。

今回はPostgreSQLと、その拡張でGISオブジェクを格納することができるPostGIS、GISの閲覧、編集、分析機能を持ったQGISを使って、国交省が公開している国土数値情報(行政区域データ)を扱ってみます。

1. PostgreSQL, PostGIS, QGISなどをインストール (Mac/homebrew)

まずはQGISをインストール

brew install pyqt
brew install caskroom/cask/brew-cask
brew cask install qgis

次に、PostgreSQLとPostGIS、pgAdmin3のインストール

brew install postgresql
brew install postgis
brew cask install pgadmin3

2. データベースの作成、データの読み込み

データベースを作ってログインします

postgres -D /usr/local/var/postgres
createdb -E utf8 gis_dataset
psql -U keiichiro -d gis_dataset

エクステンションを設定してPostGISを使えるようにします

CREATE EXTENSION postgis;
CREATE EXTENSION postgis_topology;

PostGISが読み込めているか確認してみる

SELECT PostGIS_Version();

読めてたらpsqlを抜ける(\q)

国土数値情報 行政区域データ(全国)をダウンロードする
http://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-N03.html

N03-140401_GML.zipを展開して、SQLに変換、UTF-8に変換する

unzip N03-140401_GML.zip
cd N03-140401_GML
shp2pgsql -W SHIFT-JIS -c N03-14_140401.shp shapes > N03-14_140401.sql
nkf -W N03-14_140401.sql > N03-14_140401_UTF8.sql

先ほど作ったデータベースに読み込む

psql gis_dataset < N03-14_140401_UTF8.sql

3. QGISで見てみる

QGISを開き、レイヤ->レイヤの追加->PostGISレイヤの追加

[新規]をクリックして、ホスト(localhost)、先ほど作ったデータベース名、ユーザ名を入力して[OK]

先ほど取り込んだデータは、publicスキーマのshapesテーブルに入っているので、これを選択して[追加]

測地系を選択(WGS 84がデフォルトで選ばれているはず)して[OK]

これで、取り込んだ国土数値情報 行政区域データがレイヤとして追加され、画面に表示されるはず。

元となる行政区域データの準備が整ったので、次回は気象庁のデータを取り込んで、重心を求める計算をします。

NEXT→ PostGISで気象庁の細分区域&市町村等に対応する重心を求める

参考
http://qiita.com/nakamods/items/7f25aaaba950c8b8a458
http://morphocode.com/how-to-install-postgis-on-mac-os-x/
http://qiita.com/yellow_73/items/0845451b792f4bc33e90

OpenLayers 3.5.0でVector APIが変更されてた

久しぶりにOpenLayers 3を使おうと思ったら、昔のコードのままでol.jsを差し替えだけでは動きませんでした。
昨年10月に触ったときは3.0.0だったOpenLayers 3も、いつの間にか3.5.0になっていたので色々と機能追加や変更があったようです。
特に今回引っ掛かったのはGeoJSONの読み込みで、リリースノートを見ると、ol.source.*(ol.source.GeoJSONなど)が廃止されてol.source.Vectorに統一、formatでこれを指定することになったらしい。

以下、作ってる途中のコードの切れっ端ですが...

3.4.0まで

var smallScalePoints = new ol.layer.Vector({
    source: new ol.source.GeoJSON({
        url: 'smallScalePoints.json',
        projection: 'EPSG:3857'
    }),
    style: styleFunction,
    minResolution: 1000,
    maxResolution: 20000
});

3.5.0以降

var smallScalePoints = new ol.layer.Vector({
    source: new ol.source.Vector({
        url: 'smallScalePoints.json',
        format: new ol.format.GeoJSON(),
    }),
    style: styleFunction,
    minResolution: 1000,
    maxResolution: 20000
});

projectionの指定も必要なくなり、読み込み時にviewのprojectionとソースのprojectionが一致してない場合は変換されるようになったみたい。

参考 : Release v3.5.0 · openlayers/ol3

Raspberry Piのピン変換とラベルを作ってみた

Raspberry Pi、ピンヘッダなのでArduinoみたいにジャンパワイヤーをぶすぶす刺せないのつらい...
と、初代を買った当初から思っていたのですが、ここ1年くらいGPIOをあんまり触ってなかったので、すっかり忘れていました。
最近になって、また色々と触り始めたので思い出したように作ってみた訳です。

40P(20×2)のピンソケットをうまく位置合わせしてガッチリ押し込んであげると、そのままイイ感じにくっついてくれるので特にハンダ付けはしていません。
ラベルはIllustratorで書いて、市販のステッカーシート(A4サイズ)にインクジェットプリンタで印刷。
一番小さい文字は2.8ptですが、"写真用紙光沢"＋"きれい"の設定で潰れずに印刷できました。

あとはこれをカッターで切って貼るだけです。
実際に使ってみると以下のように基板面から刺す位置が上がってしまいますが、ピンヘッダ部が空いているケースに入れている場合は丁度よい位置になるはず。

RTX1100をVPNサーバとして使う

YAMAHAのVPNルータ「RTX1100」を秋葉原にて中古で入手したので、これをルータとしてではなくVPNサーバ機能のみで使用するconfigを考えて使ってみます。

#RTX1100は全ポート100BASEなので、フレッツ光ハイスピードやネクスト契約だとボトルネックになってしまうため。
#これが10年前なら勿体ない、贅沢すぎる使い方だ。

イメージとしては、NTTのHGWにルータとDHCPサーバを任せ、RTX1100はVPNで入りたいLANの中に入れてあげる感じ。

まず、HGWに来たアクセスをRTX1100に渡してあげる必要があるので、静的IPマスカレード設定で

• ESP
• UDP 500
• UDP 4500

をRTX1100に渡します。

今回はRTX1100を 192.168.1.5 とします。

我が家の場合、PPPoEマルチセッションで2セッション目として固定IPを貰えるISPに接続しているため、この固定IPで外部からアクセスします。
固定IPが貰えないISPと契約している場合、DDNSサービスやYAMAHAのネットボランチDNSを使う必要があります。

次にRTX1100の設定。
ポートはLAN3を使用、2台同時に接続できるようにトンネルは2つ、方式はL2TP/IPsecに。
VPN接続してきたクライアントに割り当てるIPアドレスは192.168.1.140〜141を予約しておきます。
[username]や[password]、[shared_key]は適宜変更してください。

administrator password [password]
console character ascii
ip route default gateway 192.168.1.1
ip lan3 address 192.168.1.5/24
ip lan3 proxyarp on
pp disable all
pp select anonymous
 pp bind tunnel1-tunnel2
 pp auth request mschap-v2
 pp auth username [username] [password]
 ppp ipcp ipaddress on
 ppp ipcp msext on
 ppp ccp type mppe-any
 ppp ipv6cp use off
 ip pp remote address pool 192.168.1.140-192.168.1.141
 ip pp mtu 1258
 ip pp tcp mss limit auto
 pp enable anonymous
no tunnel enable all
tunnel select 1
 tunnel encapsulation l2tp
 ipsec tunnel 101
  ipsec sa policy 101 1 esp aes-cbc sha-hmac
  ipsec ike keepalive use 1 off
  ipsec ike local address 1 192.168.1.5
  ipsec ike nat-traversal 1 on
  ipsec ike pre-shared-key 1 text [shared_key]
  ipsec ike remote address 1 any
 l2tp tunnel disconnect time off
 l2tp keepalive use on 10 3
 l2tp keepalive log on
 l2tp syslog on
 ip tunnel tcp mss limit auto
 tunnel enable 1
tunnel select 2
 tunnel encapsulation l2tp
 ipsec tunnel 102
  ipsec sa policy 102 2 esp aes-cbc sha-hmac
  ipsec ike keepalive use 2 off
  ipsec ike local address 2 192.168.1.5
  ipsec ike nat-traversal 2 on
  ipsec ike pre-shared-key 2 text [shared_key]
  ipsec ike remote address 2 any
 l2tp tunnel disconnect time off
 l2tp keepalive use on 10 3
 l2tp keepalive log on
 l2tp syslog on
 ip tunnel tcp mss limit auto
 tunnel enable 2
ipsec auto refresh on
ipsec transport 1 101 udp 1701
ipsec transport 2 102 udp 1701
dns server 192.168.1.1
dns notice order msext server
l2tp service on
save

当初、iPhoneからVPN接続した際にHGWからDNSが通知されず、URLでアクセス出来ない問題が生じていましたが、最後から3行目の"dns notice order msext server"で無事解決。
"dns server 192.168.1.1" とセットで入れてあげないと、VPN接続してきたクライアントにDNSサーバが通知されない模様。
普通はRTX1100をルータとして使用するので、RTX1100がDNSキャッシュサーバとして動作するように設定するので気付くのに時間が掛かりました...
コマンドリファレンスからは、dns serverで設定したものが既定で通知されるように読み取ったんだけど...

今まではCentOSにOpenswanでL2TP/IPsec VPNを実現していたけど、RTX1100の方が接続確立までの時間も早くて通信も安定している気がする。

Raspberry Pi 2にArchLinux, Xfce, Chromiumをインストール

卒論などでバタバタしてて放置してたRaspberry Pi 2、2ヶ月弱ぶりに触ってみました。
2/7の段階ではUSBキーボードを刺しただけでハングするくらい不安定だったArchLinuxでしたが、3/2に公開されたバージョンがあったので、インストールしてみます。
※細かい説明はコマンドの右側に「←」に続けて記述しています。(コピペ時に含めない様に注意)

パーティション作成

ここは別のマシン(ArchLinux on ThinkPad X220)で行いました。
トランセンド製のMicroSDHCカード 16GBを使用。

sudo fdisk /dev/mmcblk0
fdisk (util-linux 2.25.2) へようこそ。
ここで設定した内容は、書き込みコマンドを実行するまでメモリのみに保持されます。
書き込みコマンドを使用する際は、注意して実行してください。

コマンド (m でヘルプ): o
Created a new DOS disklabel with disk identifier 0xd88f609a.

コマンド (m でヘルプ): p
Disk /dev/mmcblk0: 14.7 GiB, 15719727104 bytes, 30702592 sectors
単位: セクタ (1 * 512 = 512 バイト)
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
ディスクラベルのタイプ: dos
ディスク識別子: 0xd88f609a

コマンド (m でヘルプ): n
Partition type
   p   primary (0 primary, 0 extended, 4 free)
   e   extended (container for logical partitions)
Select (default p): p
パーティション番号 (1-4, default 1): 1
最初のセクタ (2048-30702591, default 2048): 
最終セクタ, +セクタ番号 または +サイズ{K,M,G,T,P} (2048-30702591, default 30702591): +100M

新しいパーティション 1 をタイプ Linux、サイズ 100 MiB で作成しました。

コマンド (m でヘルプ): t
Selected partition 1
16 進数コード (L で利用可能なコードを一覧表示します): c
DOS 6.x 領域を作成、または変更してしまった場合は、cfdisk 付属文書にある追加情報ページを参照してください。
パーティションのタイプを 'Linux' から 'W95 FAT32 (LBA)' に変更しました。

コマンド (m でヘルプ): n
Partition type
   p   primary (1 primary, 0 extended, 3 free)
   e   extended (container for logical partitions)
Select (default p): p
パーティション番号 (2-4, default 2): 2
最初のセクタ (206848-30702591, default 206848): 
最終セクタ, +セクタ番号 または +サイズ{K,M,G,T,P} (206848-30702591, default 30702591): 

新しいパーティション 2 をタイプ Linux、サイズ 14.6 GiB で作成しました。

コマンド (m でヘルプ): w
パーティション情報が変更されました。
ioctl() を呼び出してパーティション情報を再読み込みします。
ディスクを同期しています。

フォーマットと展開

sudo mkfs.vfat /dev/mmcblk0p1
sudo mount /dev/mmcblk0p1 boot
sudo mkfs.ext4 /dev/mmcblk0p2
sudo mount /dev/mmcblk0p2 root
su
wget http://archlinuxarm.org/os/ArchLinuxARM-rpi-2-latest.tar.gz
bsdtar -xpf ArchLinuxARM-rpi-2-latest.tar.gz -C root
sync
mv root/boot/* boot
umount boot root

SDカードを取り出す。

Rapsberry Pi 2での作業

SDカードをRaspberry Pi 2に刺して、LANケーブルを接続、電源を入れる。
ユーザ：root / パスワード：root でログイン

pacman -Syu  ←インストール済みパッケージのアップデート
pacman -S base-devel wget  ←gcc, makeなどのインストール
passwd  ←rootパスワードの変更
useradd -m -g wheel <ユーザ名>  ←ユーザの追加
passwd <ユーザ名>  ←追加したユーザのパスワード設定
visudo

以下のコメントアウトを外す
Defaults env_keep += "HOME"
%wheel ALL=(ALL) ALL

systemctl enable sshd.service  ←SSHサーバの起動
ip addr  ←Raspberry Pi2のIPアドレスを表示
exit

続きはSSHでRaspberry Pi 2に接続して行う

XとXfceのインストール

sudo pacman -S xorg-server xorg-server-utils xorg-xinit 
sudo pacman -S xf86-video-armsoc-git xf86-video-fbdev xf86-video-vesa
sudo pacman -S xfce4 xfce4-goodies

yaourtのインストール

sudo pacman -S yajl
cd
wget https://aur.archlinux.org/packages/pa/package-query/package-query.tar.gz
tar zxvf package-query.tar.gz
cd package-query
makepkg
sudo pacman -U package-query-1.5-2-armv7h.pkg.tar.xz
cd
wget https://aur.archlinux.org/packages/ya/yaourt/yaourt.tar.gz
tar zxvf yaourt.tar.gz
cd yaourt
makepkg
sudo pacman -U yaourt-1.5-1-any.pkg.tar.xz
yaourt -Syy  ←データベースのアップデート
yaourt -S ttf-ricty  ←日本語フォントのインストール
sudo pacman -S chromium  ←ブラウザ(chromium)のインストール

画面解像度の調整

1920x1080のFullHDで出力されるようにします。

sudo nano /boot/config.txt

hdmi_groupとhdmi_modeのコメントアウトを解除し、以下のように書き換え

hdmi_group=2
hdmi_mode=82

ここで、hdmi_groupの2はDMT、hdmi_modeの82は1080p 60 Hzを意味する
詳細はeLinux.orgのRPiconfigに記載されています。

Xfceの起動

以下、Raspberry Pi 2でログイン後

startxfce4

でデスクトップが表示されれば成功

YouTubeも再生できます。