「超解像」は低解像度画像を高解像度に変換する技術のことです。この技術をiOSアプリに適用することで、画像データの転送量削減が期待できます。本トークではCoreMLとSwiftを使って超解像処理を実装し、従来手法と比較・検証した結果についてご報告します。
はてなブログに投稿しました #tryswiftconf
— kentaro matsumae (@kenmaz) 2018年3月10日
try! Swift Tokyo 2018 でLT登壇しました＆学習済みCoreMLモデルを公開しました - kenmazの日記https://t.co/A95eEn4mht
超解像+CoreML+Swiftを使ってアプリの画像データ転送量削減に挑戦する
こんにちは、DeNAのまつまえけんたろうです。 始めて英語でプレゼンテーションします。
今日は超解像度＋CoreMLです。
低画質画像を高画質画像に復元する技術です。SRCNN、DeepLerningを使った技術です。
マンガボックスという漫画サービスをやっています。
データ量の削減ができるのではないかと考えました
デモです。
（ジャギっている画像がクリアになった）
漫画画像を１／３に圧縮します。クライアントサイドで高解像度化します
ネットワークにつながっている必要はなくクライアント側だけでできます。
モデルを得る必要が
あります
OSS試しましたが、結果はよくありません。セリフが潰れる、スクリーントーンのテクスチャが失われました。
これはアニメでトレーニングされており、漫画向けでなかった
サイズはけっこう小さい
本質的にはこの程度のコードでできます。 実行性能は1秒で1ページ分ぐらい変換できます
漫画以外にも使えそうなのでOSS化しました SRCNNKitで1行程度で簡単に組み込めます
学習済みモデル公開はダメでした。ちょっとお待ちいただきたいと思います。
学習スクリプトも同梱しました
UIImageのExtensionです。
モデルさえあればSwiftとCoreMLの知識で利用できます
