004 情報整理(後半)
ども、にぽっくです。
情報整理の後半。
3つ、図を描きました。
https://twitter.com/mamantick/status/1006873161457995777
【説明図1/3】
この件、始めた当初の漠然としたイメージはこう。
①の手描き絵と、②の漫画絵(?)とをセットで機械学習(ディープラーニング?)させる。
で、新しく手描きすると、それに見合った漫画絵(?)がアウトプットされる。
あとは、漫画原稿に貼り付けるだけー、みたいな。
<検討していて気付いた問題点>
表現揺らぎの問題です。
例えば、絵のうまい人が描いた猫と、絵の下手な人が描いた猫は、まったく別の線画になるけど、
どっちも、同じ「②猫」画像に紐付いて欲しい……。
どうやろう……?
に、近い話を、Googleさんの「Quick, Draw!」は試していると思われます。
ですが……ね?
本件の場合、そもそも、絵を手描きする必要があるのか?
と、思いなおしました。
だって、元のコンセプトは、「僕らWEB小説書いてる人が、絵がかけなくても漫画に出来るAI」ですからね。
いいじゃん。入力が絵じゃなくて。言葉だって。
ご自身が書いた小説から言葉を拾ってきて入力すればいいじゃん。
というわけで、現状のイメージは下記になってます。
【説明図2/3】
①の文字表現で、「猫」だとか「ネコ」だとか「にゃんこ」だとか入力する。
②で、表現を統一(する? このステップは必要?)
③対応する絵を探して来て表示する。
で。
①->②への、文字の正規化(?)をどうするか、まだわからんです。
色々とアイデアを挙げてみました。
②->③
をどうしようね?
ネコの絵 - タグ「ネコ」
っていう、絵とタグが対になってるデータセットはこの世に存在するはずです。
みんな画像へのタグ付けやってるもんね。
あとは、タグから画像を引っ張り出してこれれば……? みたいな?
そのデータセットどこから持ってくんねん? みたいな問題も残ってます。
【説明図3/3】
その他のやつを、赤色で追記してみました。
例えばね?
入力に、手描き線画 + 文字 とかどうだろう?
で、その線画に近い形をもった猫画像が出力されるの。
これだと、より漫画に近い自由度を出せるんじゃないだろうか?
(どうやって実装するかは後回し)
もう一つ描いた、「②のデータセットをいじって、対象読者絞り」
は、これ多分ダメだね。没筋。
どっちかっていうと、②の正規化文字から、③の絵を引っ張ってくるところで、何か工夫しないと無理。
(おそらく、学習データに、年齢データ的なのが必要になってくると思う)
えっと、今の所、僕の頭の中はこんな感じです。
なにぶん、やり始めたばっかりだし、地頭良くないから、理論的におかしいところもあると思う。
とりあえず進んで、ぶつかってみてから考えます。
次は、MNISTをまたやってみるとか、既にあるやつの解析とかに行く感じかな?
今日のところは以上です。
AI「手書き絵から漫画化君」開発プロジェクト にぽっくめいきんぐ @nipockmaking
★で称える
この小説が面白かったら★をつけてください。おすすめレビューも書けます。
フォローしてこの作品の続きを読もう
ユーザー登録すれば作品や作者をフォローして、更新や新作情報を受け取れます。AI「手書き絵から漫画化君」開発プロジェクトの最新話を見逃さないよう今すぐカクヨムにユーザー登録しましょう。
新規ユーザー登録(無料)簡単に登録できます
ビューワー設定
文字サイズ
背景色
フォント
組み方向
機能をオンにすると、画面の下部をタップする度に自動的にスクロールして読み進められます。
応援すると応援コメントも書けます