10/20から22、Adobeによる年次クリエイティブ カンファレンス、Adobe MAX 2020が開催されました。オンラインライブによって、世界中から同時に参加できるようになった今回、読者の中にもチェックしていた方は多いのではないでしょうか。形式は変わりましたが、例年と同じように、今年も新技術の紹介やアップデートの情報公開がありました。

Illustrator iPad版の新登場や、PhotoshopやInDesignなど、各種アプリケーションのアップデートなど、ユーザーにとってお待ちかねのものが目白押し。

その中で、いくつかAIを使ったものがあったのでご報告致します。

AdobeのAI技術

近年のAdobeは”Adobe Sensei”と呼ばれる人工知能を使った技術に力を入れています。
今回も、新発表されたPhotoshopのアップデートにそれは存分に使用されていました。

たとえば「空の置き換え」機能。
これは写真の中の空を自由にコントロールできるというもので、元の写真が晴れた昼の空だとしたら、それを曇らせたり、夕暮れの空にしたりもできるのです。単なるハメ込みではなく、全体の風景の色なども自動で調整されています。

次に、「ニューラルフィルター」。その名の通り、AdobeのAI技術、Adobe Senseiをフルに利用した機能です。主に、顔や肌の補正、修正を手助けするものです。他にも古いモノクロ写真をカラー化したり、表情や見た目の年齢を変えたりできる機能もあります。

このようなAIを使った機能やプロジェクトの中でも、特に注目したいものを2つご紹介します。

誰でもプロ並みのダンスパフォーマンスができる⁉「On the Beat」

一つ目は、Adobe On the Beatです。
これは、Adobeが開発中の新技術を発表する、MAX Sneaksにて発表されました。

開発チームの一員、Yang Zhou氏がプレゼンテーションしています。
https://labs.adobe.com/projects/on-the-beat/

TikTokやInstagramのリール機能など、短い動画を共有するサービスが流行している現在、その中でもメインストリームなのがダンス動画です。K-POPのクールなダンスパフォーマンス動画などもファンを惹きつけるコンテンツですよね。丁寧に手書き風のエフェクトで演出した動画が話題になることもよくあります。

軽やかに、キメキメで踊る人を見ると、ダンスに少し憧れがある筆者は「こんな風に踊れたら楽しそうだな〜」と思ってしまいます。「そんな文化とは縁がないよ……」という人も、肩を落とす前にぜひ、On the Beatをチェックしてみましょう。

On the Beatは、一言で説明すると、「だれでも音楽に合わせた完璧なダンスができるようになる機能」なのです。用意するものは音楽と、それに合わせたお手本のダンス動画、そしてあなた自身のダンスを録画したもの。カッコいいお手本通りに踊れなくても大丈夫です。準備ができたらOn the Beatを起動しましょう。

On the BeatはAdobeのAIテクノロジー（Sensei AI）を使用して骨格を追跡し、ダンスの動きをトレースします。センサーや赤外線カメラなどは必要ありません。機械学習により、関節の位置や四肢の動きを特定し、さらにダンスで重要なキメの動き、例えば足を踏み鳴らしたり手を叩いたりする動きを見つけます。これらの動きを基準点として、お手本のダンス動画も同様に処理することでダンスの下ごしらえは完了です。

次に必要なのは音楽の分析です。特徴的なビートをAIが取り出し、お手本のダンスと照らし合わせます。音と動きの正しい対応関係がハッキリしたら、これを基準として、自分自身のダンスとのズレを比較するわけです。ズレがある場合は、そのズレに合わせて自動的に動きを早送りにしたりスローにしたりしてくれます。

こうして、音楽に合わせた完璧な動きができなくても、動きを分析することで音楽に合わせて動いてるかのように見える動画が完成！これがOn the Beatなのです。

プロのようなコマ割りとレイアウトができる！「Comic Blast」

次に紹介したいのは、Adobe Comic Blast。
こちらは漫画制作のための補助ツールです。物語や画力、キャラクター造形など、漫画にはいくつもの大事な要素があります。

そして、それらと並ぶほど重要なものがレイアウト。
コマ割りやセリフの吹き出しの配置など、地味ではありますが、読者が受ける印象や作品の仕上がりに大きく関わってくる要素です。しかも、それは同時に非常に難しい作業でもあります。新人作家や「漫画書いてみようかな〜」というアマチュアから、熟練した漫画家まで、誰もが苦心しているのではないでしょうか。

Comic Blastは、その作業を自動で行ってくれる機能です。
まず用意するのは、漫画のシナリオ。セリフとその発言者を文字としてインプットすると、瞬時にコマ割りと吹き出しが完成します。しかも、発言の感情やテンションに合わせて吹き出しの形やフォントなども変わるという優れもの。

コマ割りに納得がいかなくても心配は要りません。たたき台として、最初からいくつかパターンを提案してくれますし、修正も簡単。枠線をドラッグして大きさを変えたり、ワンクリックで吹き出しを合体させたりすることもできます。

あとは絵の素材をコマに合わせて配置するだけ。気軽に作品を作ることができるようになるので、今までよりもさらにストーリー展開や作画に集中することも可能です。

また、Comic Blastにはさらなる機能も。
自分の顔をキャプチャーし、他の絵とほぼ変わらない作風で、漫画の中のキャラクターに顔をはめ込むことができます。これによって、自分をアバターのように劇中に登場させることができるだけでなく、自分で書くのが難しい角度や表情もイメージどおりに書くことができるのです。

まとめ

以上、AdobeがAIを使って実現した新プロジェクト、Adobe On the BeatとAdobe Comic Blastをご紹介しました。

どちらも比較的小規模ではありますが、もしかすると、これからの動画や漫画制作の上で新時代を作るツールとなるかもしれません。こうやって、一つのアイデアから生まれた機能が、結果としてより大きな文化の動きを作る可能性があると思うとワクワクしませんか？

しかもそれは、アイデアさえあれば実現できるような、些細なことだったりするのです。
もちろん、そのためには技術も必要です。技術を身につけていく道のりの中で、Aidemy Premium Planは最初のステップになるかもしれません。

AidemyでAIを学び、ワクワクするような未来を作る担い手になりませんか？

参考リンク

Adobe Blog「新しいCreative Cloudをサクッと確認 MAX 2020アップデート #AdobeMAX #CreativeCloud」
https://blogs.adobe.com/japan/cc-general-creativecloud-october-2020-update-list/
Adobe Labs, Comic Blast
https://labs.adobe.com/projects/comic-blast/
Adobe Labs, On the Beat
https://labs.adobe.com/projects/on-the-beat/
Adobe MAX Sneaks（2020）