いつも、拙ブログでは明治期から戦前ぐらいまで落合地域とその周辺域で暮らしていた人々を紹介することが多いので、必然的にその画像はモノクロ写真が主体になる。だが、それらの写真をカラー画像としてご紹介することができたら、彼ら彼女らをより身近でリアルな存在として感じられるだろうか？ そんな実験がしたくて、今回、AIエンジンを使ってモノクロ写真のカラー化を試してみた。大昔の話ではなく、ついこの間までそのへんで暮らして仕事をしていた人たちなんだな……というような感慨をお持ちいただければ、今回の企画は成功なのだろう。
たとえば、パリの郊外のモラン村で教会を写生する佐伯祐三Click!のモノクロ写真を、AIエンジンでカラー化するとこのようになる。(冒頭写真) 頬がかなりこけ、憔悴気味で不健康そうな佐伯祐三の横顔がよりハッキリと表現され、傍らにいる娘の彌智子Click!は、まるでついさっき撮影された現代の女の子のようにリアルだ。ただし、アジア人とヨーロッパ人の肌の色にはそれほどちがいがなく、いまだ撮影場所の推定や人種の差異までを含め、活用したAIエンジンは学習していないようだ。
モランは、かなり乾燥した早春(1928年3月上旬で佐伯が死去する5ヶ月前)らしく枝々から葉を落とした樹木が目立ち、季節がら常緑樹の葉も色褪せて表現されている。ただし、道端の雑草まで緑のままだったかどうかは不明だ。他の写真にも登場するが、樹木や草原など緑の表現は比較的リアリティが高い。また後述するけれど、このAIは建物の表現が苦手で、おもに人物表現にチューニングされたアルゴリズムおよびエンジンなのだろう。背後の建物は、ほとんどモノクロームのままで彩色がゆきとどいていない。
このAIエンジンの推論プロセスを想定すると、まず人物の顔を認識して肌色にカラーリングしている。ただし、佐伯祐三や彌智子、横手貞美Click!(左端)とフランス人の男の子ふたりの人種のちがいは表現できず、肌色一般として5人の人物に着色している。また、彼らの着ている洋服は、その質感やモノクロで表現された灰色の微妙な濃度やトーンの相違などを踏まえながら、当時の色彩を推定して着色している。佐伯祐三のジャケットが黒に近い灰色で、マフラーがブルーグレイだったのも、また真ん中の男の子が青っぽいブレザーを着ていたのも、おそらくAIの判断どおり事実だったのだろう。
樹木の幹や草木の葉は、その形状から判断して周囲の季節や風景に見あう色彩をほどこしているとみられるが、先述のように道端の草は枯れて薄茶色をしていたかもしれず、大ざっぱな表現のレベルにとどまっているのかもしれない。さらに、背景にとらえられている建物は、ピントが甘いせいもありAIエンジンが色彩をうまく推定できず、お手上げだった様子が見てとれる。ただし、左側にとらえられた建物のエントランス(玄関口)に見える小屋根が、赤あるいはエンジ色だったことは認識できたようだ。
佐伯祐三関連のモノクロ写真を、AIエンジンでもう少しカラー化してみよう。1925年(大正14)1月に撮影されたとみられる、リュ・デュ・シャトーにあった佐伯アトリエでの記念写真だ。それぞれ人物は、それらしい色彩で着色されているが、川瀬もと子Click!(左端)や佐伯、前田寛治Click!の手の色彩が中途半端のまま終わっている。また、この記念写真では川瀬もと子の顔がかなりブレているが、シミュラクラ的な判断と周囲の形状から人間の顔だと推論しているのだろう。左手前に写る岩崎雅通の足元は、靴下を履いているはずだが素肌だと判断して、肌色に塗られているのが気になる。
背後の壁にかけられたタペストリーは、赤が基調の織物だったことがうかがえる。その認識のしかたから、赤から上部へいくにつれ紫(または青)に変化するグラデーションのデザインだったものか。この写真には、右手に佐伯が制作した画面が1点とらえられているが、モノクロで撮影された絵画をカラー化するのは、当該のAIエンジンには苦手なようだ。3Dではなく2Dに描かれた空間で、絵の具の微妙な色彩の違いや質感を認識するには、美術に特化した膨大な学習の積み重ねが不可欠だろう。
ためしに佐伯の「下落合風景」シリーズClick!で、モノクロ画面しか残されていない作品をAIエンジンでカラー化してみたのだが、いまだお話にならないレベルの仕上がりで再現性はまったく期待できない。これはカラーで残されている、わたしがカメラで直接撮影した作品を一度モノクロ画面に変換し、改めて当該のAIエンジンでカラー化を試みても、その再現性がほとんどゼロだったことでもうかがわれる(次回ご紹介予定)。
佐伯夫妻と前田寛治Click!が写る、同じく1925年(大正14)ごろに撮影された庭での写真では、籐椅子の色やテーブル上のフルーツとみられる色彩が認識できていない。ただし、テーブルクロスは米子夫人が好きなピンク系の色だった可能性が高く、またパリではよく着ていた米子夫人のこの着物が、薄紫の細かい柄だったことは認識しているようだ。それにしても、前田寛治の顔色が悪すぎて、まるで病人か死人のようだ。AIエンジンが肌色を決める際、どこに基準が置かれているのか、何枚もの人物写真を試してみたがよくわからない。おそらく、人の肌色に対する学習がまだまだ不十分なのだろう。
もう1枚、1928年(昭和3)3月にモランを散歩する佐伯祐三と同行した仲間たちをとらえた写真では、佐伯のうしろを歩く米子夫人と大橋了介の両側に見えている、家々の屋根の色がおそらく実際とは異なるのではないだろうか。これは、のちのモノクロ風景写真のカラー化でも触れることだが、モランに建つ家々の屋根がまるで日本家屋の瓦のように、濃淡のある灰色ばかりだったとは思えない。また、佐伯祐三がモランで描いた作品画面を観ても、赤や青などカラフルな屋根が多かったはずなのだ。
さて、下落合にゆかりの人たちの写真をカラー化してみよう。ドキッとするぐらいリアルなのは、いまでは山手通りの貫通で失われてしまった矢田坂Click!を上ってくる着物姿の矢田津世子Click!だ。しぶさ好みの彼女らしく、紬らしい着物に金茶のつづれ帯をしめているらしい。その刺繍柄から、刀剣の鍔をあしらった彼女お気に入りの帯だろう。吉屋信子Click!の書斎も、それらしくリアルに再現されている。ただし、壁に架けられた甲斐仁代Click!の作品とみられる花は、このような色彩ではなかったと思われる。
アサヒグラフのカメラマンが、1927年(昭和2)3月に上落合の自宅リニューアルのため、下落合735番地にアトリエをかまえた村山知義・籌子夫妻Click!の写真も、なかなかリアルに再現されている。モノクロでは気づきにくいが、「オカズコねえちゃん」Click!の右手の表情が女性らしくていい。背後の本箱の質感もうまく表現されているが、ここでもAIエンジンは手前にある籐椅子の表現が苦手なようだ。アトリエで佐渡おけさClick!を踊る金山平三Click!は、ガラス面に写る青空までがうまく再現されたが、笠の陰になっている顔面の色彩はくすんでいる。なにかの陰になっている部分、あるいは室内でも光がゆきとどかない一画などは、AIが着色をためらうのか中途半端な色彩に終わる傾向がありそうだ。
親友の“清子さん”が撮影した、陽光が当たる下落合の書斎机で執筆の考えごとをしている九条武子Click!のスナップも、動きのある一瞬をとらえたブレのあるハレーション気味のモノクロ写真だが、紺地の普段着とともにうまく再現されていると思う。中村彝アトリエClick!前の記念写真も、やはり籐椅子の表現が不得手のようだが、それなりに鮮明で見られる画面だ。ただし、背後に写るアトリエの色彩が判断できないのか、“保留”のような状態で全体がくすんで表現されている。そのせいか、この写真自体が昔に撮影された人着モノクロの古写真のような雰囲気になってしまい、矢田津世子のような活きいきとした鮮やかさがない。
中井駅も近い辻山医院Click!で撮影された大田洋子Click!、辻山春子Click!、林芙美子Click!の3人は、影が多くコントラストの強い画面のせいか、色彩の再現がいまひとつうまくいっていないように見える。おそらく、フラッシュが焚かれていないせいなのだろう。フラッシュを焚いて撮影されたと思われる写真をカラー化してみると、その相違がよくわかる。たとえば、「女人藝術」Click!の会合でなにやら楽し気に発言する長谷川時雨Click!や、1929年(昭和4)にアトリエで『降誕の釈迦』を制作する陽咸二Click!は、非常にうまくカラー化できている例だろう。長谷川時雨の着物と帯の質感や、陽咸二にいたっては着ているのが紺のデニム地のオーバーオールであることも認識してカラーリングされている。
<つづく>
◆写真：AIエンジンでカラー化を試みた写真は、すべて拙ブログで過去に掲載したもの。
★おまけ
AIエンジンで、よく見かける写真をカラー化するとこのようになる。佐伯祐三×2葉と、前回の記事でご紹介したばかりの望月百合子Click!の大正期の写真、および下落合の御留山に通う相馬坂で撮影されたドラマClick!の広報用モノクロスチール(1973～1974年)。
この記事へのコメント
アヨアン・イゴカー
ChinchikoPapa
次回の記事でも触れますが、AIエンジン一般というのはなくて、チューニングによる得意・不得意分野が出てきますね。アルゴリズムの組み方しだいだと思うのですが、たとえば医療分野に特化したAIとか、美術分野が得意なAIとか、推論エンジンが備えた個別の能力によって成果物の完成度がちがってくると思います。ご指摘の佐伯祐三をとらえたモランの写真ですが、おそらくAIがベースとしているのはいまだ英語資料が主体で、日本語の膨大な資料類はあまり含まれていないのではないかと思います。たとえば、佐伯祐三のモラン作品に登場する画面に描かれた家屋の屋根色と、モノクロ写真の屋根のトーンおよび瓦の形状と質感、そして現在のモランにおける屋根の色や建物のフォルムから推論して、「この屋根はオレンジだ、ブルーだ」というような規定は、言語を問わずさらに膨大な資料を学習しないとなかなか導き出せないですね。
山本光輝
早急にご連絡をさせて頂こうと思っていたのですが、色々個人的に思うことがあり、気がついたらPCやスマホを投げ捨てて今年の10月末まで萩焼をしていました。
あの佐伯の有名なポートレートは、ジャケットの下に着ているのは赤いセーターかと思っていたのですが黒色にAIさんは認識しているのですね。
昔、PCでお仕事をしていた頃、白黒写真をカラーにする暇つぶしをよくしていたのですが、こんな数年でここまで進化するとは想像していなかったです。しかも人工知能に感性が備わるのもそう遠くない未来なのでしょうかね。
でもAIがどれだけ発展しても、佐伯の感性…視点は絶対に真似出来ないでしょうけど。
だからこそ、これからも僕もAIに真似の出来ない手仕事の大切さを活かした仕事に邁進したいと努力しています。
さて例の絵葉書は今年の展覧会には間に合わなかったのですが、4年後の2028年の生誕130年、没後100年までにはとは言わず、来年必ず持参して新宿区に寄贈させて頂きますので、それに合わせて35年ぶりの佐伯アトリエ見学も兼ねて、下落合の佐伯の描写ポイント見学にも足を運んで見ようかと思っていますので、お時間のご都合が合えばcafé 杏奴で…と思ったら移転されているのですね…残念。
あと小ネタですが、パリ時代の作品ですが戦前の展覧会の絵葉書を数枚入手しましまのでこれも持参したいと思っています。戦災で焼けてしまった山発コレクションの「皮膚病の広告あるキャフェー」…誰がこんな題名付けたのか、この題名と作品の感動のギャップが激しいです。
しかし、画集の価格がかなり下がってきましたね。
山発画集、僕が入手した時は25万でしたが、今は高くて10万円ですもんね。…ちなみに僕が同時期に入手したアパッチ野球軍のDVDはアマゾンで12万円近くで販売されていて「なんだかなぁ〜」と。
佐伯、中村彝ネタを数点思いついたので、ぜひ一度お話をさせて頂きたいです。
来年も誰も気付かなかったお話を楽しみにしていますのでよろしくお願い致します。
ChinchikoPapa
その節は、カラー絵はがきをお貸しいただき、ありがとうございました。また、貴重な絵はがきを新宿区へ寄贈いただけるとのこと、ありがとうございます。重ねてお礼申し上げます。
同絵はがきで、佐伯がサインをして小島善太郎へプレゼントした『セメントの坪(ヘイ)』のモノクロ画像にも、(下)の記事でAI着色してみたのですが、3Dをとらえた写真画像とは異なり、絵画の画面の色彩認識はまだまだ苦手なようです。そこにも書きましたが、汎用のAIではなく絵画の専門分野に特化したアルゴリズムの開発、およびAIエンジンのチューニングが必要だと思います。
わたしも、AIのカラーリングについては、改めていろいろ気づかされました。佐伯祐三は、おしなべて地味でしぶい色合いの洋服が好きなようですが、米子夫人は家具・調度やクロスなどに、どうやらピンク系のカラーばかり選んでいるようだとかw、これまで見えなかった嗜好までが見えてきて非常に興味深いですね。ただし、これが10年後に同様の着色をするかどうかは不明で、生地の繊維やモノクロの微細な明度のちがい、あるいは当時の時代背景や人物の嗜好も加味して、より的確なカラーリングを実現できるのかもしれません。
佐伯が描いた下落合の描画ポイントへ、ぜひお出でください。ここ数年で新たな発見もありますし、従来はモノクロ画面でしか残されていなかった作品の、カラー画像あるいはカラー絵はがきなどの発見で、より詳細に描画ポイントを特定できたものもいくつかあります。
おっしゃるとおり、画集がずいぶん手に入りやすくなりましたね。画集もそうですが、特別に有名な画家の希少作品は別にしても、油絵自体の価格も暴落に近いような下がり方で、かなり安くなりました。おそらく、現在の住宅事情が油彩画の似合う壁面ではないせいか、ニーズ自体が目に見えて低減しているのではないかと思います。佐伯と彝のネタ、いったいなんでしょう。w 楽しみにしています。
……などと、リプライを書いているうちに、除夜の鐘が聞こえなくなり年が明けてしまいました。あけまして、おめでとうございます。本年も、よろしくお願いいたします。
pinkich
ChinchikoPapa
モノクロ画像のAIカラー化は、よりたくさんの情報や考えるヒントを与えてくれ、また現代と地つづきの時代だったことをリアルに感じさせてくれて、たいへん有効ではないかと改めて感じます。ただし、正確なカラー認識がまだまだの段階で、これから10年後、20年後にその精度が驚異的に向上していくのでしょうね。
ちょっと余談ですが、AI技術を各時代の空中写真に応用すれば、従来は発見が困難だった、江戸期に破壊され均されて農地にされてしまったあとの古墳の痕跡なども、微小な起伏やフォルムを推論・認識することで、新たに見つけることができるのではないかと思います。落合地域でも、ちょっと試してみたいAI認識技術ですね。
そのほか、AI着色ではよりリアル感が増し認識レベルが向上するせいか、いままで見過ごしがちだった部分に改めてスポットを当て、改めて考察できるのも面白いです。たとえば、この記事の矢田津世子が写る“矢田坂”ですが、関東大震災以降に普及した軽量瓦とともに、トタンの屋根が一部写っています。トタン屋根はブルーだとAIは認識していますが、当時の防災用の軽量トタン屋根にはどのような色があったのかも、画家たちが描く「下落合風景」の家々を考える上では大きなヒントになりそうです。