올 3월 이탈리아 북서부 제노아 (Genoa)에서 차로 1시간 30분 거리에 있는 카스텔누오보 마그라(Castelnuovo Magra) 산타마리아 막달레나(Santa Maria Maddalena) 교회에 미술품 도둑들이 침입했다. 그곳에는 플랑드르 화가 피에터 브뤼겔(Pieter Brueghel the Younger)의 17세기 작품이 있었다. 교회에 침입한 2명의 도둑들은 헤머를 이용해 보관 상자를 부수고 작품을 훔쳐 달았다.

사실 이탈리아 지역 경찰들은 사전에 정보를 얻고, 300만 유로의 가치가 있는 ‘십자가 처형(The Crucifixion)’을 싼 복사본으로 바꿔 놓았다. 이같은 사건의 내막은 지난 5월 13일 인터넷 예술매체 아트넷 등에 보도됐다.

브뤼겔의 아버지 피에터 브뤼겔(Pieter Bruegel the Elder , 1525-1530 – 1569년 9월 9일)는 네델란드와 플랑드르 르네상스 그림의 가장 중요한 예술가였다. 그의 작품은 또 다른 아들인 얀 브뤼겔(Jan Brueghel the Elder)에게도 영향을 미쳤다. 그렇게 브뤼겔 가문의 화풍은 이어졌다.

11일(현지시간) 네이처에 따르면 미국 버클리의 켈리포니아대 미술사학자 엘리자베스 호닉(Elizabeth Honig)은 북 르네상스 미술사를 연구한다. 그는 누가 무엇을 그리고 누구에게 영향을 주었는지 확인하는 과정은 복잡하다. 그녀는 인공지능 심층학습 기반 컴퓨터 비전에 도움을 청했다.

호닉은 가장 잘 알려진 1,500장 이상의 디지털로 복제된 브루겔 사진의 데이터베이스를 가지고 있다. 그녀는 2016년1월에 프랑스와 미국의 인공지능(AI) 연구진과 이례적인 협력을 시작, 유사성을 분석하고 작품 역사를 추적하는 데 도움을 주는 최첨단 컴퓨터 비전을 구축했다.

다른 미술사학자들 또한 이전에 보는 사람들의 주관적인 눈에만 국한되었던 이론과 아이디어에 대한 경험적 지원을 제공하기 위해 기계 학습을 활용하는 기회를 보고 있다.

호닉은 컴퓨터가 많은 세부 사항을 훨씬 더 쉽게 수집할 수 있다고 말한다. 브루겔 데이터베이스에서 풍차를 특징으로 한 수백 장의 사진 중 알고리즘은 여러 그림에서 동일한 구조의 이미지를 찾아냈다. 그리고 그것은 사자, 개, 그리고 다른 인물들의 정확한 사본을 찾는 데 도움을 주었다.

많은 미술사학자들은 기록과 면밀한 관찰을 바탕으로 젊은 브뤼겔의 수많은 그림에서 이런 일이 일어났다고 추측했다. 컴퓨터는 그것을 증명하는데 도움이 된다. 호닉은 “작품 탄생 과정에 대한 많은 의문점을 해결해 준다”고 말한다.

컴퓨터 과학자들에게 호닉의 컬렉션은 그들의 알고리즘을 확장하기 위한 완벽한 데이터 집합이다. 그림으로 작업하는 것은 프로그램의 패턴매칭 능력에 도전한다고 프랑스 에콜 데 폰트 파리테크( École des Ponts ParisTech )의 컴퓨터비전과 심층학습(deep learning) 전문가인 마티유 오브리(Mathieu Aubry) 교수는 말한다. 어려움은 매체와 색상의 차이에 달려있다. .

동일한 물체에 주석을 달거나 컴퓨터가 모양과 같은 특정한 유사점을 찾도록 가르치는 데는 너무 오랜 시간이 걸린다. 그래서 오브리와 그의 동료들은 비지도 딥러닝(unsupervised deep learning) 기술을 사용했는데, 이 기술에서 알고리즘은 그림을 보여주고 그 자체로 유사성을 발견한다. 그 결과는 자율주행차와 같은 AI 비전의 보다 실용적인 적용으로 이어질 수 있었다고 그는 말한다.

그의 팀은 예를 들어 대포와 샹들리에가 모두 다섯 장의 사진을 통해 반복된 결과를 아르시브(arXiv) 출판전 논문 사이트에 3월에 게시했다(X. Shen et al. https://arxiv.org/abs/1903.02678; 2019). 다음 주에 그들은 캘리포니아 롱비치에서 열리는 2019 컴퓨터 비전 및 패턴인식 컨퍼런스(2019 Conference on Computer Vision and Pattern Recognition)에서 연구내용을 발표할 예정이다.

오브리 교수는 “비록 비지도 심층학습은 전형적으로 많은 컴퓨터 파워를 필요로 하지만, 선입견으로부터 영향을 받지 않는다”고 말한다. 그림의 주요 특징에 초점을 맞추는 경향과 같은 편견을 피하는 좋은 수단이다.

미국 뉴저지 피스카타웨이(Piscataway)의 러트거스대(Rutgers University)에서도 렘브란트(Rembrandt van Rijn)과 러시아의 전위예술가 카지미르 말레비치(Kazimir Malevich)처럼 다양한 예술가의 스타일을 어떻게 정의하고 발전시키는지를 매핑하는데 유사한 기술이 사용되고 있다.

러트거스 예술과 지능 실험실(Rutgers Art and Intelligence Laboratory) 멤버인 미술사학자 메리안 메존(Marian Mazzone)은 “우리는 이론이 있었지만, 그것들은 증명할 수 없다”며 “컴퓨터 과학은 이러한 문제들 중 몇 가지를 경험적으로 대답하는 데 도움을 줄 수 있는 도구가 될지도 모른다”고 말했다.

연구소장 아흐메드 엘가말(Ahmed Elgammal)과 함께 일하면서 그녀는 르네상스 시대부터 팝 아트에 이르기까지 5세기에 걸친 7만 7천 점의 예술 작품을 디지털로 분석했다(https://arxiv.org/abs/1801.07729; 2018). 컴퓨터는 비지도 학습을 사용해 예술작품을 시간순으로 배열했다.

이 프로젝트는 저명한 20세기 미술사학자 하인리히 볼핀(Heinrich Wolffin)의 이론을 확인했다. 그는 예술적 스타일의 변화는 5가지 이항 특성(binary characteristics)에 따라 분석되고 분류될 수 있다고 주장했다. 하나는 산드로 보티첼리의 작품에서 처럼 작품이 ‘선형(inear)’ 컨투어 주도(contour-led) 작품이다. 컨투어(Contour)는 불어로 아웃라인이라는 의미로 윤곽 소묘법이라고 불린다. 다른 하나는 틴토레토의 그림에서처럼 빛과 그림자를 나타내는 붓놀림에 더 많이 의존하는 ‘회화적(painterly)’기법 작품이다.

엘가말은 AI가 최초로 이론과 관찰을 비교하는 예측과학으로 예술사를 취급할 수 있게 한다고 주장한다.

AI는 또한 예술사의 근본적 문제인 물질적 유산으로서 작품의 보존과 질 저하를 해결하기 위해 이용되고 있다. 캐나다 밴쿠버에 있는 스타트업 아리우스 테크놀로지(Arius Technology)의 베루스 아트(Verus Art) 시스템은 레오나르도 다 빈치의 모나리자의 손상을 연구하기 위해 고안된 3D 스캔-인쇄 시스템을 활용, 예술품을 정밀하게 텍스처드 붓놀림과 색소 색조 색조까지 복제하고 있다. 이 ‘백업’ 그림들은 교육, 홍보, 기록 보관용으로 제작됐다.