글 - 학술문2017.05.14 22:34
Neural Machine Translation Research Accelerates Dramatically

Academia continues to ramp up its research into neural machine translation (NMT). Five months into the year, the number of papers published in the open-access science archive, arXiv.org, nearly equals the research output for the entire year 2016. The spike confirms a trend Slator reported in late 2016, when we pointed out how NMT steamrolls SMT.

As of May 7, 2017, the Cornell University-run arXiv.org had a total of 137 papers in its repository, which had NMT either in their titles or abstracts. From only seven documents published in 2014, output went up to 11 in 2015. But the breakthrough year was 2016, with research output hitting 67 contributions.


NMT, or an approach to machine translation based on neural networks, is seen as the next evolution after phrase-based statistical machine translation (SMT) and the previous rules-based approach.

While many studies and comparative evaluations have pointed to NMT’s advantages in achieving more fluent translations, the technology is still in its nascent stage and interesting developments in the research space continue to unfold.

Most Prolific

At press time, NMT papers submitted in 2017 were authored by 173 researchers from across the world, majority of them (63 researchers) being affiliated with universities and research institutes in the US.

The most prolific contributor is Kyunghyun Cho, Assistant Professor at the Department of Computer Science, Courant Institute of Mathematical Sciences Center for Data Science, New York University. Cho logged 14 citations last year.

He has, so far, co-authored three papers this year —  “Nematus: a Toolkit for Neural Machine Translation,” “Learning to Parse and Translate Improves Neural Machine Translation,” and “Trainable Greedy Decoding for Neural Machine Translation” — in collaboration with researchers from the University of Edinburgh, Heidelberg University, and the University of Zurich in Europe; the University of Tokyo and the University of Hong Kong in Asia; and the Middle East Technical University in Turkey.

Aside from Cho, 62 other researchers with interest in NMT have published their work on arXiv under the auspices of eight American universities: UC Berkeley, Carnegie Mellon, NYU, MIT Computer Science and Artificial Intelligence Laboratory, Cambridge, Stanford, Georgia Institute of Technology Atlanta, Johns Hopkins University, and Harvard.

Sixty-one researchers from Europe have also substantially contributed to the collection, with authors from the UK (18), Germany (11), Ireland (13), and the Netherlands (7) submitting the most papers.

There were also 58 NMT academic papers from Asia, authored by researchers mostly from China, Hong Kong and Taiwan (31), Japan (22), South Korea (3), and Singapore (2).

Tech Firms in the Mix

Research teams from US tech giants such as Facebook Research, Google Brain, IBM Watson, NVIDIA (on whose GPU chips NMT runs), and translation technology pioneer SYSTRAN have also been increasingly contributing their research to arXiv. 

A paper from a team of researchers from Google Brain, for example, offers insights on building and extending NMT architectures and includes an open-source NMT framework to experiment with results.

Researchers from Harvard and SYSTRAN introduced an open-source NMT toolkit — OpenMT — which provides a library for training and deploying neural machine translation models. They said the toolkit will be further developed “to maintain strong MT results at the research frontier” and provide a stable framework for production use.

NMT, where math meets language

Facebook, which announced on May 9, 2017 that it is outsourcing its NMT model, has one other paper on arXiv. Entitled “Learning Joint Multilingual Sentence Representations with Neural Machine Translation,” it is authored by two members of its AI research team in collaboration with two other researchers from the Informatics Institute – University of Amsterdam and the Middle East Technical University.

In Asia, China’s Internet provider, Tencent, has two contributions this year. One is from its AI Lab in Shenzhen (“Modeling Source Syntax for Neural Machine Translation”); the other, from its Mobile Internet Group (“Deep Neural Machine Translation with Linear Associative Unit”), done in collaboration with researchers from Soochow University, Chinese Academy of Sciences, and Dublin University.

The Beijing-based Microsoft Research Asia has also started to contribute its own studies on NMT this year. Two papers (“Adversarial Neural Machine Translation” and “MAT: A Multimodal Attentive Translator for Image Captioning”) were uploaded just this month.

The company’s own researchers have collaborated with other scientists from the University of Science and Technology of China, Sun Yat-sen University (Taiwan), Guangdong Key Laboratory of Information Security Technology, Tsinghua University, UESTC, and Johns Hopkins University.

Surge Will Last

As early as February 2016, an informal survey conducted by Cho indicated that the NMT research boom would have legs.

In a blog post dated February 13, 2016, Cho said he conducted the informal (he admits highly biased) poll mainly to determine researchers’ opinion about contributing to arXiv. Rather than being a peer-reviewed journal or online platform, arXiv is an automated online distribution system for research papers (e-prints).

“In total, 203 people participated, and they were either machine learning or natural language processing researchers. Among them, 64.5% said their major area of research is machine learning, and the rest natural language processing,” Cho wrote.

It is a big number of scholars and scientists who could feed the NMT research funnel for years — whether, as Cho calls it, they choose “to arXiv” or “not to arXiv” their works right away.

Eden Estopace

An IT journalist for the past 17 years, Eden has written for the top publications in the Philippines and Asia, covering consumer and enterprise IT. Offline, her interests are creative writing, photography, and film.

저작자 표시 비영리 변경 금지
Posted by kicho
글 - 칼럼/단상2017.05.04 17:23


투표권 '자가 박탈'의 변  




목하 대통령 선거운동이 진행 중이다. 며칠 남지 않은 종착역을 향해 달리고 있다.

이번에 나는 내 투표권을 스스로 박탈하기로 했고, 아내가 내 판단과 결정의 증인이 되기로 했다. 성년 이후 대통령 선거를 위한 투표에 여러 번 참여했지만, 결과가 만족스러운 경우는 한 번도 없었다. 내가 찍은 후보가 당선되지 않은 경우도 있었지만, 설사 당선되었다 해도 그 직책을 만족스럽게 수행하는 대통령이 없었다. 최근의 탄핵사건은 그 비극의 정점이었다. 그러니 투표장에서 붓 뚜껑을 들었던 내 손과 그 손을 움직인 내 판단력이나 탓할 수밖에 없는 형국이다. 그래서 이번엔 스스로에게 한시적 공민권 박탈의 실형을 내리기로 한 것이다.


참 후보들에게 불만이 많다. 대통령이란 분명 도덕군자도, 박식한 학자도, 순발력 뛰어난 전장의 장수도, 능숙한 행정가도, 출중한 장사꾼도, 말솜씨로 사람들의 마음을 울리는 웅변가도, 글 솜씨로 사람을 움직이는 문필가도 아니다. 그러나 대중은 이 모든 것을 합친 능력자를 대통령으로 뽑길 원한다. 나보다 나은 인격과 능력을 갖춘 인물을 뽑고 싶어 한다. 그런 인간만이 우리를 대표할 수 있다고 보기 때문이다. 그러다 보면 결국 기준이 뒤죽박죽으로 뒤엉겨 그냥 아무나뽑게 되는 것이 아닌가. 그러다 보면 ×하나를 대통령으로 뽑아 놓고 매일매일 어안이 벙벙해 하는어떤 나라처럼 되는 것 아닌가.


후보들의 말을 듣고 그들의 행적을 뒤져보라. 얼마나 구린 구석들이 많은가. 뻔한 질문에 답변이 궁색하여 진땀 흘리는 모습들을 보라. 거칠 것 없는 나에 비해 그들은 얼마나 자유롭지 못한가. 둔사(遁辭)를 농하며 상대가 파놓은 덫을 빠져 나가려는 가련한 몸짓들을 보라. 아무도 무언가를 추궁하지 않는 달달보살인 나에 비해 그들은 얼마나 불안하고 긴장된 삶을 살아가는가.


그들도 대통령(후보)이란 허울을 벗겨 놓으면지극히 평범한 장삼이사(張三李四)’들 가운데 하나이리라. 진실은 바로 거기에 있다. 겸허한 마음으로, 혼신의 힘을 다하여 대통령직을 수행하고자 하는 결기(決氣)만 있다면, 대통령으로서 충분하다. 내가 매일 만나는 친구들이나 나는 지극히 평범한 사람들이다. 그러나 만나서 나누는 정담(政談)’은 정치인 누구 못지않다. 그리고 무엇보다 대통령 후보들의 도덕과 상식 수준보다 이들이 훨씬 우위에 서 있는지 모른다. 그래서 나는 가끔 친구들 중의 하나에게 대통령의 허울을 씌워서 청와대에 들여보내는 상상 유희를 즐기곤 한다. 그들 중의 누구를 대통령으로 만들어 놓아도 탄핵으로 쫓겨난 그녀나 지금 그 대통령직을 차지하기 위해 부나방처럼 달려든 15명보다야 낫지 않겠나 생각한다. 누구 말대로 이번에도 어느 사기꾼이 대통령으로 뽑히나’, ‘국민을 얼마나 괴롭게 할 것인가라는 불안감 때문에 대통령은 하늘이 낸다는 속담만 원망스러울 뿐이다.


저작자 표시 비영리 변경 금지
Posted by kicho
알림2017.04.19 19:32

카카오, AI 연구 활성화 위한 ‘머신러닝 캠프 제주’ 개최

오는 7월 3일부터 진행…최신 AI기술 강의 및 국내외 유명 연구자 멘토단 지원

▲ 카카오가 AI연구 활성화를 위한 ‘머신 러닝 캠프 제주 2017’을 개최한다.
[아이티데일리] 카카오(대표 임지훈)는 ‘텐서플로우(TensorFlow)’ 한국사용자 모임과 함께 인공지능(AI) 기술 활성화를 위한 ‘머신 러닝 캠프 제주 2017’를 7월 3일부터 28일까지 개최한다고 밝혔다.

‘머신 러닝 캠프 제주’는 카카오와 ‘텐서플로우’ 한국사용자 모임이 카카오브레인, 구글, 제주도, 국립 제주대학교, 제주 창조경제혁신센터와 함께 진행하는 행사로, AI에 관심 있는 국내외 학생·일반인은 누구나 참여할 수 있다.

조경현 뉴욕대(NYU) 교수, 이홍락 미시건대(MU) 교수, 제프 딘(Jeff Dean) 구글 수석 연구원, 라잣 몬가(Rajat Monga) 구글 텐서플로 기술 책임 등이 키노트 연사로 참여해 최신 AI기술에 대해 강의를 진행할 예정이다. 또한 김남주 카카오브레인 연구 부분 총괄과 김성훈 홍콩과학기술대(HKUST) 교수 등 국내외 유명 연구자들이 참가자들과 함께 연구를 진행한다.

이번 ‘머신 러닝 캠프 제주’ 참가 신청은 오는 20일까지 캠프 공식사이트에서 할 수 있다. 심사를 거쳐 선정된 20인의 참가자들은 한 달간 제주대학교와 카카오 본사 건물에서 합숙하며 딥 러닝·머신 러닝 전문가들과 함께 ‘텐서플로우’를 이용해 자신만의 머신 러닝 프로그램을 개발하게 된다.

참가자들은 또한 캠프 기간 중의 생활비, 항공료, 숙식과 구글 클라우드 이용권 등 300만 원 상당의 지원도 받을 수 있다. 카카오 측은 국적, 성별, 나이와 무관하게 지원할 수 있으나 텐서플로우, 딥 러닝에 대한 기본적인 이해와 연구 경험이 있는 지원자를 우대할 방침이라고 밝혔다.

김남주 카카오브레인 연구 총괄은 “참가자들은 국내외 정상급 머신 러닝 전문가들과 함께 프로젝트를 진행하며 머신 러닝 전문가로 성장할 발판을 마련할 수 있을 것”이라며, “카카오브레인은 ‘오픈과 협력을 추구하고 AI 발전에 공헌한다’는 목표를 위해 앞으로도 다양한 활동을 펼칠 계획”이라고 말했다.

한편, 카카오는 인공지능 기술 보급과 연구 활성화를 위해 올해를 시작으로 매년 제주에서 정기적으로 머신 러닝 캠프를 개최할 예정이다.

저작자 표시 비영리 변경 금지
Posted by kicho
자료 - 전공자료2017.04.19 19:21

네이버 번역이 구글 못따라가는 이유

데이터·신경망 구조 조밀한 구글 `번역품질`이 타사 압도
사회·문화적 맥락 집중 학습…인공지능, 곧 인간번역 추월

  • 신현규 기자
  • 입력 : 2017.04.04 17:03:59   수정 : 2017.04.05 10:08:21


'신경망번역' 탄생시킨 조경현 뉴욕대 교수

 기사의 0번째 이미지
최근 세종대에서 벌어진 인간 대 인공지능 번역 대결은 피조물의 패배로 끝났다. 판정 시비 논란이 있긴 했지만 번역은 아직 인간의 영역이라는 공감대가 형성된 이벤트였다. 글에 담긴 사회적 의미와 문화적 차이 등을 인공지능이 인간만큼 번역하기엔 한계가 있다는 지적이 이어졌다. 기사가 아니라 문학작품 번역에서 그 차이는 더욱 두드러졌다.

지난해 바둑에서 인공지능에 완패 당한 기억 탓인지 '인간의 승리'는 더 값져 보였다. 하지만 상대는 점점 더 강해진다.

인공신경망 번역 분야에서 주목받는 연구 성과를 내고 있는 조경현 미국 뉴욕대 교수(33·사진)는 "지금은 문장 단위 번역이지만, 앞으로는 이를 보완하는 사회·문화적 맥락 단위 번역이 이뤄질 것"이라며 "현재 딥러닝 연구자들이 그런 방향의 리서치를 진행하고 있다"고 말했다. 전문 번역가처럼 사회·문화적 맥락과 작가 스타일을 살려 번역할 수 있도록 하는 연구들이 진행되고 있다는 얘기다.

조 교수는 '신경망 번역(Neural Machine Translation)'이라는 학술용어를 처음으로 탄생시킨 인물이다. 공저자로 참여해 2014년 머신러닝 관련 콘퍼런스(ICLR)에서 발표한 논문 '배치작업과 번역작업을 동시에 학습시키는 신경망 번역'은 현재 대부분 번역엔진에 채택돼 있다. 조 교수가 요슈아 벤지오 몬트리올대 교수와 함께 쓴 논문이다. 벤지오 교수는 앤드루 응 전 바이두 인공지능연구소장, 얀 르쿤 뉴욕대 교수, 제프리 힌턴 토론토대 교수 등과 함께 현존 최고 딥러닝 학자 4인방으로 불리는 인공지능 대가다.

조 교수는 "예를 들어 이미지를 문장과 함께 인공지능 신경망에 포함해 번역시키면 결과물 품질이 더욱 높아질 수 있다"며 "이미지뿐만 아니라 다양한 보조 정보를 인공지능 신경망에 포함시켜 번역 품질을 향상시킬 수 있다"고 했다. 그의 설명대로라면 웃는 이모티콘을 사용하면서 '죽을래?'라고 쓴 문장을 번역하면 'Wanna die?' 대신 'Are you messing with me?' 정도로 번역될 수 있을 것이다. 웃고 있는 이모티콘을 통해 살의를 갖고 협박하는 말이 아니라 장난치는 말이라는 것을 알아채는 것이다. 장기적으로는 저자의 국적, 성별, 스타일까지 반영한 인공신경망 번역이 나올 수도 있다.

인공신경망 번역은 문장 하나를 그 의미와 구조에 따라 가상공간 점에 위치시킨 후 해당 점을 번역해 문장으로 풀어내는 기술이다. 변수들로 구성된 벡터 공간에 문장을 배치하기 때문에 그 공간에 이미지, 이모티콘, 저자 특성 등을 변수로 추가하면 이 같은 사회·문화적 맥락을 가미한 번역이 가능해진다. 이전 통계기반 번역에서는 어구 하나하나를 대입시켜 번역했기 때문에 변수를 추가하기 힘든 구조였다.

조 교수는 "기존 통계기반 번역기술에서는 이런 게 불가능했지만, 인공지능 신경망 번역이 나오면서 가능성이 새롭게 열렸다"고 했다.

그렇다면 왜 구글, 바이두, 네이버, 마이크로소프트 등이 내놓은 신경망 번역 엔진들 품질이 다른 걸까. 조 교수는 "사실 모든 회사의 기반기술 자체는 같다"며 "다만 개별 회사가 갖고 있는 데이터 양과 질, 신경망 모델의 크기, 학습 시간, 어떤 특성화된 알고리즘을 사용했느냐에 따라 차이가 난다"고 말했다. 그는 "동물 중에서 고등동물 뇌에 훨씬 많은 신경세포가 연결돼 있고, 그 연결이 많을수록 지능이 높다"며 "인공신경망 번역도 마찬가지"라고 말했다. 훨씬 범위가 넓고 조밀한 신경망을 구성하는 설계 구조가 번역 품질의 차이점이라는 것이다.

[신현규 기자]
[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]

저작자 표시 비영리 변경 금지
Posted by kicho

티스토리 툴바