Task Composition with Adapter Module Using Cross Lingual Alignment from English to Korean

학위논문 (석사) -- 서울대학교 대학원 : 공과대학 컴퓨터공학부, 2021. 2. 이상구.최근 BERT 와 같은 Transformer 기반의 선수 학습된 언어 모델 (pre-trained language model) 은 다양한 자연어처리 (natural language processing) 분야에서 높은 성능을 보이고 있다. 하지만 이러한 높은 성능의 언어 모델의 등장에도 불구하고, 상대적으로 작은 데이터셋에 대한 성능은 아직 개선의 여지가 많다. 그 개선 방법 중 태스크 조합 (task composition) 방법은 여러 태스크에서 학습된 지식을 목표 태스크에 전이 학습 (transfer learning) 하여 해당 목표 태스크의 성능을 향상시키는 것에 효과적이다. 본 연구는 이러한 배경에서 많은 리소스 환경인 (high-resource) 영어 태스크에 학습된 어댑터 (Adapter) 네트워크를 조합하여 비교적 적은 리소스 환경인 (low-resource) 한국어 태스크에 대해 태스크 조합을 통해 성능을 향상시키고자 한다. 이때, 다국어 선수 학습 언어 모델 (multilingual pre-trained language model)에서 영어와 한국어 사이의 은닉 표현 벡터 (hidden representation vector) 분포 차이로 인한 문제를 해결하기 위해 평균 차이 이동 (mean difference shift)과 회전 변환 (rotational transform) 방법을 통해 영어의 은닉 표현을 한국어의 분포로 근사한다. 이러한 제안된 방법론을 통해 KorSTS, KorNLI, NSMC 와 같은 한국어 데이터셋에 대한 유의미한 성능 개선을 보고하였다.Recently, Transformer-based Pre-trained Language Models (PLM) such as BERT have shown high performance in various natural language processing (NLP) fields. However, despite the advent of such a language model with high performance, there is still room for improvement in performance for relatively small datasets. Among the proposed methods dealing with this problem, the task composition method is effective in improving the performance of the target task by transferring the knowledge learned in several tasks. In this background, this study uses the task composition method by combining Adapter networks learned in high-resource language, English, in order to improve performance of Korean tasks which are in relatively lower-resource setting. At this time, the mean difference shift (MDS) and rotational transform method are applied to approximate hidden representations of English to Korean to solve the problem caused by the difference between the distribution of hidden representation vector between English and Korean. Through these proposed methodologies, we have reported reasonable performance improvements for Korean datasets such as KorSTS, KorNLI, and NSMC.초 록 III 목 차 V 표 목차 VII 그림 목차 VIII 제 1 장 서 론 1 제 1 절 연구의 배경 1 제 2 절 연구의 범위와 내용 6 제 3 절 논문의 구성 9 제 2 장 관련 연구 10 제 1 절 선수 학습된 언어 모델 및 다국어 언어 모델 10 제 2 절 어댑터 네트워크 16 제 3 절 태스크 조합 방법 19 제 4 절 은닉 표현 분포 차이 문제와 정렬 방법 22 제 3 장 모델 설명 30 제 1 절 태스크 조합 모델 아키텍처 30 제 2 절 은닉 표현 정렬 적용 방법 32 제 4 장 실 험 39 제 1 절 데이터셋 39 제 2 절 학습 방법 44 제 3 절 실험 결과 45 제 5 장 결 론 55 제 1 절 결론 및 고찰 55 제 2 절 향후 연구 56 참고 문헌 58 ABSTRACT 62Maste

전기로에서의 크롬산화물 환원속도에 관한 연구

Maste

통신서비스산업을 중심으로

학위논문(석사) - 한국과학기술원 : 테크노경영대학원, 1999.2, [ v, 97 p. ]한국과학기술원 : 테크노경영대학원

한반도 서해안 제4기 후기 해안단구의 분포 : 해남 구림리 일대

해남군 구림리 일대에서 해안단구 제1면은 고조위 기준 3~5.5m에 분포한다. 구림리는 만곡(彎曲)이 심한 해안선과 역질 조간대가 발달하는 지역이다. 특히 구림마을 하구에서는 무명천의 곡구를 따라 선상지성 삼각주가 발달하여 주변 지대에 비해 해안 역질 퇴적물의 분포 범위가 넓고 층후가 두텁게 쌓여 있다. 이러한 지형 특성을 반영하여 구림리 해안단구 제1면은 구림마을 하구(Site A)에서는 넓은 폭으로 최대 5.5m 고도에 분포하는 반면, 구림리 해안의 내만(Site B)에서는 비교적 좁은 폭으로 최대 3m 고도에 분포한다. Site A에서는 역지지성 퇴적층이 약 2.5m 층후로 분포하고 있으며, IRSL 연대측정 결과 119.77±27.79ka 가 산출되었다. 한편, Site B는 총 5개의 층준으로 구분된다. 이 중 해성 기원으로 판단되는 Unit 1(-1m, 실트층), Unit 2 및 Unit 3(2m, 역지지성 퇴적층)에서 OSL 및 IRSL 연대측정을 진행한 결과, Unit 1은 100.17±8.39ka, Unit 2는 130.35±24.03ka의 결과가 도출되었다. 따라서 구림리의 해안단구 제1면의 형성 시기는 119.77±27.79ka (Site B) 및 130.35±24.03ka (Site A)으로 확인되며, 이는 최종 간빙기 극성기(MIS 5e) 시기에 대응된다. Site B의 경우, 하부 퇴적층(Unit 1, MIS 5c)이 상부 퇴적층(Unit 2, MIS 5e)과 층서적으로 연대가 역전되어있다. 연대 결과를 신뢰한다면, 해당 노두는 MIS 5c 시기 해수면이 MIS 5e 시기에 형성된 퇴적층(Unit 2)을 침식시킨 후, MIS 5c 퇴적물로 재충진되어 남아있는 모습으로 추정된다. 그러나 이러한 해석은 MIS 5c 시기 해수면이 MIS 5e 시기 해수면과 비슷한 수준으로 상승했어야 한다는 조건을 수반한다. 최근 한반도 서·남해안에 절대연대를 포함한 해안단구 연구 결과를 종합하면, MIS 5a 및 5c 시기의 해수면이 기존에 알려진 것보다 상당히 높은 수준에 머물렀던 것으로 나타난다. 이는 산소 동위원소 비율로 복원된 기온 변화와 실제 해수면 변동 간에 간극이 있을 가능성을 시사한다. 이러한 사실을 확인하기 위해 향후 더 많은 자료가 보완되어 한반도 인근 고(古)해수면 수준이 정밀하게 복원되어야할 것으로 사료된다. 나아가, 수집된 중위도 고(古)해수면 데이터는 GIA 및 기후변화 모델링 고도화에 중요한 역할을 할 것으로 기대된다.2