Deep Deterministic Policy Gradient-based Network Load Balancing Method for SDN

학위논문(석사)--아주대학교 일반대학원 :컴퓨터공학과,2020. 8소프트웨어 정의 네트워킹(Software-Defined Networking, SDN)은 기존 네트워크 장비와 달리 컨트롤 플레인과 데이터 플레인을 분리하여 중앙 컨트롤러의 소프트웨어를 통해 네트워크를 제어할 수 있는 기술이다. 최근 딥 러닝을 비롯하여 기계학습(Machine Learning)을 이용한 기법이 발전함에 따라 SDN에 기계학습을 접목하여 지능적으로 네트워크를 관리하고자 하는 연구들이 수행되고 있다. 한편, 네트워크 트래픽을 관리하여 병목 현상(bottleneck)을 완화하고 부하를 분산시키는 것은 네트워크 분야의 오랜 연구 주제이다. 이에 따라 SDN 환경에서 기계학습 기법 중 하나인 심층 강화 학습(Deep Reinforcement Learning)을 활용하여 부하 분산을 수행하고자 하는 연구들이 있었다. 그러나 기존 연구들은 실험용의 작은 토폴로지에서만 유효하다는 문제점이 있었다. 또한 심층 강화 학습의 학습 결과에 중요한 영향을 미칠 수 있는 보상함수 설계에 대해 자세히 기술되지 않았다. 더하여 심층 강화 학습의 특성상, 학습을 함과 동시에 네트워크 라우팅 경로가 지속적으로 변화한다. 이로 인해 네트워크 루핑 발생 가능성이 있으며, 학습 중 우수하지 못한 케이스의 파라미터가 실제 네트워크에 수 없이 적용되는 문제점이 야기될 수 있다. 따라서, 본 논문에서는 SDN 환경에서 보다 실제적인 부하 분산을 위해 심층 강화 학습 알고리즘 중 Deep Deterministic Policy Gradient(DDPG)을 활용하면서 동시에 최적의 부하 분산 파라미터를 추출하여 실제 네트워크에 적용하는 방법을 제안한다.1. 서론 1 2. 연구배경 3 2.1. SDN 개요 3 2.2. 기존 SDN 부하 분산 방법 4 2.2.1. 기계학습을 이용하지 않는 부하 분산 방법 4 2.2.2. 기계학습을 이용한 부하 분산 방법 4 2.3. Deep Deterministic Policy Gradient 알고리즘과 최적 제어 문제 7 2.4. 보상 함수 설계 문제 9 3. DDPG 기반 부하 분산 방법 10 3.1. DDPG를 이용한 부하 분산 구현 10 3.1.1. 학습 프레임워크 10 3.1.2. DDPG 에이전트 11 3.1.3. 네트워킹 환경 모델링 16 3.2. 부하 분산 동작 방법 17 3.2.1. 부하 분산을 위한 DRL Signals 17 3.2.2. 부하 분산 학습 과정 18 3.2.3. 최적 제어를 위한 단계적 파라미터 추출 19 4. 실험결과 21 4.1. 실험환경 21 4.2. 성능분석 22 5. 결론 35 참고문헌 36MasterSoftware-Defined Networking (SDN) is a technology that can control the network through the software of the central controller by separating the control plane and the data plane unlike the existing network equipment. Recently, with the improvement of techniques using machine learning, including deep learning, studies have been conducted to intelligently manage networks by grafting machine learning to SDN. Meanwhile, managing network traffic to alleviate bottlenecks and distribute load is a long-standing research topic in the network field. Accordingly, there have been studies that attempt to perform load balancing by using Deep Reinforcement Learning, one of the machine learning techniques in the SDN environment. However, existing studies have a problem that they are effective only in small topologies for experiments. In addition, the design of the compensation function, which can have a significant effect on the learning outcome of deep reinforcement learning, has not been described in detail. Moreover, due to the nature of deep reinforcement learning, network routing path changes continuously while training. This is likely to lead to network looping, and can cause problems where parameters of poor cases during training are applied countless times to the real network. Therefore, for more practical load balancing in SDN environments, this paper proposes a method to extract optimal load balancing parameters and apply them to the real networks while utilizing Deep Deterministic Policy Gradient(DDPG) among deep reinforcement learning algorithms

고강도 강연선을 적용한 PSC 거더의 휨 거동

학위논문 (석사)-- 서울대학교 대학원 : 건설환경공학부, 2014. 2. 조재열.이 연구에서는 고강도 강연선을 적용한 포스트텐션 PSC 거더의 휨 성능 실험을 수행하여 거동을 분석하였다. 기존에 주로 사용하였던 1,860 MPa 공칭강도의 강연선보다 강도가 각각 16%, 29% 증진된 2,160 MPa, 2,400 MPa 공칭강도의 고강선이 개발되었다. 이를 실 구조물에 적용할 경우 얻을 수 있는 이점으로는 강재량 및 정착구 개수를 줄일 수 있고, 더 큰 프리스트레스힘을 도입 할 수 있다. 또한 고강도 콘크리트와 함께 적용할 경우 부재의 단면적을 줄이고 경간을 더 길게 할 수 있을 것으로 예상된다. 하지만 아직까지 고강도 강연선을 적용한 부재의 성능실험 사례는 드물어 이를 실제로 사용하기에 앞서 성능을 검증할 필요가 있었으며, 위의 부재가 현행 설계기준에 곧바로 적용할 수 있는지 확인 할 필요가 있었다. 이에 따라 콘크리트의 압축강도와 강연선의 인장강도를 변수로 하여 5개의 실물크기 20 m 포스트텐션 PSC 거더를 제작하고 4점재하 휨실험을 수행하여 거동을 관찰하고 결과를 얻었다. 그리고 3차원 유한요소해석과 단면해석을 수행하여 실험결과와 비교해 보았다. 현 설계기준을 검토하여 해석결과와 비교하고 필요시 개정을 제안하고자 하였다.Chapter 1 Introduction 1 1.1 Background 1 1.2 Objectives 2 Chapter 2 Experimental Programs 3 2.1 Introduction 3 2.2 Test Variables 4 2.3 Design of The Test Specimens 5 2.4 Fabrication of Test Specimens 6 2.5 Instrumentation 13 2.6 Test Procedure 23 Chapter 3 Experimental Results 27 3.1 Introduction 27 3.2 Material Tests 27 3.3 Flexural Response 34 Chapter 4 Analytical Study 38 4.1 Introduction 38 4.2 3D Finite Element Analysis 38 4.3 Sectional Analysis 40 4.4 Comparison of Analytical and Experimental Results 40 Chapter 5 Current Code Validation 66 5.1 Introduction 66 5.2 Strands Stress at Nominal Flexural Strength 66 5.3 Strain Limit for Design Section 76 Chapter 6 Conclusions 82 References 83 Abstract 85Maste

Temporal and Spatial variability on rocky shore macrobenthic assemblages affected by an Hebei Spirit oil spill in Yellow Sea of Korea

기름유출사고에 의한 암반 저서생물군집의 시공간적 변화 연구 We studied the impact of oil spill on rocky shore in the Yellow Sea of Korea. We chose a heavily impacted site, Padori, and a control site, Yonpo, and surveyed the sites every season from January 2008 to April 2011. In Padori, Crassostrea gigas population drastically decreased after the spill until January 2010. Since January 2010, C. gigas population started to recover gradually. The abundance of small sessile species and larvae utilized the space among C. gigas individuals also decreased. The spare space was populated by Littorina brevicula instead. In Yonpo, Chthamalus challengeri and L. brevicula were the most abundant. Recently, C. gigas population started to increase gradually. The abundance was the highest in summer every year. The most dominant species in both sites was C. challengeri. In Padori, C. challengeri population crashed since the spill; however it started to increase after October 2010. In Yonpo, the population gradually decreased until January 2009, dramatically increased until July 2010, and then began to decrease again since October 2010. In the same tidal level, community structures in the two sites were determined by abundance of dominant species rather than physical and environmental aspects, such as the magnitude of oil spill, seasonality and habitat type.season from January 2008 to April 2011. In Padori, Crassostrea gigas population drastically decreased after the spill until January 2010. Since January 2010, C. gigas population started to recover gradually. The abundance of small sessile species and larvae utilized the space among C. gigas individuals also decreased. The spare space was populated by Littorina brevicula instead. In Yonpo, Chthamalus challengeri and L. brevicula were the most abundant. Recently, C. gigas population started to increase gradually. The abundance was the highest in summer every year. The most dominant species in b1

Species composition of hard-bottom macrobenthos around the ports

해양에서 생물의 가입과 이동은 안정된 기존 생태계 구성에 영향을 미치면서, 군집구조의 변동을 통해 서식처 변화를 야기 시키기도 하며, 오랜 기간의 천이과정을 통해 심지어 경쟁에 의한 고유종의 멸종을 가져오기도 한다. 1960년대 이후 대륙간 물동량 증가는 다량의 생물을 빠른 시간에 다른 지역으로 이동시킬 수 있는 방법이 되면서, 일시적으로 고유 생태계에 영향을 미치는 종을 ‘Marine Pests'라는 용어가 생기게 되었다. 심지어 호주, 미국, 유럽연안에서는 이입종에 의한 영향이 심각하게 발생하는 지역이 생기면서 고유종 관리와 이입종의 차단에 대한 연구가 활발히 진행되었다. 우리나라에서도 이입종에 대한 영향을 파악하기 위한 시도가 진행되었으나, 고유종과 이입종에 대한 구분과 가입시기에 대한 정보가 미흡하여 상당한 혼란을 겪고 있는 상황에서 우선적으로 항만을 중심으로 서식하는 종의 분포를 파악하고, 우점종의 생물지리적 분포양상을 파악함으로서 국내 고유 생물종에 대한 정보를 확보하는데 목적을 두었다. 대상해역은 인천, 광양, 부산, 울산 등 4개 항구를 대상으로 하였다. 각 지역마다 외측과 항만 내측에 각각 1개의 정선을 선정하였고, 외측의 경우 자연암반을 대상으로 하였으며, 외측은 인공기질을 선정하였다. 각 정선별로 최간조시기를 택하여 수심 1m, 3m, 5m에서 25x25cm의 방형구를 사용하여 정량 채집을 실시하였으며, 채집된 시료는 1mm 망목에서 생물을 분리하였다. 대상 수심에서 정성시료를 확보하기 위해 정성 시료를 채취하였으며, 비디오를 사용하여 촬영을 실시하였다. 전체 출현종수는 91종으로 나타났다. 가장 많은 종이 출현한 지역은 부산항으로 71종이 출현하였으며, 인천항에서는 8종이 출현하였다. 생물다양성지수에서는 울산 외해역에서 2.9로 가장 높게 나타났으며, 인천 외해역의 경우 0.9를 나타냈다. 각 지역별로 가장 우점한 생물은 지중해담치(Mytilus galloprovincialis)로 수심 3m를 중심으로 부산, 울산, 광양항에서 우점하는 것으로 나타났다. 지중해담치의 경우 대표적인 이입종으로 한국동란 이후 가입된 것으로 알려져 있다. 인천항에서는 굴이 우점하였으며, 고랑따개비(Balanus albicostatus) 등도 높은 서식밀도를 보이면서, 다른 지역과 상이한 군집구조를 나타냈다. 수심 1m 지점에서는 구멀갈파래의 서식밀도가 군집구조를 좌우하는 양상을 나타냈으며,2

First observation on rocky shore communities after Hebei Spirit oil Spill in the West Sea of Korea

헤베이 기름 유출에 따른 암반생태계 초기 영향 해석 Change in biomass was largely influenced by molluscs M. galloprovincialis and L. brevicula. Similar to the abundance, biomass also gradually increased after April 2008. Dominant species was not consistent whereas the most dominant species was always C. challengeri. In Gurepo, molluscs L. undulate, Barleeia angustata, and a cirriped C. challengeri were abundant. The most abundant C. challengeri was mostly found in the mid and low intertidal in high density. The abundance decreased until September 2008 and then increased after January 2009. Biomass of polychaetes and crustaceans continuously decreased for a year after the spill. was not consistent whereas the most dominant species was always C. challengeri. In Gurepo, molluscs L. undulate, Barleeia angustata, and a cirriped C. challengeri were abundant. The most abundant C. challengeri was mostly found in the mid and low intertidal in high density. The abundance decreased until September 2008 and then increased after January 2009. Biomass of polychaetes and crustaceans continuously decreased for a year after the spill.1

Analysis of marine water quality in the waters near the Southwestern offshore wind Power

2

Conserving and managing marine bio-resources is the way to protect the earth.

지구온난화 등 환경변화로 나타나는 현상에서 지구를 지키기 위해 전 세계 해양에 서식하고 있는 주요 해양생명자원을 지구 둘레에 넣어 이들을 보존하고 관리하는 것의 중요성을 표시하였

Physiological characteristics and population patterns of fulvia mutica

한국해양연구

Change of the macrobenthos on the rocky intertidal after HEBEI SPIRIT oil spill

Hebei spirit호 유류유출 후 2008년 1월, 4월, 9월 등 3차에 걸쳐 태안군 주변 암반조간대를 조사하였다.암반조간대 대형저서동물은 유류유출 이후 종수, 서식밀도, 생체량이 감소하는 뚜렷한 특징을 보였으며, 3차(9월) 조사에서 갑각류의 증가로 전체적인 종수 증가에 기여하였으나, 서식밀도와 생체량은 조사시기별 감소경향이 뚜렷하였다. 조위별 출현 종수와 서식밀도는 상부와 중부조간대에서 유류오염 충격으로 급격한 밀도 감소가 나타났으며, 하부조간대는 조사시기별 밀도 감소가 진행되고 있었다. 우점종은 조무래기따개비와 총알고둥으로, 피해 지역의 상부와 중부조간대에서 우점종이 조무래기따개비에서 총알고둥으로 대체되었으나, 대조구에서는 두 종이 높은 밀도로 분포하였다. 다양도 지수는 피해 지역이 낮고, 대조구 지역이 높게 나타났으며, 2차에서 급격히 감소하였으나 3차 조사에서 다시 증가하였다. 대형저서동물 군집은 대체로 유류오염 피해 정도에 따라 구분되는 특징을 보였다. 가입 모니터링 결과, 파도리는 총알고둥만의 높은 밀도와 조무래기따개비의 대량 폐사가 발견되었다. 연포는 조무래기따개비 치패만이 가입하는 매우 빈약한 가입 양상을 보였다. 이는 유류오염의 영향이 현재 진행되고 있음을 알 수 있으며, 향후 암반조간대 서식생물의 가입양상을 추적 한다면 유류오염에 의한 암반생태계 회복정도를 파악하는데 중요한 자료가 될 것이다.2

Community-based fishing ground artificial reef block

- 마을어장의 해조류를 안정적으로 증식시키고자 콘크리트어초를 주로사용 하는데 효과가 없는 이유는, 콘 크리트구조물내의 시멘트 성분이 Ph12의 강한 알카리 성분으로 인하여 해조류의 포자가 안정적으로 착생하 지 못하므로 실패의 원인으로 지목 된다, 이를 해결하고자 상부에 자연석 잔자갈 또는 대리석을 배치함으 로서 문제점을 해결하는 것이 핵심기술임, -또한 증식어초블럭의 빈 공간 및 홈통을 최대한 많이 배치하므로서 저서생물의 산란장, 은신처, 어류자치 어의 보육 및 성육장으로 기능을 부여하는 기술이 특허 및 디자인기술에 해당하며 무게의 경량화와 경제성 을 확보하는데 특징이 있다. - 증식어초 블록은 취급의 용이성 및 안정성 배치기술의 경제성 확보를 위하여 개별 또는 연결 모듈식 조 립으로 공간이용에 대한 효과를 최대한 확보하였