Data processing system benchmarks on HDFS

학위논문 (석사)-- 서울대학교 대학원 : 컴퓨터공학부, 2016. 2. 문봉기.최근 몇 년 동안 Big-data 처리에 있어 하둡이 주요한 역할을 하게 되면서 HDFS(Hadoop distributed File System) 상에서 SQL 인터페이스(Interface)를 제공하는 SQL-on-Hadoop 기술 또한 꾸준히 인기를 끌고 있다. 본 논문에서는 대중적으로 가장 많이 쓰이는 SQL-on-Hadoop 엔진인 Hive와 Spark의 성능 평가를 수행하고 각각 시스템의 특징을 분석하였다. 이러한 벤치마크 테스트를 위해 IBM의 Hibench의 벤치마크 워크로드들을 사용하였다. 시스템 사용량을 정량적으로 측정하기 위해 각각의 벤치마크 수행시 시스템 프로파일링을 하여 검토하였다. 다양한 파일 형식도 테스트 되었다. 현재 학계와 산업계에서 성능에 대한 많은 논쟁이 이루어지고 있는 종횡 배열 스토리지(Columar storage) 형식의 파일들(파케이(Parquet), 오알씨(ORC) 파일)과 압축 방식(스내피(snappy), 지집(gzip)등)에 따른 성능 차이도 비교하여 보았다. 또한 실제 SNS(Social Network Service)에서 사용되는 데이터(Tweet)를 사용하여 Spark의 신규 기능인 Spark DataFrame을 이용, JSON(JavaScript Object Notation)파일의 처리의 성능 차이도 살펴보았다. 이와 같이 본 연구는 기존의 RDBMS(Releational Database Management System)의 테스트에 주로 사용되었던 TPC(Transaction processing Performance Council) 벤치 마크에서는 다루지 못한, 대용량 시스템의 성능 평가 지표로 포함되어야 하는 기준들을 제안하고, 이를 실험 해 보고 효율적인 시스템 활용 방안에 대한 방법을 제안한다.제 1장 서론 1 1.1 배경지식 2 1.1.1 HDFS(Hadoop Distribution File System) 2 1.1.2 맵리듀스(MapReduce) 2 1.1.3 SQL-on-Hadoop 3 1.1.4 하이브 Hive(HiveQL) 3 1.1.5 스파크 (Spark) 4 1.1.6 종횡배열 스토리지(Columnar Storage) 7 1.1.7 JSON 파일 형식 (JavaScript Object Notation File Format) 8 1.2 관련연구 8 1.2.1 Large Scale Data Benchmark 8 1.2.2 IBM Research Center 8 제 2장 시스템 구성 및 실험 설계 11 2.1 시스템 사양 11 2.2 워크로드(Workloads) 12 2.2.1 워크로드 규모(Workloads Scale Factor) 12 2.2.2 마이크로 벤치마크(Micro Benchmark) 12 2.2.3 웹 어플리케이션(Web Application) 14 2.2.4 SQL 14 2.2.5 머신러닝 알고리즘(Machine Learning Algorithms) 17 2.2.6 Workload에 따른 데이터 규모 상세 19 제 3장 실험 결과 20 3.1 전체 데스트 결과 20 3.2 각 수행 알고리즘에 따른 Profile 결과 분석 21 3.3 확장성 테스트 (Scalability) 26 3.4 리소스 사용에 따른 Spark 성능비교 28 3.4.1 메모리 크기에 따른 결과 분석 29 3.4.2 Core 개수와 Executor 개수 설정에 따른 성능 분석 30 3.5 파일 타입과 파일 압축 코덱에 따른 결과 31 3.6 병렬성 (Parallelism) 테스트 결과 34 3.7 SNS 데이터 테스트 (Json file) 35 제 4장 결론 및 향후 연구 39 참고 문헌 41 Abstract 43Maste

Optimal Ratio of Wnt3a Expression in Human Mesenchymal Stem Cells Promotes Axonal Regeneration in Spinal Cord Injured Rat Model

Objective : Through our previous clinical trials, the demonstrated therapeutic effects of MSC in chronic spinal cord injury (SCI) were found to be not sufficient. Therefore, the need to develop stem cell agent with enhanced efficacy is increased. We transplanted enhanced Wnt3a-secreting human mesenchymal stem cells (hMSC) into injured spines at 6 weeks after SCI to improve axonal regeneration in a rat model of chronic SCI. We hypothesized that enhanced Wnt3a protein expression could augment neuro-regeneration after SCI. Methods : Thirty-six Sprague-Dawley rats were injured using an Infinite Horizon (IH) impactor at the T9-10 vertebrae and separated into five groups : 1) phosphate-buffered saline injection (injury only group, n=7); 2) hMSC transplantation (MSC, n=7); 3) hMSC transfected with pLenti vector (without Wnt3a gene) transplantation (pLenti-MSC, n=7); 4) hMSC transfected with Wnt3a gene transplantation (Wnt3a-MSC, n=7); and 5) hMSC transfected with enhanced Wnt3a gene (1.7 fold Wnt3a mRNA expression) transplantation (1.7 Wnt3a-MSC, n=8). Six weeks after SCI, each 5x10(5) cells/15 mu L at 2 points were injected using stereotactic and microsyringe pump. To evaluate functional recovery from SCI, rats underwent Basso-Beattie-Bresnahan (BBB) locomotor test on the first, second, and third days post-injury and then weekly for 14 weeks. Axonal regeneration was assessed using growth-associated protein 43 (GAP43), microtu bu le-associated protein 2 (MAP2), and neurofilament (NF) immunostaining. Results : Fourteen weeks after injury (8 weeks after transplantation), BBB score of the 1.7 Wnt3a-MSC group (15.0 +/- 0.28) was significantly higher than that of the injury only (10.0 +/- 0.48), MSC (12.57 +/- 0.48), pLenti-MSC (12.42 +/- 0.48), and Wnt3a-MSC (13.71 +/- 0.61) groups (p<0.05). Immunostaining revealed increased expression of axonal regeneration markers GAP43, MAP2, and NF in the Wnt3a-MSC and 1.7 Wnt3a-MSC groups. Conclusion : Our results showed that enhanced gene expression of Wnt3a in hMSC can potentiate axonal regeneration and improve functional recovery in a rat model of chronic SCI