안녕하세요. 개발하는 기자, 개기자 마이크로소프트웨어 오세용 기자입니다. 지난주 정말 많은 기술 행사가 있었는데요. 개기자가 지난주 기억을 떠올리며 하나하나 정리해보고 있습니다. 오늘은 클라우데라 세션 2018과 레드햇 포럼 서울 2018 이야기를 공유합니다. ▲엔지니어들의 고민. / 오세용 기자 클라우데라 세션 2018은 ‘Think Big, Start Smart,

본 포스팅은 Cloudera Manager를 통한 HDFS, Spark, YARN, Hive 설치를 완료한 후 진행된 상황을 설명합니다. 주어진 물리 서버 환경에서 Spark, YARN, Hive의 configuration 내 주요 설정값들에 대한 설명을 하고, 이를 최적화하여 Spark job 효율을 최대화시키고자 합니다. 앞으로의 설명은 Cloudera