environments/hadoop_aws_t1-micro.rb

   1 name "hadoop_aws_t1-micro"
   2 description "Hadoop cluster conf. on the AWS EC2 t1.micro instances."
   3 # t1.micro: 1 vCPU, 0.615 GiB, no storage (EBS only)
   4 # http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/concepts_micro_instances.html
   5
   6 #cookbook_versions  "hadoop" => "= 0.2.0"
   7
   8 hadoop_attributes = {
   9   # core-site.xml
  10   'dfs.replication' => '2',  # default: 3 (recommended)
  11   # mapred-site.xml
  12   'extra_configs' => {
  13     # e.g. 'core-site.xml' => {'k1' => 'v1', 'k2' => 'v2'},
  14     'hadoop-env.sh' => {
  15       'HADOOP_HEAPSIZE' => '500',               # default: 1000 MB
  16       #'HADOOP_NAMENODE_INIT_HEAPSIZE' => '2000'  # default: 1000 MB (ver. 2.x)
  17       #'HADOOP_NAMENODE_OPTS' => '"${HADOOP_NAMENODE_OPTS} -Xmx500m"',
  18       #'HADOOP_SECONDARYNAMENODE_OPTS' => '"${HADOOP_SECONDARYNAMENODE_OPTS} -Xmx500m"',
  19       #'HADOOP_DATANODE_OPTS' => '"${HADOOP_DATANODE_OPTS} "',
  20       #'HADOOP_BALANCER_OPTS' => '"${HADOOP_BALANCER_OPTS} "',
  21       #'HADOOP_JOBTRACKER_OPTS' => '"${HADOOP_JOBTRACKER_OPTS} -Xmx500m"',
  22     },
  23     'yarn-env.sh' => {  # ver. 2.x
  24       'YARN_HEAPSIZE' => '500'  # default: 1000 MB
  25       #'YARN_RESOURCEMANAGER_OPTS' => '"${YARN_RESOURCEMANAGER_OPTS} -Xmx500m"',
  26       #'YARN_NODEMANAGER_OPTS' => '"${YARN_NODEMANAGER_OPTS} "',
  27     },
  28     'mapred-env.sh' => {  # ver. 2.x
  29       #'HADOOP_JOB_HISTORYSERVER_HEAPSIZE' => '500',  # default: 1000 MB
  30       #'HADOOP_JOB_HISTORYSERVER_OPTS' => '"${HADOOP_JOB_HISTORYSERVER_OPTS} "',
  31     },
  32     'core-site.xml' => {
  33     },
  34     'hdfs-site.xml' => {
  35       'dfs.block.size' => '134217728',  # default: 67108864 (bytes)
  36       #'dfs.blocksize' => '134217728',  # default: 134217728 (bytes) (ver. 2.x)
  37       #'dfs.datanode.du.reserved' => '0',  # default: 0 (byte)
  38       # with HBase
  39       #'dfs.support.append' => 'true',
  40       #'dfs.datanode.max.xcievers' => '4096',  # default: 4096 (ver. 1.1 or later), 256 (older ver.)
  41       #'dfs.datanode.max.transfer.threads' => '4096',  # default: 4096 (ver. 2.x)
  42     },
  43     'yarn-site.xml' => {  # ver. 2.x
  44       #'yarn.nodemanager.resource.cpu-vcores' => '8',  # default: 8
  45       #'yarn.nodemanager.resource.memory-mb' => '8192',  # default: 8192
  46     },
  47     'mapred-site.xml' => {
  48       # map tasks:reduce tasks = 4:3 or 2:1 or ...
  49       'mapred.tasktracker.map.tasks.maximum' => '2',     # default: 2
  50       'mapred.tasktracker.reduce.tasks.maximum' => '1',  # default: 2
  51       #'mapred.child.java.opts' => '-Xmx1000m',           # default: -Xmx200m
  52       'mapred.reduce.slowstart.completed.maps' => '0.80',  # default: 0.05
  53       #'mapreduce.job.reduce.slowstart.completedmaps' => '0.80',  # default: 0.05 (ver. 2.x)
  54       #'tasktracker.http.threads' => '80',            # default: 40
  55       #'mapreduce.tasktracker.http.threads' => '80',  # default: 40 (ver. 2.x)
  56       #'mapred.reduce.parallel.copies' => SQRT(nodes),            # default: 5
  57       #'mapreduce.reduce.shuffle.parallelcopies' => SQRT(nodes),  # default: 5 (ver. 2.x)
  58       'mapred.submit.replication' => '2',                 # default: 10
  59       #'mapreduce.client.submit.file.replication' => '3',  # default: 10 (ver. 2.x)
  60     },
  61     'capacity-scheduler.xml' => {}
  62   }
  63 }
  64
  65 override_attributes(
  66   'grid' => {
  67     'max_vol_nums' => '1'
  68   },
  69   'hadoop' => hadoop_attributes
  70 )
  71