Snippet 博客主题

Scala学习之Map and Tuple

1.默认情况下Map构造的是不可变集合,里面的内容不能修改,一旦修改就变成新的Map,原有的Map保持不变。2.Map的实例调用工厂方法apply来构造Map实例,3.可变Map需要调用类:scala.collection.mutable.Map4.如果想直接New出Map实例,需要使用HashMap等具体实现子类。5.查询一个Map中的值用方法getOrElse,一方面如果值不存在会抛出异常。6.scala.collection.immutable.SortedMap 可以得到排序的Map7.交换key与value的值:val result = for((name,age) <- persInfo) yield(age,name)8.scala.collection.mutable.LinkedHashMap 可以记住插入的顺序9.Tuple中可以有很多不同类型的数据。Tuple可以作为函数的返回值…

Linux下mysql-5.7.9-linux-glibc2.5-x86_64.tar.gz安装

1.从官网下载 mysql-5.7.9-linux-glibc2.5-x86_64.tar.gz12官网: http://dev.mysql.com/downloads/mysql/wget -c http://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.9-linux-glibc2.5-x86_64.tar.gz 2.创建mysql的用户组/用户, data目录及其用户目录123# groupadd mysql# useradd -g mysql -d /home/mysql mysql# mkdir /home/mysql/data…

Linux下MySQL安装

1.MySQL相关介绍MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle公司。MySQL是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策,它分为社区版和商业版,由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,一般中小型网站的开发都选择MySQL作为网站数据库。在Linux上安装mysql数据库,我们可以去其官网上下载mysql数据库的rpm包,http://dev.mysql.com/downloads/mysql/5.6.html#downloads。…

Sqoop安装

Sqoop是SQL to Hadoop的缩写,主要作用在于在结构的数据存储(关系型数据库)与Hadoop之间进行数据双向交换。也就是说,Sqoop可以将关系数据库(如MySQL,Oracel等)的数据导入Hadoop的HDFS、Hive中,也可以将HDFS、Hive的数据导出到关系数据库中。Sqoop充分利用了Hadoop的优点,整个导入都是由MapReduce计算框架实现并行化,非常高效。…

Hadoop学习笔记-基础知识-20170118

Hadoop学习笔记-基础知识-20170118

1.Hadoop历史Hadoop最早起源于Nutch,,Nutch是一个开源的搜索引擎,由Doug Cutting在2002年的时候开发完成,原本Nutch的目标是为了构建一个大型的搜索引擎,涵盖网页爬取、索引、查询等一些功能,但随着网页爬取的数量不断增加,此时对于存储和索引就形成了比较严重的瓶颈问题。此时,Google发表了三篇论文:GFS,MapReduce,BigTable,这三篇论文堪称大数据领域的开篇巨作,也由此拉开了至今为止都非常火热的大数据应用。…

Linux添加SFTP公钥步骤

1.首先需要在目录(/home/yangql)创建.ssh文件夹 1[yangql@hadoop01 ~]$ mkdir .ssh 2.在客户端生成公钥和私钥12[yangql@hadoop01 ~]$ cd .ssh[yangql@hadoop01 .ssh]$ ssh-keygen -t rsa 执行创建密钥对命令(一路回车),直至完成公钥与私钥生成。…