广州Hadoop大数据解决方案开发技术培训
请询价
- 介绍
- 教师
-
课程介绍
Hadoop 作为开源的云计算平台，为大数据处理提供了一整套解决方案，应用非常广泛。Hadoop 作为一个 平台框架，包括了如何存储海量数据，如何处理海量数据，以及相应的数据库、数据仓库、数据流处理、数 据分析和挖掘算法库等等。本次培训作为知识储备，主要讲解目前应用数据和大数据平台的数据同步工作以 及了解大数据理论体系结构, 应用 Hadoop 2.0 的大数据框架结构，文本文件与 Hadoop/Hive/Sqoop 数据 迁，Hadoop 的思想、原理，以及重要技术等相关知识。
第一天
一、Hadoop 的基本框架 ：
大数据时代面临的问题 ；当前解决大数据的技术方案 ；Hadoop 架构和云计算 ；Hadoop 简史及安装部署 ；Hadoop 设计理念和生态系统
二、HDFS 分布式文件系统：海量数据存储的摇篮
HDFS 的设计目标 、HDFS 的基本架构 、 NameNode 名称节点 、 SecondaryNameNode 第二名称节点 、 DataNode 数据节点 、HDFS 的存储模型 数据块存储 、 元数据存储（空间镜像与编辑日志） 、多副本存储 多副本放置策略 多数据节点管理机制与交互过程 文件系统操作与管理 读文件过程 写文件过程（数据流管道） 数据完整性机制 数据校验和 数据完整性扫描线程 元数据备份与合并 数据可靠性设计 安全模式（数据块与节点映射关系管理） 心跳检测机制（节点失效管理） 租约机制（多线程并发控制） 其它 HDFS 的安全机制 负载均衡 文件压缩 操作接口与编程接口 HDFS Shell HDFS Commands 演练：HDFS 文件操作命令
三、MapReduce 分布式计算系统：海量数据处理的利器
MapReduce 的三层设计理念 、分布治之的设计思想（Map 与 Reduce） 、数据处理引擎（编程模型） 、 运行时环境（任务调度与执行） 、MapReduce 的基本架构 、JobTracker 作业跟踪器 、TaskTracker 任务跟踪器 MapReduce 与 HDFS 的部署关系
四、Yarn：平台
Yarn 平台的搭建 、 Yarn 实例的运行 、Yarn 应用的监控
-
任课老师
-
艾彪
Python培训·14年教龄
云计算领域的先行者和实践者iOS/Android技术顾问前端框架技术专家python爬虫技术专家跨平台移动开发技术专家为波导手机、中国银行、中南空管局等诸多企、事业单位开发移动端项目。精通iOS、Android、PHP、Python、Node.JS,微信及 Html5等开发技术;精通angular，vueJS,React等主流前端框架以及前端框架的设计;多平台架构设计协同开发倡导者，曾先后主持开发大型网络游戏iOS和Android客户端开发、海关移动查巡系统、中国银行移动文档查阅系统等。在 App Store发布多款应用软件，擅长移动平台的应用和移动架构的搭建，Python开发与数据分析，因长期研究手机和互联网前端开发技术，所以在互联网的安全、手机端安全方面也积累了不少实战经验，现为中睿优秀讲师，首席企业移动开发顾问，前端开发，移动开发、移动安全方向培训满分讲师。
-
陈国星
web前端开发培训·14年教龄
研发迭代领域专家创业团队管理领域专家阿里云企业级互联网架构师阿里云受邀讲师大数据架构研究者网络安全领域专家，曾服务于某大型互联网公司任安全事业部高级经理曾参与广东省智慧城市建设项目精通大型分布式互联网应用架构设计与技术开发。对于大规模分布式架构、微服务架构、云计算与容器化技术、开发与运维一体化、应用系统安全与和架构设计、海量数量处理、大数据等方向特别有研究，尤其是偏后端的对于高并发系统上有丰富的架构和实施经验。擅长Java方向、软件架构、微服务、软件工程和研发团队管理，长期为某上市集团公司提供架构顾问和服务支持，曾在麦当劳、迪士尼、中美史克、科海股份、中国电信、中国邮政、平安科技、南方航空、南方基金等公司做过上门的项目服务，咨询及培训服务过300多家成长型企事业单位。现为中睿信息CTO，高级技术顾问，首席系统架构师和资深讲师。
-
李巍
web前端开发培训·14年教龄
Adobe中国认证产品专家Adobe中国认证设计师首席Web产品架构师。13年IT工作经验，9年培训经历，长期从事互联网项目策划、前端架构、UI研究和UE设计及SEO。擅长将零乱的需求转化为Web端表现及产品策划、改进、搜索引擎营销。为多个互联网项目提供项目管理、UI/产品规划部分的咨询和团队建设、专业的用户体验设计及改进和互联网推广团队建设，曾一度被中南空管局、中外运、海关、招商基金等公司受信为受欢迎的产品经理，历来培训有近1000场，通过培训再反聘做产品或研发需求管理顾问的有近100个客户，曾担任过金山、淘宝、中南空管局、招商局集团等公司的产品顾问，现任中睿公司产品部总监和优秀讲师。
-
