系统架构师(java)和大数据架构师-创新互联
架构师不是一个职业工种,而是一种能力,而且架构师也分很多种,不同领域的架构师是不一样的.比如互联网架构师和物联网架构师,没有什么可对比的.
架构要考虑什么
1.考虑系统能做什么,不能做什么,就是常说的系统边界
2.确定架构内部的模块与模块之间的关系,以及module与外部是什么关系
3.确定非功能性需要,架构的可扩展性,可用性,可维护性以及安全性
4.架构确定以后要能够指导开发人员根据架构思想去设计和演化,确保开发出来的东西和架构的规划是一致的.
Java系统架构师
- 系统的技术选型以及可行性评估
- 分布式技术框架的把控
- 深入挖掘和分析业务需求,重点模块的设计,方案的评审与技术支持,技术难点攻关,分布式系统技术如何落地,撰写技术方案和系统设计文稿,指导开发人员完成编码工作
- 针对产品性能和架构优化,确保系统的架构质量
- 优秀的抽象设计能力,思路清晰,善于思考,能独立分析和解决问题.
具体可能需要掌握以下内容
- 熟悉*nix,熟练应用shell/python etc.
- 扎实的java基础知识,熟悉IO,多线程以及并发编程
- 熟悉掌握缓存,NoSQL,Netty,kafka等中间件技术
- 对JVM原理有扎实理解,对服务端设计与编程有深入理解,能够进行JVM调优
- 熟悉常见的数据结构,熟悉常用的设计模式,深入理解分布式算法和主流分布式系统,熟悉主流消息队列及其工作原理(sort/index/store/smooth/duplicate removal)
- 有丰富的分布式,高并发,高负载,高可用性系统设计经验,熟悉分布式缓存,消息机制等
大数据架构师
- 针对大数据平台的设计和开发制定数据架构规范,进行核心代码编写
- 针对数据基础架构和数据处理系统进行升级和优化,技术难题攻关,持续提升核心系统性能,保证系统安全高效平稳运行
- 大规模数据实时化,技术容器化,私有云实施技能方案,数据模型规范化等
- 跟踪大数据相关领域技术趋势,竞品的发展以及技术动态
- 精通或熟练掌握大数据生态的技术和产品:Hive,Storm,Flink,Spark,ELK,Kafka,Zookeeper,Yarn,presto,对spark分布式计算的底层原理有深入理解,对复杂系统的性能优化和稳定性有实践经验
- 精通或熟练数据仓库设计,深刻理解MR运行原理和机制,能进行任务执行效率优化,熟悉开源数据交换工具:sqoop,Streamset,kettle,datax etc.
- 善于捕捉业务需要,根据需要规划架构设计,给出相应的解决措施和方法.
- 加分项:数据预测,预警,人工智能,图像识别,语音智能,物联网数据收集,标等.线性计算,神经网络,知识图谱.
二者异同:
异:java系统架构师偏重于分布式,高可用,可并发,容错等.熟练掌握支撑业务的系统架构或工具集
大数据架构师偏重于人工智能,商业智能,数据挖掘,离线,实时等高效率高可用的结构化数据,半结构化数据.熟悉hadoop生态圈子,使用各种模型组件集来解决问题.
同:降本增效,提高效率,创造价值.
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
文章标题：系统架构师(java)和大数据架构师-创新互联
标题来源：http://scyanting.com/article/jogih.html
