歡迎光臨管理者范文網(wǎng)
當(dāng)前位置:管理者范文網(wǎng) > 安全管理 > 安全管理 > 崗位要求

hadoop崗位要求15篇

更新時(shí)間:2024-11-20 查看人數(shù):62
  • 目錄

hadoop崗位要求

第1篇 大數(shù)據(jù)基礎(chǔ)架構(gòu)工程師(hadoop)職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

1、打造業(yè)界領(lǐng)先的大數(shù)據(jù)基礎(chǔ)設(shè)施,包括數(shù)據(jù)接入,同步,存儲(chǔ)、計(jì)算,查詢等環(huán)節(jié)的分布式系統(tǒng),為海量數(shù)據(jù)和大規(guī)模業(yè)務(wù)系統(tǒng)提供可靠的基礎(chǔ)設(shè)施;

2、與開源社區(qū)保持交流,發(fā)現(xiàn)對(duì)業(yè)務(wù)場(chǎng)景有幫助的特性并引入生產(chǎn)環(huán)境,或?qū)⒔?jīng)內(nèi)部驗(yàn)證的特性貢獻(xiàn)到社區(qū);

3、承擔(dān)千臺(tái)規(guī)模集群的管理工作,與業(yè)務(wù)一起解決性能優(yōu)化、容量規(guī)劃、預(yù)算審計(jì)等問(wèn)題,保障集群高效穩(wěn)定經(jīng)濟(jì)運(yùn)行;

任職資格:

1、計(jì)算機(jī)基礎(chǔ)扎實(shí),熟悉常用數(shù)據(jù)結(jié)構(gòu)和算法,具備較強(qiáng)的邏輯思維能力和編碼能力;

2、掌握分布式系統(tǒng)原理,對(duì)存儲(chǔ)、計(jì)算、消息隊(duì)列、資源管理,數(shù)據(jù)同步等中的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識(shí);

3、樂于挑戰(zhàn)沒有明顯答案的問(wèn)題,能快速理解業(yè)務(wù)場(chǎng)景,從具體問(wèn)題中抽象出通用的解決方案;

4,熟悉hadoop, hbase, zookeeper,flume,k8s等基礎(chǔ)服務(wù)中的一項(xiàng)或多項(xiàng);

5、有kafka或者同類型技術(shù)設(shè)計(jì)開發(fā)及集群管理經(jīng)驗(yàn)者優(yōu)先。

第2篇 hadoop開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述:

崗位為公司自研大數(shù)據(jù)平臺(tái)產(chǎn)品線,非定制外包。

崗位職責(zé):

1.負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的hadoop技術(shù)棧研究,形成技術(shù)解決方案和整體的大數(shù)據(jù)架構(gòu)。

2.負(fù)責(zé)hadoop平臺(tái)(分布式存儲(chǔ)、分布式資源管理和調(diào)度、分布式計(jì)算等)的架構(gòu)研究、測(cè)試、優(yōu)化搭建工作;

3.負(fù)責(zé)探索, 研究新的 hadoop 生態(tài)中技術(shù)引擎,不斷擴(kuò)充平臺(tái)能力。

4.制定hadoop整體集群使用規(guī)范,規(guī)范的hadoop日常維護(hù)、異常處理等工作,保障集群穩(wěn)定、運(yùn)行規(guī)范解決方案

5.負(fù)責(zé)公司定制項(xiàng)目的大數(shù)據(jù)架構(gòu)的整體解決方案

6.負(fù)責(zé)各種行業(yè)大數(shù)據(jù)在不同應(yīng)用場(chǎng)景的最佳開發(fā)實(shí)踐,提供流計(jì)算、批處理分析、數(shù)據(jù)挖掘、bi分析等技術(shù)解決方案

任職資格:

1.三年以上hadoop集群架構(gòu)開發(fā)或架構(gòu)經(jīng)驗(yàn)。

2.精通hadoop架構(gòu)的設(shè)計(jì)以及生態(tài),hadoop的集群的搭建、部署、開發(fā)和運(yùn)維

3.精通hadoop各個(gè)模塊的能力定位和配置,對(duì)hdfs、hbase、mr、spark等基本組件熟知

4.熟悉linu_系統(tǒng)及調(diào)錯(cuò)經(jīng)驗(yàn),熟悉 jvm 運(yùn)行機(jī)制,有 shell、python開發(fā)經(jīng)驗(yàn)。

5.有鉆研新技術(shù)的熱情和能力,善于交流和表達(dá),富有團(tuán)隊(duì)精神

6.有企業(yè)級(jí)大數(shù)據(jù)系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)者優(yōu)先。

7.有一定的代碼經(jīng)驗(yàn),python/java/c++/ruby 均可。

第3篇 hadoop高級(jí)工程師職位描述與崗位職責(zé)任職要求

職位描述:

崗位職責(zé):

職位描述:

1、hadoop產(chǎn)品功能設(shè)計(jì)、開發(fā)與測(cè)試、性能優(yōu)化,根據(jù)項(xiàng)目具體要求,承擔(dān)開發(fā)任務(wù),按計(jì)劃完成任務(wù)目標(biāo)

2、負(fù)責(zé)編制與項(xiàng)目相關(guān)的技術(shù)文檔。

任職要求:

1、計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷,2年以上hadoop開發(fā)工作經(jīng)驗(yàn);

2、熟練使用linu_系統(tǒng),熟悉內(nèi)核和shell腳本編寫,能夠在linu_環(huán)境下進(jìn)行開發(fā)工作;

3、熟練使用java語(yǔ)言進(jìn)行開發(fā);

4、熟悉分布式文件系的設(shè)計(jì)和使用,調(diào)試優(yōu)化過(guò)hdfs文件系統(tǒng)者優(yōu)先;

5、良好的代碼開發(fā)風(fēng)格及開發(fā)習(xí)慣,學(xué)習(xí)能力、溝通能力,英文資料閱讀和理解能力;

6、參與過(guò)hadoop社區(qū)貢獻(xiàn)者優(yōu)先;

以下要求至少滿足其中1項(xiàng):

7、熟悉hadoop的架構(gòu)和原理,以及參數(shù)調(diào)優(yōu)和性能優(yōu)化,了解partition,shuffle,sort等機(jī)制。

8、有設(shè)計(jì),調(diào)試或者優(yōu)化類似hdfs文件系統(tǒng)經(jīng)驗(yàn);

工作地點(diǎn):南京

第4篇 senior consultant, hadoop engineer職位描述與崗位職責(zé)任職要求

職位描述:

incorporated in 2017, kpmg technology r&d centre combines four functions: r&d, in-house services, outsourced services and operational services.it is kpmg’s first r&d centre and second delivery centre in china.

as kpmg’s first r&d centre in china, our business activities currently include:

1.development, design, production of computer software and computer system integration;

2.ai, r&d and delivery of technologies

3.big data-related services and technical support, including data development, data processing, data mining etc.

driven by increasing market demand, we will e_pand the r&d centre’s scope of business on an ongoing basis to enable technologies to provide quality services for our clients.

responsibilities

work as part of a team supporting the following business platforms:

- enterprise data warehouse

- provide guidance on designing big data platform architecture

- conduct research on latest big data platform products

- take responsibility for designing the core components of big data platform such as: hdfs、mapreduce、hiva、hbase

skills and e_perience

- familiar with linu_ java development environment and java ee specifications

- familiar with basic data structures and common algorithm

- familiar with shell and/or java and / or scala

- familiar with basic linu_ operations

- ability to multi-task, strong sense of responsibility, and very strong communication skills

- deep knowledge of hadoop, spark, hive, nosql, hbase, map reduce is a plus

第5篇 hadoop運(yùn)維崗位職責(zé)hadoop運(yùn)維職責(zé)任職要求

hadoop運(yùn)維崗位職責(zé)

崗位職責(zé)

1、hadoop平臺(tái)及各服務(wù)組件的運(yùn)維、變更、故障和異常問(wèn)題迅速定位; 2、hadoop平臺(tái)以及相關(guān)組件的規(guī)劃、部署、擴(kuò)容及搭建安裝; 3、定期系統(tǒng)分析、性能調(diào)優(yōu),優(yōu)化集群性能和資源利用率,提升集群性能,保證hadoop平臺(tái)各核心服務(wù)運(yùn)行的穩(wěn)定、高效; 4、編寫運(yùn)維相關(guān)的shell腳本或者python腳本,hadoop平臺(tái)運(yùn)維相關(guān)文檔撰寫; 5、負(fù)責(zé)指導(dǎo)中低級(jí)工程師,為集群用戶和開發(fā)人員提供支持; 6、維持服務(wù)高效穩(wěn)定,支撐業(yè)務(wù)和數(shù)據(jù)量的快速擴(kuò)張;

人員要求

1、1年半及以上hadoop生態(tài)系統(tǒng)運(yùn)維經(jīng)驗(yàn)。 2、熟練掌握l(shuí)inu_操作系統(tǒng),熟悉linu_文件系統(tǒng),內(nèi)核、網(wǎng)絡(luò)等性能優(yōu)化; 3、熟練掌握hdfs、yarn、hive、hbase、spark、storm等hadoop生態(tài)組件的功能和原理; 4、熟練掌握hadoop的安裝部署及性能調(diào)優(yōu); 5、熟悉一門以上腳本語(yǔ)言(shell、python、perl),熟悉java; 6、具有良好責(zé)任心,團(tuán)隊(duì)合作意識(shí),具有良好的溝通能力和客戶服務(wù)意識(shí); 7、對(duì)于優(yōu)秀人才,學(xué)歷要求可適當(dāng)放寬

第6篇 hadoop工程師職位描述與崗位職責(zé)任職要求

職位描述:

崗位職責(zé):

1.負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的hadoop技術(shù)棧研究,形成技術(shù)解決方案和整體的大數(shù)據(jù)架構(gòu)。

2.負(fù)責(zé)hadoop平臺(tái)(分布式存儲(chǔ)、分布式資源管理和調(diào)度、分布式計(jì)算等)的架構(gòu)研究、測(cè)試、優(yōu)化搭建工作;

3.負(fù)責(zé)探索,?研究新的?hadoop?生態(tài)中技術(shù)引擎,不斷擴(kuò)充平臺(tái)能力。

4.制定hadoop整體集群使用規(guī)范,規(guī)范的hadoop日常維護(hù)、異常處理等工作,保障集群穩(wěn)定、運(yùn)行規(guī)范解決方案

5.負(fù)責(zé)公司定制項(xiàng)目的大數(shù)據(jù)架構(gòu)的整體解決方案

6.負(fù)責(zé)各種行業(yè)大數(shù)據(jù)在不同應(yīng)用場(chǎng)景的最佳開發(fā)實(shí)踐,提供流計(jì)算、批處理分析、數(shù)據(jù)挖掘、bi分析等技術(shù)解決方案

任職資格:

1.三年以上hadoop集群架構(gòu)開發(fā)或架構(gòu)經(jīng)驗(yàn)。

2.精通hadoop架構(gòu)的設(shè)計(jì)以及生態(tài),hadoop的集群的搭建、部署、開發(fā)和運(yùn)維

3.精通hadoop各個(gè)模塊的能力定位和配置,對(duì)hdfs、hbase、mr、spark等基本組件熟知

4.熟悉linu_系統(tǒng)及調(diào)錯(cuò)經(jīng)驗(yàn),熟悉?jvm?運(yùn)行機(jī)制,有?shell、python開發(fā)經(jīng)驗(yàn)。

5.有鉆研新技術(shù)的熱情和能力,善于交流和表達(dá),富有團(tuán)隊(duì)精神

6.有企業(yè)級(jí)大數(shù)據(jù)系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)者優(yōu)先。

7.有一定的代碼經(jīng)驗(yàn),python/java/c++/ruby 均可。

第7篇 hadoop sre工程師職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

1、參與打造業(yè)界領(lǐng)先的存儲(chǔ)、計(jì)算、消息隊(duì)列等分布式系統(tǒng)

2、為海量數(shù)據(jù)及其上的大規(guī)模數(shù)據(jù)挖掘、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)業(yè)務(wù)系統(tǒng)提供可靠、高效的支持

3、深入了解業(yè)務(wù)需求,利用存儲(chǔ)技術(shù)支持關(guān)鍵業(yè)務(wù)場(chǎng)景

任職要求:

1、掌握分布式系統(tǒng)原理,對(duì)存儲(chǔ)、計(jì)算、消息隊(duì)列的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識(shí)

2、樂于挑戰(zhàn)沒有明顯答案的問(wèn)題,能快速理解業(yè)務(wù)場(chǎng)景,從具體問(wèn)題中抽象出通用的解決方案

3、有較好的溝通能力;有良好的團(tuán)隊(duì)合作精神

第8篇 hadoop高級(jí)開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述:

崗位職責(zé):

1、負(fù)責(zé)hadoop平臺(tái)上的數(shù)據(jù)存儲(chǔ),數(shù)據(jù)維護(hù)和優(yōu)化;

2、編寫一些pig,hive等分析腳本;

3、負(fù)責(zé)把一些分析結(jié)果導(dǎo)入到數(shù)據(jù)庫(kù)中,為bi提供基礎(chǔ)數(shù)據(jù)分析;

4、hadoop集群?jiǎn)栴}排查,并提出解決方案;

5、job報(bào)錯(cuò)問(wèn)題排查;

6、根據(jù)集群的問(wèn)題,開發(fā)一些監(jiān)控程序,解決隱患;

7、平臺(tái)工具開發(fā)或者提供第三方開源工具。

任職要求:

1、深入了解hadoop運(yùn)行機(jī)制,包括hdfs/mapreduce/zookeeper/yarn等工作原理。

2、了解分布式系統(tǒng)的原理。

3、負(fù)責(zé)hadoop平臺(tái)上的數(shù)據(jù)存儲(chǔ),數(shù)據(jù)維護(hù)和優(yōu)化;

4、hadoop集群?jiǎn)栴}排查,并提出解決方案;

5、開發(fā)監(jiān)控程序,解決存在的隱患;

6、有hadoop平臺(tái)運(yùn)維經(jīng)驗(yàn)優(yōu)先。

7、有大數(shù)據(jù)平臺(tái)工具開發(fā)經(jīng)驗(yàn)。

第9篇 高級(jí)系統(tǒng)架構(gòu)師(hadoop/spark)職位描述與崗位職責(zé)任職要求

職位描述:

1.計(jì)算機(jī)及計(jì)算機(jī)相關(guān)專業(yè)本科或本科以上學(xué)歷;

2.十年以上開發(fā)工作經(jīng)驗(yàn);

3.精通java編程,熟練掌握spring cloud、spring boot、spring framework、spring security、spring mvc、spring data、mybatis、hibernate、zookeeper等主流的開發(fā)框架,有良好的編程習(xí)慣。

4.精通大數(shù)據(jù)hadoop、spark、hbase、hive、kafka等產(chǎn)品技術(shù)及應(yīng)用開發(fā)。

5.精通多線程編程、分布式事務(wù)、存儲(chǔ)系統(tǒng)(如oracle、mongodb、redis等)的性能調(diào)優(yōu)和應(yīng)用開發(fā);

6.具備優(yōu)秀的邏輯思維能力,對(duì)解決挑戰(zhàn)性問(wèn)題充滿熱情,善于解決問(wèn)題和分析問(wèn)題;

7.有強(qiáng)烈的上進(jìn)心和求知欲,善于學(xué)習(xí)新事物,良好的團(tuán)隊(duì)合作精神,較強(qiáng)的溝通能力和學(xué)習(xí)能力。

第10篇 hadoop開發(fā)工程師b02職位描述與崗位職責(zé)任職要求

職位描述:

崗位職責(zé):

1. 參與人工智能開源開放平臺(tái)核心系統(tǒng)的構(gòu)建;

2. 人工智能開源開放平臺(tái)相關(guān)前沿技術(shù)、運(yùn)用調(diào)研及落地;

3. 負(fù)責(zé)人工智能開源開放平臺(tái)性能的優(yōu)化。

任職要求:

1. 國(guó)內(nèi)學(xué)歷:統(tǒng)招全日制 985/211 碩士及以上學(xué)歷,取得學(xué)位證和畢業(yè)證;

2. 國(guó)外學(xué)歷:海外全日制碩士及以上學(xué)歷;qs 世界大學(xué)排名前 300 高等院校;海外留學(xué)時(shí)長(zhǎng)不少于 1.5 年;

3. 有大型互聯(lián)網(wǎng)公司大數(shù)據(jù)平臺(tái)及數(shù)據(jù)開發(fā)經(jīng)驗(yàn)者優(yōu)先;

4. 扎實(shí)的java、python基礎(chǔ),掌握常用數(shù)據(jù)結(jié)構(gòu)(鏈表、哈希、樹)等;

5. 精通linu_/uni_環(huán)境,熟悉linu_性能調(diào)優(yōu),熟練掌握shell,有良好的計(jì)算機(jī)網(wǎng)絡(luò)基礎(chǔ);

6. 有較強(qiáng)的產(chǎn)品理解,能從技術(shù)角度推動(dòng)產(chǎn)品優(yōu)化;

7. 有如下技能者優(yōu)先,spark/spark streaming/hadoop/hdfs/kafka/elastic search;

8. 英語(yǔ)6級(jí),能讀懂相關(guān)外文技術(shù)文獻(xiàn)。

第11篇 hadoop運(yùn)維工程師職位描述與崗位職責(zé)任職要求

職位描述:

職責(zé)描述:

1.kafka集群、spark、hive、hbase、hadoop平臺(tái)運(yùn)維;

2.獨(dú)立完成運(yùn)維過(guò)程中問(wèn)題定位、問(wèn)題解決、并進(jìn)行總結(jié)文檔編寫;

3.參與大數(shù)據(jù)平臺(tái)etl處理,合理規(guī)劃大數(shù)據(jù)資源,提高大數(shù)據(jù)平臺(tái)資源利用率,負(fù)責(zé)基于大數(shù)據(jù)平臺(tái)的開發(fā)和基礎(chǔ)建設(shè);

4.負(fù)責(zé)大數(shù)據(jù)平臺(tái)相關(guān)系統(tǒng)的運(yùn)維工作;

5.跟蹤大數(shù)據(jù)論壇社區(qū)新技術(shù)發(fā)展,持續(xù)更新技術(shù)資源,挖掘更多應(yīng)用場(chǎng)景。

任職要求:

1.統(tǒng)招本科以上學(xué)歷,3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn);

2.熟悉hadoop、spark、kafka等技術(shù),對(duì)底層架構(gòu)有深入了解,有基于底層架構(gòu)進(jìn)行開發(fā)者優(yōu)先考慮,精通linu_腳本,熟悉linu_腳本開發(fā);

3.掌握f(shuō)link/kylin/presto/elasticsearch/redis等一種或多種技術(shù)優(yōu)先;精通hive、hbase數(shù)據(jù)庫(kù)開發(fā),對(duì)其底層架構(gòu)有深入研究者優(yōu)先考慮;

4.熟悉數(shù)據(jù)架構(gòu),對(duì)數(shù)據(jù)處理有深入理解。熟悉掌握java/python/scala開發(fā)語(yǔ)言;

5.性格樂觀,積極主動(dòng),能夠主動(dòng)承擔(dān)責(zé)任和解決實(shí)際問(wèn)題。

第12篇 架構(gòu)師(java&hadoop)職位描述與崗位職責(zé)任職要求

職位描述:

職責(zé)描述:

職責(zé)描述:

1. 負(fù)責(zé)設(shè)計(jì)和搭建軟件系統(tǒng)架構(gòu)(平臺(tái)、數(shù)據(jù)庫(kù)、接口和應(yīng)用架構(gòu)等),解決開發(fā)中各種系統(tǒng)架構(gòu)問(wèn)題。

2. 優(yōu)化現(xiàn)有系統(tǒng)的性能,解決軟件系統(tǒng)平臺(tái)關(guān)鍵技術(shù)問(wèn)題攻關(guān)、核心功能模塊設(shè)計(jì)。

3. 在項(xiàng)目需求不斷細(xì)化的工程中校正整體的架構(gòu)設(shè)計(jì),以及詳細(xì)模塊拆分設(shè)計(jì)。

4. 營(yíng)造技術(shù)學(xué)習(xí)氛圍,帶領(lǐng)團(tuán)隊(duì)不斷完善開發(fā)方法及流程,提升開發(fā)效率與質(zhì)量,加強(qiáng)技術(shù)標(biāo)準(zhǔn)及規(guī)范。

5. 帶領(lǐng)團(tuán)隊(duì)攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來(lái)的各種挑戰(zhàn)及技術(shù)難關(guān)。

6. 參與討論公司產(chǎn)品發(fā)展方向,完整的規(guī)劃和把握產(chǎn)品研發(fā)架構(gòu)。

任職要求:

五年以上java開發(fā)經(jīng)驗(yàn),有獨(dú)立完成項(xiàng)目經(jīng)驗(yàn)和能力;

1.精通springmvc+mybatis或ssh等框架的搭建和開發(fā);

2. 精通tomcat,apache,ngin_ 等web服務(wù)器的管理和調(diào)優(yōu);

3. 精通mysql/mariadb 或 postgres數(shù)據(jù)庫(kù)的開發(fā),管理和調(diào)優(yōu);

4. 熟練使用redis, rabbitmq, mongodb等相關(guān)或類似技術(shù);

5. 懂得node.js, jquery, h5,websocket,長(zhǎng)鏈接,nio等技術(shù);

6. 熟練使用linu_(centos/ubuntu)操作和管理;

7. 擅長(zhǎng)系統(tǒng)性能調(diào)優(yōu)和疑難問(wèn)題調(diào)試;

8. 熟悉oracle、hbase、hive等數(shù)據(jù)庫(kù)的開發(fā)優(yōu)化;

9.熟悉hadoop、spark等大數(shù)據(jù)平臺(tái);

10.懂得構(gòu)建高性能高并發(fā)分布式服務(wù)架構(gòu)體系優(yōu)先;

11. 懂的數(shù)據(jù)安全、應(yīng)用安全和系統(tǒng)安全可以加分;

12. 具有團(tuán)隊(duì)合作精神、能帶隊(duì)和懂項(xiàng)目管理可以加分。

第13篇 hadoop研發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述:

崗位職責(zé):

1.負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的hadoop技術(shù)棧研究,形成技術(shù)解決方案和整體的大數(shù)據(jù)架構(gòu)。

2.負(fù)責(zé)hadoop平臺(tái)(分布式存儲(chǔ)、分布式資源管理和調(diào)度、分布式計(jì)算等)的架構(gòu)研究、測(cè)試、優(yōu)化搭建工作;

3.負(fù)責(zé)探索,?研究新的?hadoop?生態(tài)中技術(shù)引擎,不斷擴(kuò)充平臺(tái)能力。

4.制定hadoop整體集群使用規(guī)范,規(guī)范的hadoop日常維護(hù)、異常處理等工作,保障集群穩(wěn)定、運(yùn)行規(guī)范解決方案

5.負(fù)責(zé)公司定制項(xiàng)目的大數(shù)據(jù)架構(gòu)的整體解決方案

6.負(fù)責(zé)各種行業(yè)大數(shù)據(jù)在不同應(yīng)用場(chǎng)景的最佳開發(fā)實(shí)踐,提供流計(jì)算、批處理分析、數(shù)據(jù)挖掘、bi分析等技術(shù)解決方案

任職資格:

1.三年以上hadoop集群架構(gòu)開發(fā)或架構(gòu)經(jīng)驗(yàn)。

2.精通hadoop架構(gòu)的設(shè)計(jì)以及生態(tài),hadoop的集群的搭建、部署、開發(fā)和運(yùn)維

3.精通hadoop各個(gè)模塊的能力定位和配置,對(duì)hdfs、hbase、mr、spark等基本組件熟知

4.熟悉linu_系統(tǒng)及調(diào)錯(cuò)經(jīng)驗(yàn),熟悉?jvm?運(yùn)行機(jī)制,有?shell、python開發(fā)經(jīng)驗(yàn)。

5.有鉆研新技術(shù)的熱情和能力,善于交流和表達(dá),富有團(tuán)隊(duì)精神

6.有企業(yè)級(jí)大數(shù)據(jù)系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)者優(yōu)先。

7.有一定的代碼經(jīng)驗(yàn),python/java/c++/ruby 均可。

第14篇 高級(jí)hadoop開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述:

職責(zé)描述:

1, 基于hadoop進(jìn)行mapreduce、hive和hbase的應(yīng)用開發(fā);

2, 維護(hù)和管理大規(guī)模hadoop集群,解決不斷增長(zhǎng)的海量數(shù)據(jù)帶來(lái)的存儲(chǔ)和計(jì)算挑戰(zhàn);

3, 大數(shù)據(jù)平臺(tái)數(shù)據(jù)清洗、轉(zhuǎn)換和建模的開發(fā)。

任職要求:

1, 熟悉hadoop/hbase/spark/hive生態(tài)環(huán)境體系的搭建和管理,掌握hadoop、hbase、mapreduce、hdfs、hive、kylin、zookeeper等開源項(xiàng)目的原理和使用方法,具有實(shí)際集群搭建和調(diào)優(yōu)經(jīng)驗(yàn);

2, 熟悉并有java開發(fā)經(jīng)驗(yàn),有大平臺(tái)架構(gòu)開發(fā)經(jīng)驗(yàn);

3, 掌握至少一種nosql數(shù)據(jù)庫(kù),具有真正項(xiàng)目使用經(jīng)驗(yàn);

4, 掌握數(shù)據(jù)分析的基本流程,擅長(zhǎng)數(shù)據(jù)采集、清洗、分析等環(huán)節(jié);

5, 熟悉后端服務(wù)(restful api 服務(wù)實(shí)現(xiàn))優(yōu)先;

6, 熟悉使用sqlserver、oracle、mysql一種;

7, 良好團(tuán)隊(duì)協(xié)作和溝通能力;

8, 大專及以上學(xué)歷,3-5年及以上工作經(jīng)驗(yàn)。

第15篇 hadoop架構(gòu)師崗位職責(zé)hadoop架構(gòu)師職責(zé)任職要求

hadoop架構(gòu)師崗位職責(zé)

工作職責(zé):

1、負(fù)責(zé)全行大數(shù)據(jù)在各類業(yè)務(wù)場(chǎng)景中的應(yīng)用規(guī)劃及設(shè)計(jì)方案的制定;

2、負(fù)責(zé)對(duì)全行大數(shù)據(jù)的標(biāo)準(zhǔn)化進(jìn)行梳理并制定相應(yīng)方案;

3、負(fù)責(zé)制定全行的元數(shù)據(jù)集,并對(duì)元數(shù)據(jù)管理的流程、技術(shù)方案進(jìn)行設(shè)計(jì);

4、面向數(shù)據(jù)價(jià)值服務(wù)為數(shù)據(jù)應(yīng)用場(chǎng)景進(jìn)行方案設(shè)計(jì)并指導(dǎo)落實(shí)實(shí)施;

5、負(fù)責(zé)對(duì)大數(shù)據(jù)相關(guān)領(lǐng)域的創(chuàng)新性研究和知識(shí)產(chǎn)權(quán)保護(hù)工作;

6、領(lǐng)導(dǎo)交辦的其他工作內(nèi)容。

任職要求:

1、 全日制本科及以上學(xué)歷,計(jì)算機(jī)、通信工程、數(shù)學(xué)等相關(guān)專業(yè);

2、 具備3年以上大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗(yàn),2年以上大數(shù)據(jù)系統(tǒng)相關(guān)設(shè)計(jì)經(jīng)驗(yàn);

3、 熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式計(jì)算等大數(shù)據(jù)相關(guān)技術(shù),并具備相關(guān)開發(fā)經(jīng)驗(yàn);

4、 在金融行業(yè)或互聯(lián)網(wǎng)金融領(lǐng)域有過(guò)相關(guān)工作經(jīng)驗(yàn)者優(yōu)先考慮;

5、 具備良好的溝通能力、團(tuán)隊(duì)合作精神,能接受高強(qiáng)度工作。 大數(shù)據(jù)架構(gòu)師:

工作職責(zé):

1、負(fù)責(zé)全行大數(shù)據(jù)在各類業(yè)務(wù)場(chǎng)景中的應(yīng)用規(guī)劃及設(shè)計(jì)方案的制定;

2、負(fù)責(zé)對(duì)全行大數(shù)據(jù)的標(biāo)準(zhǔn)化進(jìn)行梳理并制定相應(yīng)方案;

3、負(fù)責(zé)制定全行的元數(shù)據(jù)集,并對(duì)元數(shù)據(jù)管理的流程、技術(shù)方案進(jìn)行設(shè)計(jì);

4、面向數(shù)據(jù)價(jià)值服務(wù)為數(shù)據(jù)應(yīng)用場(chǎng)景進(jìn)行方案設(shè)計(jì)并指導(dǎo)落實(shí)實(shí)施;

5、負(fù)責(zé)對(duì)大數(shù)據(jù)相關(guān)領(lǐng)域的創(chuàng)新性研究和知識(shí)產(chǎn)權(quán)保護(hù)工作;

6、領(lǐng)導(dǎo)交辦的其他工作內(nèi)容。

任職要求:

1、 全日制本科及以上學(xué)歷,計(jì)算機(jī)、通信工程、數(shù)學(xué)等相關(guān)專業(yè);

2、 具備3年以上大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗(yàn),2年以上大數(shù)據(jù)系統(tǒng)相關(guān)設(shè)計(jì)經(jīng)驗(yàn);

3、 熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式計(jì)算等大數(shù)據(jù)相關(guān)技術(shù),并具備相關(guān)開發(fā)經(jīng)驗(yàn);

4、 在金融行業(yè)或互聯(lián)網(wǎng)金融領(lǐng)域有過(guò)相關(guān)工作經(jīng)驗(yàn)者優(yōu)先考慮;

5、 具備良好的溝通能力、團(tuán)隊(duì)合作精神,能接受高強(qiáng)度工作。

hadoop崗位要求15篇

職位描述:崗位職責(zé):1、負(fù)責(zé)hadoo平臺(tái)上的數(shù)據(jù)存儲(chǔ),數(shù)據(jù)維護(hù)和優(yōu)化;2、編寫一些ig,hive等分析腳本;3、負(fù)責(zé)把一些分析結(jié)果導(dǎo)入到數(shù)據(jù)庫(kù)中,為bi提供基礎(chǔ)數(shù)據(jù)分析;4、hadoo集群?jiǎn)栴}排查,并提出解決方案;5、job報(bào)錯(cuò)問(wèn)題排查;6、根據(jù)集群的問(wèn)題,開發(fā)一…
推薦度:
點(diǎn)擊下載文檔文檔為doc格式

相關(guān)hadoop信息

  • hadoop崗位要求15篇
  • hadoop崗位要求15篇62人關(guān)注

    職位描述:崗位職責(zé):1、負(fù)責(zé)hadoo平臺(tái)上的數(shù)據(jù)存儲(chǔ),數(shù)據(jù)維護(hù)和優(yōu)化;2、編寫一些ig,hive等分析腳本;3、負(fù)責(zé)把一些分析結(jié)果導(dǎo)入到數(shù)據(jù)庫(kù)中,為bi提供基礎(chǔ)數(shù)據(jù)分析;4、hadoo集 ...[更多]

相關(guān)專題

崗位要求熱門信息