數(shù)據(jù)開發(fā)工程師崗位職責(zé)16篇

第1篇 數(shù)據(jù)開發(fā)高級(jí)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、負(fù)責(zé)數(shù)據(jù)收集、清洗和規(guī)約等工作；

2、提供面向業(yè)務(wù)的數(shù)據(jù)服務(wù)，完成數(shù)據(jù)指標(biāo)的統(tǒng)計(jì)、多維分析和展現(xiàn)；

3、根據(jù)業(yè)務(wù)和產(chǎn)品情況，抽象業(yè)務(wù)邏輯，搭建和開發(fā)大數(shù)據(jù)平臺(tái)。

任職要求：

1、統(tǒng)招本科或以上學(xué)歷；

2、精通sql，有較好的sql性能調(diào)優(yōu)經(jīng)驗(yàn)，了解hive/mysql的基本原理和調(diào)優(yōu)策略

3、熟悉常用的數(shù)據(jù)挖掘、分析的工具和方法，熟悉linu_平臺(tái)，精通shell/python/php等腳本語言的一種或多種，編碼基本功扎實(shí) ；

4、精通java開發(fā)，熟悉大數(shù)據(jù)處理相關(guān)技術(shù)，有hadoop開發(fā)經(jīng)驗(yàn)，掌握mapreduce。

第2篇 大數(shù)據(jù)開發(fā)工程師（p7-p8)3職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

分布式大數(shù)據(jù)系統(tǒng)開發(fā)、計(jì)算性能調(diào)優(yōu)、 高性能服務(wù)框架設(shè)計(jì)與開發(fā)；

參與項(xiàng)目的架構(gòu)設(shè)計(jì)、評(píng)審、技術(shù)攻堅(jiān)及優(yōu)化；

參與系統(tǒng)文檔的撰寫、維護(hù)。

任職要求：

本科以上學(xué)歷，計(jì)算機(jī)或相關(guān)專業(yè)；

3年以上linu_后臺(tái)開發(fā)經(jīng)驗(yàn)，有大規(guī)模系統(tǒng)開發(fā)經(jīng)驗(yàn)；

精通http、tcp/ip協(xié)議，網(wǎng)絡(luò)編程；

熟悉linu_操作系統(tǒng)原理，常用工具；

熟悉常用大數(shù)據(jù)開源組件；

有高并發(fā)、大容量后臺(tái)服務(wù)系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)；

具有良好的學(xué)習(xí)能力、溝通能力、團(tuán)隊(duì)合作意識(shí)；

強(qiáng)烈的責(zé)任心與主動(dòng)性，對(duì)所負(fù)責(zé)工作有owner意識(shí)，并能自我驅(qū)動(dòng)成長(zhǎng)；

對(duì)hadoop、flink、spark、lucene等開源項(xiàng)目有大規(guī)模應(yīng)用經(jīng)驗(yàn)，contributor或者committer優(yōu)先。

第3篇 dmp數(shù)據(jù)開發(fā)工程師-核心廣告系統(tǒng)職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、支撐dmp人群包計(jì)算的業(yè)務(wù)需求，參與服務(wù)端代碼開發(fā)；

2、支撐dmp標(biāo)簽的技術(shù)升級(jí)，參與數(shù)據(jù)產(chǎn)出流程性能優(yōu)化；

3、支持dmp大規(guī)模數(shù)據(jù)的計(jì)算和分析。

任職要求：

1、本科及以上學(xué)歷，計(jì)算機(jī)、通信等相關(guān)專業(yè)，1-2年相關(guān)工作經(jīng)驗(yàn)；

2、有良好的數(shù)據(jù)結(jié)構(gòu)、算法基礎(chǔ)和扎實(shí)的編程能力；

3、熟悉python/java/c++/scala其中任意一門或者多門語言;

4、熟悉hadoop/kafka/spark/storm/flink/hive其中的若干技術(shù)；

5、具有良好的團(tuán)隊(duì)溝通意識(shí)和快速學(xué)習(xí)能力;

6、加分項(xiàng): 熟悉大數(shù)據(jù)處理或者dmp業(yè)務(wù).

第4篇 高級(jí)數(shù)據(jù)開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1、承擔(dān)現(xiàn)有數(shù)據(jù)平臺(tái)的開發(fā)和優(yōu)化工作

2、根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)模型的調(diào)研、設(shè)計(jì)、開發(fā)及驗(yàn)證工作，并持續(xù)進(jìn)行模型優(yōu)化

3、負(fù)責(zé)數(shù)據(jù)模型架構(gòu)的構(gòu)建，建立數(shù)據(jù)抽取、清洗、校驗(yàn)等數(shù)據(jù)加工流程規(guī)范及olap多維數(shù)據(jù)分析模型

4、負(fù)責(zé)實(shí)時(shí)計(jì)算平臺(tái)搭建。

職位要求：

1、3-5年以上的相關(guān)工作經(jīng)驗(yàn)

2、熟悉分布式計(jì)算平臺(tái)

3、有日志采集，數(shù)據(jù)處理，數(shù)據(jù)倉(cāng)庫建模，etl等經(jīng)驗(yàn)

4、熟悉java、python、spark開發(fā)

5、熟練掌握linu_ shell及sql語言

6、有獨(dú)立負(fù)責(zé)數(shù)據(jù)某一模塊的實(shí)際項(xiàng)目經(jīng)驗(yàn)

7、有過用戶畫像等方面開發(fā)經(jīng)驗(yàn)者優(yōu)先

8、有實(shí)時(shí)處理開發(fā)經(jīng)驗(yàn)者優(yōu)先

第5篇 大數(shù)據(jù)開發(fā)(高級(jí)/資深)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、基于海量數(shù)據(jù)，支持業(yè)務(wù)對(duì)數(shù)據(jù)的分析和使用：

2、支持業(yè)務(wù)處理數(shù)據(jù)的流式處理、構(gòu)建數(shù)據(jù)倉(cāng)庫、分析用戶行為等。

任職要求：

1、有扎實(shí)的編程能力，有優(yōu)秀的設(shè)計(jì)和代碼品位，對(duì)解決具有挑戰(zhàn)性問題充滿激情；

2、對(duì)大數(shù)據(jù)處理有豐富的經(jīng)驗(yàn)和廣闊的視野；

3、熟悉常用的開源組件：hadoop/hive/spark/storm，并了解其特性和使用場(chǎng)景；

4、優(yōu)秀的溝通理解能力，能快速理解業(yè)務(wù)，用數(shù)據(jù)解讀業(yè)務(wù)；

5、推薦或機(jī)器學(xué)習(xí)相關(guān)的開發(fā)工作優(yōu)先。

第6篇 數(shù)據(jù)開發(fā)工程師-變現(xiàn)業(yè)務(wù)職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、基于海量數(shù)據(jù)，支持業(yè)務(wù)對(duì)數(shù)據(jù)的分析和使用；

2、支持業(yè)務(wù)處理數(shù)據(jù)的流式處理、分析客戶行為等。

任職要求：

1、精通至少一門編程語言，熟練運(yùn)用各種常用算法和數(shù)據(jù)結(jié)構(gòu)，有獨(dú)立的實(shí)現(xiàn)能力 ；

2、熟悉常用的開源組件：hadoop/hive/spark/storm，并了解其特性和使用場(chǎng)景優(yōu)先；

3、熟悉機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)分析、分布式計(jì)算至少某一方面，有較深的理論研究和實(shí)踐經(jīng)驗(yàn)優(yōu)先；

4、數(shù)據(jù)分析、推薦、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘相關(guān)的開發(fā)工作優(yōu)先。

第7篇 大數(shù)據(jù)開發(fā)工程師（數(shù)據(jù)分析、信息安全、前端開發(fā)、數(shù)據(jù)對(duì)接）職位描述與崗位職責(zé)任職要求

職位描述：

數(shù)據(jù)分析工程師：

崗位職責(zé)：

1、負(fù)責(zé)結(jié)構(gòu)化數(shù)據(jù)和文本的數(shù)據(jù)處理、建模、分析等工作，如：數(shù)據(jù)清洗、中文分詞、情感分析、文本分類等；

2、負(fù)責(zé)數(shù)據(jù)需求的收集、整理和分析，配合其他同事完成結(jié)構(gòu)化數(shù)據(jù)和文本的需求分析；

3、負(fù)責(zé)分析結(jié)果的可視化展現(xiàn)；

4、負(fù)責(zé)核心算法的設(shè)計(jì)與優(yōu)化。

任職要求：

1、全日制本科畢業(yè)；

2、計(jì)算機(jī)或數(shù)學(xué)或軟件類或統(tǒng)計(jì)相關(guān)專業(yè)；

3、熟悉數(shù)據(jù)挖掘和文本挖掘的理論基礎(chǔ)，掌握統(tǒng)計(jì)模型、機(jī)器學(xué)習(xí)相關(guān)原理；

4、熟悉r/python/java等編程語言，熟悉常用數(shù)據(jù)結(jié)構(gòu)和算法，熟悉正則表達(dá)式的使用。

web前端開發(fā)工程師：

崗位職責(zé)：

1、負(fù)責(zé)前端框架設(shè)計(jì)及組件庫開發(fā)、前端開發(fā)工作統(tǒng)籌；

2、與后端工程師緊密配合，高效率、高質(zhì)量地完成頁面展現(xiàn)研發(fā)工作；

3、負(fù)責(zé)對(duì)產(chǎn)品頁面性能的優(yōu)化和維護(hù)；

4、負(fù)責(zé)數(shù)據(jù)可視化圖表顯示。

任職要求：

1、本科及以上學(xué)歷，專業(yè)不限。3年以上前端開發(fā)經(jīng)驗(yàn)；

2、精通html5/css3、_html/_ml，熟悉頁面架構(gòu)和布局，對(duì)表現(xiàn)與數(shù)據(jù)分離、web語義化等有深刻理解；

3、在多瀏覽器兼容性問題及css/javascript性能優(yōu)化方面有一定的經(jīng)驗(yàn)；

4、熟練掌握至少一種前端框架及工具、庫。如jquery、angular、webpack；

5、有echars、highcahrts、d3js等數(shù)據(jù)可視化框架開發(fā)經(jīng)驗(yàn)優(yōu)先。

信息安全架構(gòu)工程師：

崗位職責(zé)：

1、 規(guī)劃車聯(lián)網(wǎng)安全架構(gòu)，不斷完善車聯(lián)網(wǎng)產(chǎn)品的安全規(guī)范和要求，跟進(jìn)、解決存在的安全隱患；

2、 對(duì)上線前的軟件或者車上產(chǎn)品進(jìn)行安全方面驗(yàn)證及測(cè)試；

3、 跟進(jìn)最新漏洞的研究工作，理解漏洞的原理，編制漏洞研究報(bào)告和防范措施；

4、 負(fù)責(zé)行業(yè)/國(guó)家車聯(lián)網(wǎng)汽車網(wǎng)絡(luò)安全部分的技術(shù)及標(biāo)準(zhǔn)規(guī)范的研究工作。

任職要求：

1、本科以上學(xué)歷，信息安全，計(jì)算機(jī)，通信等相關(guān)專業(yè)；

2、 擁有網(wǎng)絡(luò)安全專業(yè)技能，熟悉車載網(wǎng)絡(luò)架構(gòu)，模塊及協(xié)議；

3、 熟悉常見網(wǎng)絡(luò)/車輛安全漏洞，掌握漏洞原理以及解決方案具備獨(dú)立開展?jié)B透工作的能力；

4、 熟悉常見黑客攻擊手法，具備對(duì)黑客行為的入侵檢測(cè)能力；

5、 精通安全測(cè)試框架，理解網(wǎng)絡(luò)，應(yīng)用，數(shù)據(jù)等不同層面的安全。

數(shù)據(jù)對(duì)接工程師：

崗位職責(zé)：

1、負(fù)責(zé)內(nèi)部系統(tǒng)的對(duì)接工作；

2、第三方平臺(tái)的數(shù)據(jù)對(duì)接及程序維護(hù)；

3、負(fù)責(zé)各車型的數(shù)據(jù)采集要求整理及規(guī)劃；

4、熟悉數(shù)據(jù)結(jié)構(gòu)和常用算法，有良好的代碼規(guī)范，能對(duì)接入數(shù)據(jù)/系統(tǒng)提出優(yōu)化方案。

任職要求：

1、 本科以上學(xué)歷，信息化項(xiàng)目，計(jì)算機(jī)，無線傳輸?shù)认嚓P(guān)專業(yè)；

2、擁有信息化相關(guān)技能，熟悉系統(tǒng)間的交互對(duì)接流程；

3、熟悉數(shù)據(jù)庫的管理及查詢、同步工作；

4、熟悉信息對(duì)接的方式，能用api、視圖等進(jìn)行對(duì)接工作。

第8篇 高級(jí)/資深數(shù)據(jù)開發(fā)工程師-網(wǎng)易考拉250職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、利用海量業(yè)務(wù)數(shù)據(jù)，設(shè)計(jì)數(shù)據(jù)模型，搭建數(shù)據(jù)倉(cāng)庫；

2、負(fù)責(zé)解決并實(shí)現(xiàn)大數(shù)據(jù)計(jì)算分析需求（離線+實(shí)時(shí)）；

3、負(fù)責(zé)數(shù)據(jù)底層引擎olap產(chǎn)品的設(shè)計(jì)開發(fā)工作。

任職要求：

1、本科及以上學(xué)歷，具有較強(qiáng)的編程能力（java/python/sql）；

2、具有數(shù)據(jù)倉(cāng)庫、海量數(shù)據(jù)計(jì)算，實(shí)時(shí)流式計(jì)算等相關(guān)項(xiàng)目經(jīng)驗(yàn)；

3、掌握hadoop、hive、spark，storm，flink等大數(shù)據(jù)相關(guān)技術(shù)者；

4、優(yōu)秀的數(shù)據(jù)分析和解決問題能力，能夠把理論成功應(yīng)用于實(shí)踐；

5、對(duì)數(shù)據(jù)技術(shù)有極強(qiáng)的興趣和熱情。

第9篇 大數(shù)據(jù)開發(fā)工程師/專家（p6-p8）3職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1.負(fù)責(zé)時(shí)空位置大數(shù)據(jù)對(duì)外接口后臺(tái)和服務(wù)框架的開發(fā)和運(yùn)營(yíng)；

2.負(fù)責(zé)時(shí)空位置大數(shù)據(jù)數(shù)據(jù)中、后臺(tái)的建設(shè)以及數(shù)據(jù)和服務(wù)安全方面的建設(shè)；

任職要求：

1.重點(diǎn)大學(xué)本科以上學(xué)歷，計(jì)算機(jī)及相關(guān)專業(yè)；

2.3年以上相關(guān)工作經(jīng)驗(yàn)，精通算法與數(shù)據(jù)結(jié)構(gòu)，精通c/c++編程語言；

3.精通linu_、uni_編程環(huán)境，熟悉數(shù)據(jù)庫；

4.精通網(wǎng)絡(luò)編程，有分布式系統(tǒng)開發(fā)經(jīng)驗(yàn)，有大平臺(tái)開發(fā)經(jīng)驗(yàn)優(yōu)先；

5.熟悉gis和時(shí)空大數(shù)據(jù)處理和管理，有相關(guān)工作經(jīng)驗(yàn)者優(yōu)先，

6.具備優(yōu)秀的獨(dú)立解決問題能力， 善于團(tuán)隊(duì)合作，溝通良好，有一定的抗壓能力；

第10篇 高級(jí)大數(shù)據(jù)開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1. 基于公司大數(shù)據(jù)產(chǎn)品進(jìn)行數(shù)據(jù)開發(fā)，包括數(shù)據(jù)的采集，清洗，預(yù)處理，存儲(chǔ)，建模，分析挖掘等

2. 根據(jù)業(yè)務(wù)用戶需要分析數(shù)據(jù)，提供數(shù)據(jù)支持

3. 參與公司大數(shù)據(jù)產(chǎn)品的運(yùn)維和監(jiān)控，保障數(shù)據(jù)質(zhì)量和服務(wù)穩(wěn)定性

任職要求：

1. 具備本科以上學(xué)歷， 計(jì)算機(jī)， 軟件以及相關(guān)專業(yè)， 5年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)

2. 熟悉數(shù)據(jù)倉(cāng)庫維度建模， 并能根據(jù)客戶需求進(jìn)行數(shù)據(jù)開發(fā)， 向模型更新數(shù)據(jù)

3. 使用過至少一種以上的etl工具

4. 熟練掌握java， 對(duì)hadoop相關(guān)的技術(shù)和組件(hdfs， mr， hbase， hive， spark， storm， kafka等）有全面深入了解

5. 熟練掌握shell或者python中的一種

6. 具備spark開發(fā)經(jīng)驗(yàn)者優(yōu)先

7. 具備實(shí)時(shí)計(jì)算(kafka+storm/spark streaming) 經(jīng)驗(yàn)者優(yōu)先

8. 具備數(shù)據(jù)分析和數(shù)據(jù)挖掘方面經(jīng)驗(yàn)者優(yōu)先

第11篇 數(shù)據(jù)開發(fā)工程師/python/c++（p6-p7）3職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

'負(fù)責(zé)內(nèi)部數(shù)據(jù)分析平臺(tái)建設(shè)；

開發(fā)數(shù)據(jù)分析算法，提升計(jì)算效率和準(zhǔn)確率；

對(duì)平臺(tái)進(jìn)行運(yùn)營(yíng)，滿足用戶需求。'

任職要求：

'計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，3年以上工作經(jīng)驗(yàn)；

精通python， c/c++開發(fā)，熟悉的常見的設(shè)計(jì)模式；

精通spark，hadoop，es 等大數(shù)據(jù)平臺(tái)的原理，做過大數(shù)據(jù)分析平臺(tái)項(xiàng)目，對(duì)性能調(diào)優(yōu)有經(jīng)驗(yàn)；

熟悉mysql，postgresql，mogodb，redis等數(shù)據(jù)管理系統(tǒng)；

擁有良好的發(fā)現(xiàn)、分析與解決問題的能力，責(zé)任感強(qiáng)、具有團(tuán)隊(duì)精神與服務(wù)意識(shí)；

具有良好的學(xué)習(xí)能力，對(duì)互聯(lián)網(wǎng)的新技術(shù)有很強(qiáng)求知欲望。'

第12篇 后端數(shù)據(jù)開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1. 配合產(chǎn)品經(jīng)理，參與數(shù)據(jù)平臺(tái)發(fā)展各階段產(chǎn)品需求分析和功能設(shè)計(jì)；

2. 基于確定的產(chǎn)品功能需求，參與平臺(tái)后端系統(tǒng)架構(gòu)設(shè)計(jì)、接口定義實(shí)現(xiàn)及測(cè)試、構(gòu)建部署和運(yùn)維等各階段工作；

3. 根據(jù)產(chǎn)品或技術(shù)實(shí)現(xiàn)發(fā)展需要，按需進(jìn)行一些新技術(shù)的研究，并評(píng)估將其引入現(xiàn)有平臺(tái)實(shí)現(xiàn)的可行性。

任職要求：

1. 本科及以上學(xué)歷，至少3年及以上的實(shí)際開發(fā)經(jīng)驗(yàn)；

2. 熟練掌握c/c++/python/java/go/javascript其中至少2種及以上程序設(shè)計(jì)語言，并且自認(rèn)為具有良好的編程素養(yǎng)；

3. 熟練掌握常用的數(shù)據(jù)結(jié)構(gòu)及算法；

4. 熟悉linu_系統(tǒng)開發(fā)，熟悉網(wǎng)絡(luò)編程、文件系統(tǒng)，有分布式系統(tǒng)開發(fā)經(jīng)驗(yàn)；

5. 應(yīng)具有熟練的技術(shù)領(lǐng)域相關(guān)的英文文獻(xiàn)閱讀能力；

6. 有良好的溝通能力和團(tuán)隊(duì)合作能力，能夠自主驅(qū)動(dòng)，具備良好的問題定位分析能力。

優(yōu)先考慮：

1. 熟悉containerization和virtual machine平臺(tái)和相關(guān)技術(shù)，熟悉docker、kubernetes和kvm等，并具有相關(guān)的實(shí)際運(yùn)用經(jīng)驗(yàn)；

2. 熟悉當(dāng)前主流的云計(jì)算平臺(tái)，如應(yīng)熟悉aws、azure和阿里云其中至少一種平臺(tái)的iaas，并具有相關(guān)的項(xiàng)目經(jīng)驗(yàn)；

3. 有開源項(xiàng)目實(shí)際參與經(jīng)驗(yàn)。

第13篇 數(shù)據(jù)開發(fā)工程師崗位職責(zé)

數(shù)據(jù)庫開發(fā)工程師 融智投資 深圳市排排網(wǎng)投資管理股份有限公司,排排網(wǎng),私募排排網(wǎng),融智投資,排排網(wǎng) 崗位職責(zé):

1.負(fù)責(zé)數(shù)據(jù)庫建模及開發(fā);

2.負(fù)責(zé)維護(hù)現(xiàn)有公司主站、數(shù)據(jù)中心數(shù)據(jù)庫;

3.負(fù)責(zé)現(xiàn)有數(shù)據(jù)庫性能及架構(gòu)的優(yōu)化;

4.負(fù)責(zé)解決日常出現(xiàn)的存儲(chǔ)過程錯(cuò)誤及數(shù)據(jù)錯(cuò)誤,并給出解決方案;

5.負(fù)責(zé)數(shù)據(jù)庫運(yùn)維工作(同步、建庫);

6.負(fù)責(zé)數(shù)據(jù)庫技術(shù)架構(gòu);

崗位要求:

1. 擁有5年以上mysql(或oracle)數(shù)據(jù)庫管理、開發(fā)、設(shè)計(jì)及系統(tǒng)支持經(jīng)驗(yàn);

2. 精通sql語法,有能力編寫較復(fù)雜t-sql腳本;

3. 精通mysql的主從復(fù)制,了解至少一種ha方案;

4. 熟悉linu_系統(tǒng)的操作和基本排障方法;

5. 工作踏實(shí),認(rèn)真仔細(xì),善于總結(jié),責(zé)任心強(qiáng) ;

6. 有etl工具開發(fā)經(jīng)驗(yàn)者優(yōu)先考慮;

第14篇 大數(shù)據(jù)開發(fā)工程師（渠道團(tuán)隊(duì)）職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1.參與產(chǎn)品和項(xiàng)目研發(fā)工作，基于spark完成產(chǎn)品大數(shù)據(jù)架構(gòu)和功能開發(fā)；

2.搭建和調(diào)優(yōu)大數(shù)據(jù)基礎(chǔ)平臺(tái)，包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大數(shù)據(jù)組件的環(huán)境搭建；

3.維護(hù)線上系統(tǒng)的穩(wěn)定性、可靠性，通過分析現(xiàn)象快速定位問題，進(jìn)而提出優(yōu)化方案，改進(jìn)要求；

任職要求：

1.計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，5年以上大數(shù)據(jù)工作經(jīng)驗(yàn)，有扎實(shí)的計(jì)算機(jī)理論基礎(chǔ)；

2.熟練使用mapreduce、spark提供的api編程，具備海量數(shù)據(jù)加工處理（etl）相關(guān)經(jīng)驗(yàn)；

3.熟練使用大數(shù)據(jù)的工具平臺(tái)，熟悉hadoop生態(tài)環(huán)境，對(duì)hadoop、spark、storm、hbase、hive等至少一個(gè)項(xiàng)目有著深入了解；

4.掌握數(shù)據(jù)分析的基本流程，具備數(shù)據(jù)采集、清洗、分析等環(huán)節(jié)的實(shí)戰(zhàn)經(jīng)驗(yàn)；可以進(jìn)行數(shù)據(jù)產(chǎn)品etl需求的調(diào)研及開發(fā)；

5.熟悉etl任務(wù)調(diào)度及管理；

6.熟悉shell命令，進(jìn)行簡(jiǎn)單的shell編程；熟悉linu_文本處理命令，vi、awk、sed等命令

7.熟練使用hadoop或其他分布式平臺(tái)的一種，能使用java、python或其他語言編寫mapreduce進(jìn)行大數(shù)據(jù)處理優(yōu)先；

8.有大型金融項(xiàng)目經(jīng)驗(yàn)者優(yōu)先。'

第15篇 bi數(shù)據(jù)開發(fā)工程師崗位職責(zé)

大數(shù)據(jù)bi開發(fā)工程師 【崗位職責(zé)】:

1、負(fù)責(zé)業(yè)務(wù)相關(guān)指標(biāo)的梳理和計(jì)算;

2、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫模型設(shè)計(jì)和開發(fā);

3、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫 etl 開發(fā);

4、上級(jí)交辦的其他任務(wù).

【任職要求】:

1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè);

2、3 年以上數(shù)據(jù)倉(cāng)庫開發(fā)經(jīng)驗(yàn);

3、熟悉數(shù)據(jù)倉(cāng)庫理論,能夠根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)倉(cāng)庫設(shè)計(jì)開發(fā);

4、熟悉 sql 開發(fā)并能夠進(jìn)行優(yōu)化;

5、熟練掌握 hive 開發(fā),熟悉 hadoop 生態(tài)相關(guān)工具者優(yōu)先;

6、熟悉 shell,python 者優(yōu)先考慮;

6、喜歡鉆研,善于溝通,有團(tuán)隊(duì)合作精神。 【崗位職責(zé)】:

1、負(fù)責(zé)業(yè)務(wù)相關(guān)指標(biāo)的梳理和計(jì)算;

2、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫模型設(shè)計(jì)和開發(fā);

3、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫 etl 開發(fā);

4、上級(jí)交辦的其他任務(wù).

【任職要求】:

1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè);

2、3 年以上數(shù)據(jù)倉(cāng)庫開發(fā)經(jīng)驗(yàn);

3、熟悉數(shù)據(jù)倉(cāng)庫理論,能夠根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)倉(cāng)庫設(shè)計(jì)開發(fā);

4、熟悉 sql 開發(fā)并能夠進(jìn)行優(yōu)化;

5、熟練掌握 hive 開發(fā),熟悉 hadoop 生態(tài)相關(guān)工具者優(yōu)先;

6、熟悉 shell,python 者優(yōu)先考慮;

6、喜歡鉆研,善于溝通,有團(tuán)隊(duì)合作精神。

第16篇 大數(shù)據(jù)開發(fā)高級(jí)工程師-etl方向職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé):

1、 根據(jù)公司數(shù)據(jù)分析需求進(jìn)行基于hadoop 平臺(tái)的項(xiàng)目開發(fā)；

2、 根據(jù)需求進(jìn)行數(shù)據(jù)倉(cāng)庫模型設(shè)計(jì)，熟練使用kettle工具進(jìn)行etl程序的開發(fā)；包括實(shí)時(shí)數(shù)據(jù)加工，計(jì)算，etl，管理， 監(jiān)控等；

3、 負(fù)責(zé)針對(duì)源系統(tǒng)進(jìn)行數(shù)據(jù)抽取、處理、分析等相關(guān)工作，及項(xiàng)目中涉及到的數(shù)據(jù)庫創(chuàng)建、維護(hù)及提供數(shù)據(jù)接口工作；

4、 負(fù)責(zé)設(shè)計(jì)并優(yōu)化基于hive 的數(shù)據(jù)倉(cāng)庫的建設(shè)；

5、 制定數(shù)據(jù)庫備份和恢復(fù)策略及工作流程與規(guī)范。

6、能出具消費(fèi)品品牌制造行業(yè)應(yīng)用的數(shù)據(jù)分析技術(shù)解決方案，并落地。

任職資格:

1．從事數(shù)據(jù)倉(cāng)庫領(lǐng)域至少2年以上，熟悉數(shù)據(jù)倉(cāng)庫模型設(shè)計(jì)與etl開發(fā)經(jīng)驗(yàn) ，具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗(yàn)；

2. 熟悉數(shù)據(jù)倉(cāng)庫領(lǐng)域知識(shí)和技能者優(yōu)先，包括但不局限于：元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測(cè)試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理；

3．有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開發(fā)經(jīng)驗(yàn)，熟悉hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先，重點(diǎn)考察hive、hdfs、hbase;

4. 熟練掌握kettlesqoop、data_、airflow等;

5. 有消費(fèi)品品牌制造、零售行業(yè)經(jīng)驗(yàn)，尤其快消品行業(yè)和財(cái)務(wù)領(lǐng)域數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;

6. 熟悉分布式計(jì)算presto/imapa優(yōu)先;

7．有實(shí)時(shí)計(jì)算方面的經(jīng)驗(yàn)的優(yōu)先。