歡迎光臨管理者范文網(wǎng)
當(dāng)前位置:管理者范文網(wǎng) > 安全管理 > 崗位職責(zé) > 工程崗位職責(zé)

數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)16篇

發(fā)布時(shí)間:2023-02-22 15:48:02 查看人數(shù):68
  • 目錄

數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)

第1篇 數(shù)據(jù)開(kāi)發(fā)高級(jí)工程師職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

1、負(fù)責(zé)數(shù)據(jù)收集、清洗和規(guī)約等工作;

2、提供面向業(yè)務(wù)的數(shù)據(jù)服務(wù),完成數(shù)據(jù)指標(biāo)的統(tǒng)計(jì)、多維分析和展現(xiàn);

3、根據(jù)業(yè)務(wù)和產(chǎn)品情況,抽象業(yè)務(wù)邏輯,搭建和開(kāi)發(fā)大數(shù)據(jù)平臺(tái)。

任職要求:

1、統(tǒng)招本科或以上學(xué)歷;

2、精通sql,有較好的sql性能調(diào)優(yōu)經(jīng)驗(yàn),了解hive/mysql的基本原理和調(diào)優(yōu)策略

3、熟悉常用的數(shù)據(jù)挖掘、分析的工具和方法,熟悉linu_平臺(tái),精通shell/python/php等腳本語(yǔ)言的一種或多種,編碼基本功扎實(shí) ;

4、精通java開(kāi)發(fā),熟悉大數(shù)據(jù)處理相關(guān)技術(shù),有hadoop開(kāi)發(fā)經(jīng)驗(yàn),掌握mapreduce。

第2篇 大數(shù)據(jù)開(kāi)發(fā)工程師(p7-p8)3職位描述與崗位職責(zé)任職要求

職位描述:

崗位職責(zé):

分布式大數(shù)據(jù)系統(tǒng)開(kāi)發(fā)、計(jì)算性能調(diào)優(yōu)、 高性能服務(wù)框架設(shè)計(jì)與開(kāi)發(fā);

參與項(xiàng)目的架構(gòu)設(shè)計(jì)、評(píng)審、技術(shù)攻堅(jiān)及優(yōu)化;

參與系統(tǒng)文檔的撰寫(xiě)、維護(hù)。

任職要求:

本科以上學(xué)歷,計(jì)算機(jī)或相關(guān)專業(yè);

3年以上linu_后臺(tái)開(kāi)發(fā)經(jīng)驗(yàn),有大規(guī)模系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn);

精通http、tcp/ip協(xié)議,網(wǎng)絡(luò)編程;

熟悉linu_操作系統(tǒng)原理,常用工具;

熟悉常用大數(shù)據(jù)開(kāi)源組件;

有高并發(fā)、大容量后臺(tái)服務(wù)系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn);

具有良好的學(xué)習(xí)能力、溝通能力、團(tuán)隊(duì)合作意識(shí);

強(qiáng)烈的責(zé)任心與主動(dòng)性,對(duì)所負(fù)責(zé)工作有owner意識(shí),并能自我驅(qū)動(dòng)成長(zhǎng);

對(duì)hadoop、flink、spark、lucene等開(kāi)源項(xiàng)目有大規(guī)模應(yīng)用經(jīng)驗(yàn),contributor或者committer優(yōu)先。

第3篇 dmp數(shù)據(jù)開(kāi)發(fā)工程師-核心廣告系統(tǒng)職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

1、支撐dmp人群包計(jì)算的業(yè)務(wù)需求,參與服務(wù)端代碼開(kāi)發(fā);

2、支撐dmp標(biāo)簽的技術(shù)升級(jí),參與數(shù)據(jù)產(chǎn)出流程性能優(yōu)化;

3、支持dmp大規(guī)模數(shù)據(jù)的計(jì)算和分析。

任職要求:

1、本科及以上學(xué)歷,計(jì)算機(jī)、通信等相關(guān)專業(yè),1-2年相關(guān)工作經(jīng)驗(yàn);

2、有良好的數(shù)據(jù)結(jié)構(gòu)、算法基礎(chǔ)和扎實(shí)的編程能力;

3、熟悉python/java/c++/scala其中任意一門或者多門語(yǔ)言;

4、熟悉hadoop/kafka/spark/storm/flink/hive其中的若干技術(shù);

5、具有良好的團(tuán)隊(duì)溝通意識(shí)和快速學(xué)習(xí)能力;

6、加分項(xiàng): 熟悉大數(shù)據(jù)處理或者dmp業(yè)務(wù).

第4篇 高級(jí)數(shù)據(jù)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述:

職責(zé)描述:

1、承擔(dān)現(xiàn)有數(shù)據(jù)平臺(tái)的開(kāi)發(fā)和優(yōu)化工作

2、根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)模型的調(diào)研、設(shè)計(jì)、開(kāi)發(fā)及驗(yàn)證工作,并持續(xù)進(jìn)行模型優(yōu)化

3、負(fù)責(zé)數(shù)據(jù)模型架構(gòu)的構(gòu)建,建立數(shù)據(jù)抽取、清洗、校驗(yàn)等數(shù)據(jù)加工流程規(guī)范及olap多維數(shù)據(jù)分析模型

4、負(fù)責(zé)實(shí)時(shí)計(jì)算平臺(tái)搭建。

職位要求:

1、3-5年以上的相關(guān)工作經(jīng)驗(yàn)

2、熟悉分布式計(jì)算平臺(tái)

3、有日志采集,數(shù)據(jù)處理,數(shù)據(jù)倉(cāng)庫(kù)建模,etl等經(jīng)驗(yàn)

4、熟悉java、python、spark開(kāi)發(fā)

5、熟練掌握l(shuí)inu_ shell及sql語(yǔ)言

6、有獨(dú)立負(fù)責(zé)數(shù)據(jù)某一模塊的實(shí)際項(xiàng)目經(jīng)驗(yàn)

7、有過(guò)用戶畫(huà)像等方面開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先

8、有實(shí)時(shí)處理開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先

第5篇 大數(shù)據(jù)開(kāi)發(fā)(高級(jí)/資深)工程師職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

1、基于海量數(shù)據(jù),支持業(yè)務(wù)對(duì)數(shù)據(jù)的分析和使用:

2、支持業(yè)務(wù)處理數(shù)據(jù)的流式處理、構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)、分析用戶行為等。

任職要求:

1、有扎實(shí)的編程能力,有優(yōu)秀的設(shè)計(jì)和代碼品位,對(duì)解決具有挑戰(zhàn)性問(wèn)題充滿激情;

2、對(duì)大數(shù)據(jù)處理有豐富的經(jīng)驗(yàn)和廣闊的視野;

3、熟悉常用的開(kāi)源組件:hadoop/hive/spark/storm,并了解其特性和使用場(chǎng)景;

4、優(yōu)秀的溝通理解能力,能快速理解業(yè)務(wù),用數(shù)據(jù)解讀業(yè)務(wù);

5、推薦或機(jī)器學(xué)習(xí)相關(guān)的開(kāi)發(fā)工作優(yōu)先。

第6篇 數(shù)據(jù)開(kāi)發(fā)工程師-變現(xiàn)業(yè)務(wù)職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

1、基于海量數(shù)據(jù),支持業(yè)務(wù)對(duì)數(shù)據(jù)的分析和使用;

2、支持業(yè)務(wù)處理數(shù)據(jù)的流式處理、分析客戶行為等。

任職要求:

1、精通至少一門編程語(yǔ)言,熟練運(yùn)用各種常用算法和數(shù)據(jù)結(jié)構(gòu),有獨(dú)立的實(shí)現(xiàn)能力 ;

2、熟悉常用的開(kāi)源組件:hadoop/hive/spark/storm,并了解其特性和使用場(chǎng)景優(yōu)先;

3、熟悉機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)分析、分布式計(jì)算至少某一方面,有較深的理論研究和實(shí)踐經(jīng)驗(yàn)優(yōu)先;

4、數(shù)據(jù)分析、推薦、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘相關(guān)的開(kāi)發(fā)工作優(yōu)先。

第7篇 大數(shù)據(jù)開(kāi)發(fā)工程師(數(shù)據(jù)分析、信息安全、前端開(kāi)發(fā)、數(shù)據(jù)對(duì)接)職位描述與崗位職責(zé)任職要求

職位描述:

數(shù)據(jù)分析工程師:

崗位職責(zé):

1、負(fù)責(zé)結(jié)構(gòu)化數(shù)據(jù)和文本的數(shù)據(jù)處理、建模、分析等工作,如:數(shù)據(jù)清洗、中文分詞、情感分析、文本分類等;

2、負(fù)責(zé)數(shù)據(jù)需求的收集、整理和分析,配合其他同事完成結(jié)構(gòu)化數(shù)據(jù)和文本的需求分析;

3、負(fù)責(zé)分析結(jié)果的可視化展現(xiàn);

4、負(fù)責(zé)核心算法的設(shè)計(jì)與優(yōu)化。

任職要求:

1、全日制本科畢業(yè);

2、計(jì)算機(jī)或數(shù)學(xué)或軟件類或統(tǒng)計(jì)相關(guān)專業(yè);

3、熟悉數(shù)據(jù)挖掘和文本挖掘的理論基礎(chǔ),掌握統(tǒng)計(jì)模型、機(jī)器學(xué)習(xí)相關(guān)原理;

4、熟悉r/python/java等編程語(yǔ)言,熟悉常用數(shù)據(jù)結(jié)構(gòu)和算法,熟悉正則表達(dá)式的使用。

web前端開(kāi)發(fā)工程師:

崗位職責(zé):

1、負(fù)責(zé)前端框架設(shè)計(jì)及組件庫(kù)開(kāi)發(fā)、前端開(kāi)發(fā)工作統(tǒng)籌;

2、與后端工程師緊密配合,高效率、高質(zhì)量地完成頁(yè)面展現(xiàn)研發(fā)工作;

3、負(fù)責(zé)對(duì)產(chǎn)品頁(yè)面性能的優(yōu)化和維護(hù);

4、負(fù)責(zé)數(shù)據(jù)可視化圖表顯示。

任職要求:

1、本科及以上學(xué)歷,專業(yè)不限。3年以上前端開(kāi)發(fā)經(jīng)驗(yàn);

2、精通html5/css3、_html/_ml,熟悉頁(yè)面架構(gòu)和布局,對(duì)表現(xiàn)與數(shù)據(jù)分離、web語(yǔ)義化等有深刻理解;

3、在多瀏覽器兼容性問(wèn)題及css/javascript性能優(yōu)化方面有一定的經(jīng)驗(yàn);

4、熟練掌握至少一種前端框架及工具、庫(kù)。如jquery、angular、webpack;

5、有echars、highcahrts、d3js等數(shù)據(jù)可視化框架開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先。

信息安全架構(gòu)工程師:

崗位職責(zé):

1、 規(guī)劃車聯(lián)網(wǎng)安全架構(gòu),不斷完善車聯(lián)網(wǎng)產(chǎn)品的安全規(guī)范和要求,跟進(jìn)、解決存在的安全隱患;

2、 對(duì)上線前的軟件或者車上產(chǎn)品進(jìn)行安全方面驗(yàn)證及測(cè)試;

3、 跟進(jìn)最新漏洞的研究工作,理解漏洞的原理,編制漏洞研究報(bào)告和防范措施;

4、 負(fù)責(zé)行業(yè)/國(guó)家車聯(lián)網(wǎng)汽車網(wǎng)絡(luò)安全部分的技術(shù)及標(biāo)準(zhǔn)規(guī)范的研究工作。

任職要求:

1、本科以上學(xué)歷,信息安全,計(jì)算機(jī),通信等相關(guān)專業(yè);

2、 擁有網(wǎng)絡(luò)安全專業(yè)技能,熟悉車載網(wǎng)絡(luò)架構(gòu),模塊及協(xié)議;

3、 熟悉常見(jiàn)網(wǎng)絡(luò)/車輛安全漏洞,掌握漏洞原理以及解決方案具備獨(dú)立開(kāi)展?jié)B透工作的能力;

4、 熟悉常見(jiàn)黑客攻擊手法,具備對(duì)黑客行為的入侵檢測(cè)能力;

5、 精通安全測(cè)試框架,理解網(wǎng)絡(luò),應(yīng)用,數(shù)據(jù)等不同層面的安全。

數(shù)據(jù)對(duì)接工程師:

崗位職責(zé):

1、負(fù)責(zé)內(nèi)部系統(tǒng)的對(duì)接工作;

2、第三方平臺(tái)的數(shù)據(jù)對(duì)接及程序維護(hù);

3、負(fù)責(zé)各車型的數(shù)據(jù)采集要求整理及規(guī)劃;

4、熟悉數(shù)據(jù)結(jié)構(gòu)和常用算法,有良好的代碼規(guī)范,能對(duì)接入數(shù)據(jù)/系統(tǒng)提出優(yōu)化方案。

任職要求:

1、 本科以上學(xué)歷,信息化項(xiàng)目,計(jì)算機(jī),無(wú)線傳輸?shù)认嚓P(guān)專業(yè);

2、擁有信息化相關(guān)技能,熟悉系統(tǒng)間的交互對(duì)接流程;

3、熟悉數(shù)據(jù)庫(kù)的管理及查詢、同步工作;

4、熟悉信息對(duì)接的方式,能用api、視圖等進(jìn)行對(duì)接工作。

第8篇 高級(jí)/資深數(shù)據(jù)開(kāi)發(fā)工程師-網(wǎng)易考拉250職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

1、利用海量業(yè)務(wù)數(shù)據(jù),設(shè)計(jì)數(shù)據(jù)模型,搭建數(shù)據(jù)倉(cāng)庫(kù);

2、負(fù)責(zé)解決并實(shí)現(xiàn)大數(shù)據(jù)計(jì)算分析需求(離線+實(shí)時(shí));

3、負(fù)責(zé)數(shù)據(jù)底層引擎olap產(chǎn)品的設(shè)計(jì)開(kāi)發(fā)工作。

任職要求:

1、本科及以上學(xué)歷,具有較強(qiáng)的編程能力(java/python/sql);

2、具有數(shù)據(jù)倉(cāng)庫(kù)、海量數(shù)據(jù)計(jì)算,實(shí)時(shí)流式計(jì)算等相關(guān)項(xiàng)目經(jīng)驗(yàn);

3、掌握hadoop、hive、spark,storm,flink等大數(shù)據(jù)相關(guān)技術(shù)者;

4、優(yōu)秀的數(shù)據(jù)分析和解決問(wèn)題能力,能夠把理論成功應(yīng)用于實(shí)踐;

5、對(duì)數(shù)據(jù)技術(shù)有極強(qiáng)的興趣和熱情。

第9篇 大數(shù)據(jù)開(kāi)發(fā)工程師/專家(p6-p8)3職位描述與崗位職責(zé)任職要求

職位描述:

職責(zé)描述:

1.負(fù)責(zé)時(shí)空位置大數(shù)據(jù)對(duì)外接口后臺(tái)和服務(wù)框架的開(kāi)發(fā)和運(yùn)營(yíng);

2.負(fù)責(zé)時(shí)空位置大數(shù)據(jù)數(shù)據(jù)中、后臺(tái)的建設(shè)以及數(shù)據(jù)和服務(wù)安全方面的建設(shè);

任職要求:

1.重點(diǎn)大學(xué)本科以上學(xué)歷,計(jì)算機(jī)及相關(guān)專業(yè);

2.3年以上相關(guān)工作經(jīng)驗(yàn),精通算法與數(shù)據(jù)結(jié)構(gòu),精通c/c++編程語(yǔ)言;

3.精通linu_、uni_編程環(huán)境,熟悉數(shù)據(jù)庫(kù);

4.精通網(wǎng)絡(luò)編程,有分布式系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn),有大平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先;

5.熟悉gis和時(shí)空大數(shù)據(jù)處理和管理,有相關(guān)工作經(jīng)驗(yàn)者優(yōu)先,

6.具備優(yōu)秀的獨(dú)立解決問(wèn)題能力, 善于團(tuán)隊(duì)合作,溝通良好,有一定的抗壓能力;

第10篇 高級(jí)大數(shù)據(jù)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述:

崗位職責(zé):

1. 基于公司大數(shù)據(jù)產(chǎn)品進(jìn)行數(shù)據(jù)開(kāi)發(fā),包括數(shù)據(jù)的采集,清洗,預(yù)處理,存儲(chǔ),建模,分析挖掘等

2. 根據(jù)業(yè)務(wù)用戶需要分析數(shù)據(jù),提供數(shù)據(jù)支持

3. 參與公司大數(shù)據(jù)產(chǎn)品的運(yùn)維和監(jiān)控,保障數(shù)據(jù)質(zhì)量和服務(wù)穩(wěn)定性

任職要求:

1. 具備本科以上學(xué)歷, 計(jì)算機(jī), 軟件以及相關(guān)專業(yè), 5年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)

2. 熟悉數(shù)據(jù)倉(cāng)庫(kù)維度建模, 并能根據(jù)客戶需求進(jìn)行數(shù)據(jù)開(kāi)發(fā), 向模型更新數(shù)據(jù)

3. 使用過(guò)至少一種以上的etl工具

4. 熟練掌握java, 對(duì)hadoop相關(guān)的技術(shù)和組件(hdfs, mr, hbase, hive, spark, storm, kafka等)有全面深入了解

5. 熟練掌握shell或者python中的一種

6. 具備spark開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先

7. 具備實(shí)時(shí)計(jì)算(kafka+storm/spark streaming) 經(jīng)驗(yàn)者優(yōu)先

8. 具備數(shù)據(jù)分析和數(shù)據(jù)挖掘方面經(jīng)驗(yàn)者優(yōu)先

第11篇 數(shù)據(jù)開(kāi)發(fā)工程師/python/c++(p6-p7)3職位描述與崗位職責(zé)任職要求

職位描述:

職責(zé)描述:

'負(fù)責(zé)內(nèi)部數(shù)據(jù)分析平臺(tái)建設(shè);

開(kāi)發(fā)數(shù)據(jù)分析算法,提升計(jì)算效率和準(zhǔn)確率;

對(duì)平臺(tái)進(jìn)行運(yùn)營(yíng),滿足用戶需求。'

任職要求:

'計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷,3年以上工作經(jīng)驗(yàn);

精通python, c/c++開(kāi)發(fā),熟悉的常見(jiàn)的設(shè)計(jì)模式;

精通spark,hadoop,es 等大數(shù)據(jù)平臺(tái)的原理,做過(guò)大數(shù)據(jù)分析平臺(tái)項(xiàng)目,對(duì)性能調(diào)優(yōu)有經(jīng)驗(yàn);

熟悉mysql,postgresql,mogodb,redis等數(shù)據(jù)管理系統(tǒng);

擁有良好的發(fā)現(xiàn)、分析與解決問(wèn)題的能力,責(zé)任感強(qiáng)、具有團(tuán)隊(duì)精神與服務(wù)意識(shí);

具有良好的學(xué)習(xí)能力,對(duì)互聯(lián)網(wǎng)的新技術(shù)有很強(qiáng)求知欲望。'

第12篇 后端數(shù)據(jù)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述:

職責(zé)描述:

1. 配合產(chǎn)品經(jīng)理,參與數(shù)據(jù)平臺(tái)發(fā)展各階段產(chǎn)品需求分析和功能設(shè)計(jì);

2. 基于確定的產(chǎn)品功能需求,參與平臺(tái)后端系統(tǒng)架構(gòu)設(shè)計(jì)、接口定義實(shí)現(xiàn)及測(cè)試、構(gòu)建部署和運(yùn)維等各階段工作;

3. 根據(jù)產(chǎn)品或技術(shù)實(shí)現(xiàn)發(fā)展需要,按需進(jìn)行一些新技術(shù)的研究,并評(píng)估將其引入現(xiàn)有平臺(tái)實(shí)現(xiàn)的可行性。

任職要求:

1. 本科及以上學(xué)歷,至少3年及以上的實(shí)際開(kāi)發(fā)經(jīng)驗(yàn);

2. 熟練掌握c/c++/python/java/go/javascript其中至少2種及以上程序設(shè)計(jì)語(yǔ)言,并且自認(rèn)為具有良好的編程素養(yǎng);

3. 熟練掌握常用的數(shù)據(jù)結(jié)構(gòu)及算法;

4. 熟悉linu_系統(tǒng)開(kāi)發(fā),熟悉網(wǎng)絡(luò)編程、文件系統(tǒng),有分布式系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn);

5. 應(yīng)具有熟練的技術(shù)領(lǐng)域相關(guān)的英文文獻(xiàn)閱讀能力;

6. 有良好的溝通能力和團(tuán)隊(duì)合作能力,能夠自主驅(qū)動(dòng),具備良好的問(wèn)題定位分析能力。

優(yōu)先考慮:

1. 熟悉containerization和virtual machine平臺(tái)和相關(guān)技術(shù),熟悉docker、kubernetes和kvm等,并具有相關(guān)的實(shí)際運(yùn)用經(jīng)驗(yàn);

2. 熟悉當(dāng)前主流的云計(jì)算平臺(tái),如應(yīng)熟悉aws、azure和阿里云其中至少一種平臺(tái)的iaas,并具有相關(guān)的項(xiàng)目經(jīng)驗(yàn);

3. 有開(kāi)源項(xiàng)目實(shí)際參與經(jīng)驗(yàn)。

第13篇 數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)

數(shù)據(jù)庫(kù)開(kāi)發(fā)工程師 融智投資 深圳市排排網(wǎng)投資管理股份有限公司,排排網(wǎng),私募排排網(wǎng),融智投資,排排網(wǎng) 崗位職責(zé):

1.負(fù)責(zé)數(shù)據(jù)庫(kù)建模及開(kāi)發(fā);

2.負(fù)責(zé)維護(hù)現(xiàn)有公司主站、數(shù)據(jù)中心數(shù)據(jù)庫(kù);

3.負(fù)責(zé)現(xiàn)有數(shù)據(jù)庫(kù)性能及架構(gòu)的優(yōu)化;

4.負(fù)責(zé)解決日常出現(xiàn)的存儲(chǔ)過(guò)程錯(cuò)誤及數(shù)據(jù)錯(cuò)誤,并給出解決方案;

5.負(fù)責(zé)數(shù)據(jù)庫(kù)運(yùn)維工作(同步、建庫(kù));

6.負(fù)責(zé)數(shù)據(jù)庫(kù)技術(shù)架構(gòu);

崗位要求:

1. 擁有5年以上mysql(或oracle)數(shù)據(jù)庫(kù)管理、開(kāi)發(fā)、設(shè)計(jì)及系統(tǒng)支持經(jīng)驗(yàn);

2. 精通sql語(yǔ)法,有能力編寫(xiě)較復(fù)雜t-sql腳本;

3. 精通mysql的主從復(fù)制,了解至少一種ha方案;

4. 熟悉linu_系統(tǒng)的操作和基本排障方法;

5. 工作踏實(shí),認(rèn)真仔細(xì),善于總結(jié),責(zé)任心強(qiáng) ;

6. 有etl工具開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先考慮;

第14篇 大數(shù)據(jù)開(kāi)發(fā)工程師(渠道團(tuán)隊(duì))職位描述與崗位職責(zé)任職要求

職位描述:

職責(zé)描述:

1.參與產(chǎn)品和項(xiàng)目研發(fā)工作,基于spark完成產(chǎn)品大數(shù)據(jù)架構(gòu)和功能開(kāi)發(fā);

2.搭建和調(diào)優(yōu)大數(shù)據(jù)基礎(chǔ)平臺(tái),包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大數(shù)據(jù)組件的環(huán)境搭建;

3.維護(hù)線上系統(tǒng)的穩(wěn)定性、可靠性,通過(guò)分析現(xiàn)象快速定位問(wèn)題,進(jìn)而提出優(yōu)化方案,改進(jìn)要求;

任職要求:

1.計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷,5年以上大數(shù)據(jù)工作經(jīng)驗(yàn),有扎實(shí)的計(jì)算機(jī)理論基礎(chǔ);

2.熟練使用mapreduce、spark提供的api編程,具備海量數(shù)據(jù)加工處理(etl)相關(guān)經(jīng)驗(yàn);

3.熟練使用大數(shù)據(jù)的工具平臺(tái),熟悉hadoop生態(tài)環(huán)境,對(duì)hadoop、spark、storm、hbase、hive等至少一個(gè)項(xiàng)目有著深入了解;

4.掌握數(shù)據(jù)分析的基本流程,具備數(shù)據(jù)采集、清洗、分析等環(huán)節(jié)的實(shí)戰(zhàn)經(jīng)驗(yàn);可以進(jìn)行數(shù)據(jù)產(chǎn)品etl需求的調(diào)研及開(kāi)發(fā);

5.熟悉etl任務(wù)調(diào)度及管理;

6.熟悉shell命令,進(jìn)行簡(jiǎn)單的shell編程;熟悉linu_文本處理命令,vi、awk、sed等命令

7.熟練使用hadoop或其他分布式平臺(tái)的一種,能使用java、python或其他語(yǔ)言編寫(xiě)mapreduce進(jìn)行大數(shù)據(jù)處理優(yōu)先;

8.有大型金融項(xiàng)目經(jīng)驗(yàn)者優(yōu)先。'

第15篇 bi數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)

大數(shù)據(jù)bi開(kāi)發(fā)工程師 【崗位職責(zé)】:

1、負(fù)責(zé)業(yè)務(wù)相關(guān)指標(biāo)的梳理和計(jì)算;

2、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)和開(kāi)發(fā);

3、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù) etl 開(kāi)發(fā);

4、上級(jí)交辦的其他任務(wù).

【任職要求】:

1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè);

2、3 年以上數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)經(jīng)驗(yàn);

3、熟悉數(shù)據(jù)倉(cāng)庫(kù)理論,能夠根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)開(kāi)發(fā);

4、熟悉 sql 開(kāi)發(fā)并能夠進(jìn)行優(yōu)化;

5、熟練掌握 hive 開(kāi)發(fā),熟悉 hadoop 生態(tài)相關(guān)工具者優(yōu)先;

6、熟悉 shell,python 者優(yōu)先考慮;

6、喜歡鉆研,善于溝通,有團(tuán)隊(duì)合作精神。 【崗位職責(zé)】:

1、負(fù)責(zé)業(yè)務(wù)相關(guān)指標(biāo)的梳理和計(jì)算;

2、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)和開(kāi)發(fā);

3、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù) etl 開(kāi)發(fā);

4、上級(jí)交辦的其他任務(wù).

【任職要求】:

1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè);

2、3 年以上數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)經(jīng)驗(yàn);

3、熟悉數(shù)據(jù)倉(cāng)庫(kù)理論,能夠根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)開(kāi)發(fā);

4、熟悉 sql 開(kāi)發(fā)并能夠進(jìn)行優(yōu)化;

5、熟練掌握 hive 開(kāi)發(fā),熟悉 hadoop 生態(tài)相關(guān)工具者優(yōu)先;

6、熟悉 shell,python 者優(yōu)先考慮;

6、喜歡鉆研,善于溝通,有團(tuán)隊(duì)合作精神。

第16篇 大數(shù)據(jù)開(kāi)發(fā)高級(jí)工程師-etl方向職位描述與崗位職責(zé)任職要求

職位描述:

工作職責(zé):

1、 根據(jù)公司數(shù)據(jù)分析需求進(jìn)行基于hadoop 平臺(tái)的項(xiàng)目開(kāi)發(fā);

2、 根據(jù)需求進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì),熟練使用kettle工具進(jìn)行etl程序的開(kāi)發(fā);包括實(shí)時(shí)數(shù)據(jù)加工,計(jì)算,etl,管理, 監(jiān)控等;

3、 負(fù)責(zé)針對(duì)源系統(tǒng)進(jìn)行數(shù)據(jù)抽取、處理、分析等相關(guān)工作,及項(xiàng)目中涉及到的數(shù)據(jù)庫(kù)創(chuàng)建、維護(hù)及提供數(shù)據(jù)接口工作;

4、 負(fù)責(zé)設(shè)計(jì)并優(yōu)化基于hive 的數(shù)據(jù)倉(cāng)庫(kù)的建設(shè);

5、 制定數(shù)據(jù)庫(kù)備份和恢復(fù)策略及工作流程與規(guī)范。

6、能出具消費(fèi)品品牌制造行業(yè)應(yīng)用的數(shù)據(jù)分析技術(shù)解決方案,并落地。

任職資格:

1.從事數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域至少2年以上,熟悉數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)與etl開(kāi)發(fā)經(jīng)驗(yàn) ,具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗(yàn);

2. 熟悉數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域知識(shí)和技能者優(yōu)先,包括但不局限于:元數(shù)據(jù)管理、數(shù)據(jù)開(kāi)發(fā)測(cè)試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理;

3.有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn),熟悉hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先,重點(diǎn)考察hive、hdfs、hbase;

4. 熟練掌握kettlesqoop、data_、airflow等;

5. 有消費(fèi)品品牌制造、零售行業(yè)經(jīng)驗(yàn),尤其快消品行業(yè)和財(cái)務(wù)領(lǐng)域數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;

6. 熟悉分布式計(jì)算presto/imapa優(yōu)先;

7.有實(shí)時(shí)計(jì)算方面的經(jīng)驗(yàn)的優(yōu)先。

數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)16篇

職位描述:職位描述:1.基于hadoo生態(tài)系統(tǒng)進(jìn)行大數(shù)據(jù)平臺(tái)建設(shè);2.負(fù)責(zé)各業(yè)務(wù)條線相關(guān)指標(biāo)數(shù)據(jù)的數(shù)據(jù)建模3.負(fù)責(zé)基于sqoo,hive、sark、sarksql、mysql進(jìn)行大數(shù)據(jù)開(kāi)發(fā)4.負(fù)責(zé)離線運(yùn)算、實(shí)時(shí)計(jì)算平臺(tái)項(xiàng)目的設(shè)計(jì)、開(kāi)發(fā)及運(yùn)維5.負(fù)責(zé)對(duì)數(shù)據(jù)平臺(tái)進(jìn)行性能調(diào)…
推薦度:
點(diǎn)擊下載文檔文檔為doc格式

相關(guān)數(shù)據(jù)開(kāi)發(fā)信息

  • 數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)16篇
  • 數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)16篇68人關(guān)注

    職位描述:職位描述:1.基于hadoo生態(tài)系統(tǒng)進(jìn)行大數(shù)據(jù)平臺(tái)建設(shè);2.負(fù)責(zé)各業(yè)務(wù)條線相關(guān)指標(biāo)數(shù)據(jù)的數(shù)據(jù)建模3.負(fù)責(zé)基于sqoo,hive、sark、sarksql、mysql進(jìn)行大數(shù)據(jù)開(kāi)發(fā)4.負(fù) ...[更多]

  • 大數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)16篇
  • 大數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)16篇62人關(guān)注

    職位描述:崗位職責(zé):(1)根據(jù)業(yè)務(wù)進(jìn)行數(shù)據(jù)需求的調(diào)研、設(shè)計(jì)、開(kāi)發(fā)及驗(yàn)證工作,并持續(xù)進(jìn)行數(shù)據(jù)業(yè)務(wù)的優(yōu)化;(2)負(fù)責(zé)大數(shù)據(jù)整體設(shè)計(jì)和開(kāi)發(fā)工作,包括數(shù)據(jù)接入、清洗、計(jì)算、校驗(yàn)等 ...[更多]

工程崗位職責(zé)熱門信息