大數(shù)據(jù)平臺(tái)工程師崗位職責(zé)8篇

第1篇 大數(shù)據(jù)平臺(tái)高級(jí)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、負(fù)責(zé)公司級(jí)的通用數(shù)據(jù)平臺(tái)和分析型產(chǎn)品，服務(wù)于今日頭條全公司的數(shù)十個(gè)用戶產(chǎn)品線；

2、面向pb級(jí)超大規(guī)模數(shù)據(jù)問(wèn)題，每天處理千億增量的用戶行為數(shù)據(jù)；

3、為大數(shù)據(jù)的全生命周期提供服務(wù)，覆蓋數(shù)據(jù)產(chǎn)生，傳輸，建模，統(tǒng)計(jì)分析，實(shí)驗(yàn)評(píng)估，可視化的全流程；

4、構(gòu)建設(shè)計(jì)良好的數(shù)據(jù)流、數(shù)據(jù)倉(cāng)庫(kù)、調(diào)度系統(tǒng)、查詢引擎，數(shù)據(jù)服務(wù)、分析系統(tǒng)、流程規(guī)范，數(shù)據(jù)工具/產(chǎn)品，降低數(shù)據(jù)的使用門(mén)檻，保證系統(tǒng)穩(wěn)定高效運(yùn)行，以實(shí)現(xiàn)數(shù)據(jù)的最大價(jià)值。

任職要求：

1、熟悉多項(xiàng)大數(shù)據(jù)處理/分析相關(guān)的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、強(qiáng)悍的編碼能力，生產(chǎn)環(huán)境快速 trouble-shooting能力，對(duì)新技術(shù)有強(qiáng)烈的學(xué)習(xí)熱情；

3、優(yōu)秀的理解溝通能力，能快速理解業(yè)務(wù)背景，對(duì)數(shù)據(jù)敏感，崇尚數(shù)據(jù)說(shuō)話，深信數(shù)據(jù)在驅(qū)動(dòng)業(yè)務(wù)、支撐決策上的價(jià)值，有web應(yīng)用開(kāi)發(fā)能力者優(yōu)先。

第2篇 大數(shù)據(jù)平臺(tái)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1、參與公司數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)，負(fù)責(zé)大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)相關(guān)建設(shè)；2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線，負(fù)責(zé)基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫(kù)的大規(guī)模數(shù)據(jù)平臺(tái)的研發(fā)及數(shù)據(jù)倉(cāng)庫(kù)建設(shè)，提供可靠的數(shù)據(jù)存儲(chǔ)和訪問(wèn)能力；3、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)的搭建、開(kāi)發(fā)、管理、監(jiān)控和性能調(diào)優(yōu)，保證集群高效穩(wěn)定運(yùn)行；4、規(guī)劃與開(kāi)發(fā)離線數(shù)據(jù)平臺(tái)系統(tǒng)，處理海量數(shù)據(jù)，優(yōu)化存儲(chǔ)和計(jì)算架構(gòu)的性能；5、負(fù)責(zé)數(shù)據(jù)平臺(tái)技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評(píng)估，參與開(kāi)發(fā)流程的討論與優(yōu)化；6、參與公司數(shù)據(jù)治理策略等的制訂和實(shí)施；7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)相關(guān)的需求分析、建模、寬表設(shè)計(jì)等工作；

8、負(fù)責(zé)系統(tǒng)核心代碼編寫(xiě)、代碼審核和重構(gòu)，指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化；

任職要求：

1、本科以上學(xué)歷，5年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn)，帶領(lǐng)過(guò)10人以上的大數(shù)據(jù)團(tuán)隊(duì)； 2、有大型分布式系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)，負(fù)責(zé)過(guò)海量數(shù)據(jù)平臺(tái)上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計(jì)；3、熟悉大數(shù)據(jù)開(kāi)發(fā)框架，熟悉hadoop，hbase，spark等及業(yè)界主流流處理平臺(tái)如，如storm，flunk，sparkstreaming等之一；4、熟悉greenplum等數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，并有廣泛的實(shí)踐經(jīng)驗(yàn)，具備維護(hù)和解決生產(chǎn)問(wèn)題的能力；5、熟悉掌握分布式存儲(chǔ)和nosql數(shù)據(jù)庫(kù)技術(shù)（如monogodb、redis等），有實(shí)際生產(chǎn)項(xiàng)目應(yīng)用經(jīng)驗(yàn)；6、熟練掌握java，python，scalar中的至少一種編程語(yǔ)言，掌握常見(jiàn)的數(shù)據(jù)結(jié)構(gòu)，算法，了解軟件工程、敏捷開(kāi)發(fā)等知識(shí)，熟悉常用設(shè)計(jì)模式; 7、理解soa，微服務(wù)，中間件等paas相關(guān)的關(guān)鍵理念與技術(shù)，并對(duì)其有廣泛的實(shí)踐與應(yīng)用經(jīng)驗(yàn)，樂(lè)于。8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計(jì)和從業(yè)經(jīng)驗(yàn)者優(yōu)先。

第3篇 微信支付大數(shù)據(jù)平臺(tái)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

崗位特色：

基于海量的微信支付用戶、商戶、交易和行為數(shù)據(jù)，使用業(yè)界開(kāi)源的主流技術(shù)棧以及我們自研的大數(shù)據(jù)技術(shù)相結(jié)合，構(gòu)建金融級(jí)的大數(shù)據(jù)平臺(tái)，提供金融級(jí)數(shù)據(jù)安全保障和質(zhì)量保障，為數(shù)據(jù)開(kāi)發(fā)者提供工業(yè)化的數(shù)據(jù)平臺(tái)服務(wù)，建立元數(shù)據(jù)管理、血緣關(guān)系、計(jì)算任務(wù)和計(jì)算資源的動(dòng)態(tài)管控、全方位的數(shù)據(jù)安全風(fēng)險(xiǎn)控制，為數(shù)據(jù)分析、智慧推薦、金融風(fēng)控等業(yè)務(wù)提供數(shù)據(jù)平臺(tái)支撐；

工作職責(zé)：

負(fù)責(zé)微信支付大數(shù)據(jù)基礎(chǔ)平臺(tái)相關(guān)開(kāi)發(fā)工作；

負(fù)責(zé)大數(shù)據(jù)采集、計(jì)算、分析處理相關(guān)開(kāi)發(fā)工作；

負(fù)責(zé)大數(shù)據(jù)治理相關(guān)開(kāi)發(fā)工作，提供一站式的數(shù)據(jù)平臺(tái)及工具支持。

任職要求：

本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)，3年及以上開(kāi)發(fā)經(jīng)驗(yàn)；

熟悉java、php、shell、python等至少三種開(kāi)發(fā)語(yǔ)言；

有分布式系統(tǒng)、大數(shù)據(jù)服務(wù)、數(shù)據(jù)分析方面的開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先；

熟悉hadoop，spark，storm，flink，kafka、elasticsearch、druid等平臺(tái)和組件，有相關(guān)項(xiàng)目經(jīng)驗(yàn)優(yōu)先；

良好的溝通表達(dá)能力，執(zhí)行力力強(qiáng)，對(duì)待工作認(rèn)真嚴(yán)謹(jǐn)、高度負(fù)責(zé)。

第4篇 大數(shù)據(jù)平臺(tái)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

負(fù)責(zé)spark、hadoop計(jì)算平臺(tái)的設(shè)計(jì)和開(kāi)發(fā)工作，構(gòu)建高效穩(wěn)定的計(jì)算平臺(tái)，為業(yè)務(wù)提供大數(shù)據(jù)分析所需的海量計(jì)算服務(wù)；

負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)、以及機(jī)器學(xué)習(xí)平臺(tái)的建設(shè)。

任職要求：

計(jì)算機(jī)相關(guān)專(zhuān)業(yè)，本科及以上學(xué)歷，2年以上大數(shù)據(jù)平臺(tái)開(kāi)發(fā)、運(yùn)維經(jīng)驗(yàn)；

對(duì)spark、hadoop平臺(tái)計(jì)算原理有深刻理解，能夠閱讀spark、hadoop源碼；對(duì)社區(qū)有源碼貢獻(xiàn)者優(yōu)先；

熟悉spark流計(jì)算框架或其他開(kāi)源實(shí)時(shí)計(jì)算框架；

有elasticsearch集群運(yùn)維、開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先；

有數(shù)據(jù)倉(cāng)庫(kù)建設(shè)經(jīng)驗(yàn)者優(yōu)先；

數(shù)據(jù)大數(shù)據(jù)算法經(jīng)驗(yàn)、機(jī)器學(xué)習(xí)平臺(tái)建設(shè)經(jīng)驗(yàn)者優(yōu)先；

精通java、熟練掌握mapreduce原理及數(shù)據(jù)分析相關(guān)的二次開(kāi)發(fā)；

對(duì)新技術(shù)充滿熱情，具有良好的學(xué)習(xí)能力、團(tuán)隊(duì)協(xié)作能力和溝通能力；

能承受較大的工作壓力。

第5篇 大數(shù)據(jù)平臺(tái)高級(jí)/資深工程師/專(zhuān)家（基礎(chǔ)架構(gòu)方向）職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1、參與小鵬汽車(chē)技術(shù)中臺(tái)的大數(shù)據(jù)云平臺(tái)產(chǎn)品建設(shè)，包括：實(shí)時(shí)計(jì)算處理平臺(tái)、離線計(jì)算處理平臺(tái)、調(diào)用鏈分析監(jiān)控、日志處理平臺(tái)；

2、分析系統(tǒng)瓶頸，處理、協(xié)調(diào)和解決基礎(chǔ)框架中出現(xiàn)的技術(shù)問(wèn)題；

3、大數(shù)據(jù)新技術(shù)研究和應(yīng)用，并推動(dòng)適合技術(shù)應(yīng)用于生產(chǎn)；

任職要求：

1、計(jì)算機(jī)相關(guān)專(zhuān)業(yè)，本科或以上學(xué)歷，五年以上開(kāi)發(fā)工作經(jīng)驗(yàn)，有基礎(chǔ)架構(gòu)開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先；

2、熟練java、python服務(wù)端編程，有良好的編碼習(xí)慣；

3、深入理解mapreduce，熟練使用storm/flink、hadoop、spark，并閱讀部分源碼；

4、熟練使用hadoop、hdfs、hbase、kafka、elasticsearch；

5、具有自然語(yǔ)言處理、信息檢索、機(jī)器學(xué)習(xí)、web挖掘、搜索引擎、推薦引擎等相關(guān)經(jīng)驗(yàn)優(yōu)先；

6、熟悉docker容器及容器化技術(shù)，有kubernetes實(shí)戰(zhàn)經(jīng)驗(yàn)者優(yōu)先；

7、對(duì)新技術(shù)有執(zhí)著追求，熱愛(ài)編程。善于抽象、總結(jié)、思考，能及時(shí)關(guān)注和學(xué)習(xí)業(yè)界最新技術(shù)；

8、有較強(qiáng)的自學(xué)能力和鉆研精神，具有良好的溝通能力和團(tuán)隊(duì)合作能力，綜合能力強(qiáng)。

第6篇 大數(shù)據(jù)平臺(tái)高級(jí)工程師-平臺(tái)產(chǎn)品方向職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、負(fù)責(zé)公司級(jí)的統(tǒng)一數(shù)據(jù)平臺(tái)和分析型產(chǎn)品的研發(fā)，服務(wù)于今日頭條全公司的數(shù)十個(gè)用戶產(chǎn)品線；

2、設(shè)計(jì)和實(shí)現(xiàn)web后端和關(guān)鍵數(shù)據(jù)服務(wù)，用數(shù)據(jù)?量產(chǎn)品并驅(qū)動(dòng)產(chǎn)品演進(jìn)。

任職要求：

1、熟悉互聯(lián)網(wǎng)產(chǎn)品和服務(wù)的開(kāi)發(fā)過(guò)程，熟悉后端技術(shù)架構(gòu)，具備良好的系統(tǒng)設(shè)計(jì)能力；

2、扎實(shí)的計(jì)算機(jī)基礎(chǔ)，對(duì)技術(shù)有熱情，愿意不斷嘗試新技術(shù)和業(yè)務(wù)挑戰(zhàn)；

3、熟悉python和go語(yǔ)言優(yōu)先；

4、有大數(shù)據(jù)集、分布式計(jì)算工具(hadoop，spark，hive，storm)等應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先；

5、有產(chǎn)品sense，兼具pm技能者優(yōu)先。

第7篇 大數(shù)據(jù)平臺(tái)(高級(jí))工程師-實(shí)驗(yàn)評(píng)估方向職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、研發(fā)業(yè)界領(lǐng)先的灰度實(shí)驗(yàn)/abtest系統(tǒng)，面向頭條全公司的所有產(chǎn)品線；

2、建立通用的用戶行為指標(biāo)體系，探索性發(fā)掘新指標(biāo)，研究業(yè)界領(lǐng)先的個(gè)性化評(píng)估方法；

3、從pb級(jí)超大規(guī)模的用戶行為數(shù)據(jù)中挖掘信息，并設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證假設(shè)，為策略/產(chǎn)品改進(jìn)提供支持。

任職要求：

1、熟悉多項(xiàng)大數(shù)據(jù)處理/分析相關(guān)的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、強(qiáng)悍的編碼能力，生產(chǎn)環(huán)境快速 trouble-shooting能力，對(duì)新技術(shù)有強(qiáng)烈的學(xué)習(xí)熱情；

3、優(yōu)秀的理解溝通能力，能快速理解業(yè)務(wù)背景，對(duì)數(shù)據(jù)敏感，崇尚數(shù)據(jù)說(shuō)話，深信數(shù)據(jù)在驅(qū)動(dòng)業(yè)務(wù)、支撐決策上的價(jià)值，有web應(yīng)用開(kāi)發(fā)能力者優(yōu)先。

第8篇 大數(shù)據(jù)平臺(tái)高級(jí)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、負(fù)責(zé)大數(shù)據(jù)開(kāi)源組件的調(diào)研

2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)自研平臺(tái)系統(tǒng)及功能模塊設(shè)計(jì)與開(kāi)發(fā)

3、配合架構(gòu)師及測(cè)試按時(shí)完成開(kāi)發(fā)，保證產(chǎn)品正常發(fā)布與迭代

任職要求：

1、本科以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)

2、2年以上大數(shù)據(jù)平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)

3、精通java，熟悉linu_系統(tǒng)，深入理解并使用主流技術(shù)框架，如springboot、mybatis、mq、redis、zk、spring cloud等技術(shù)棧，具備豐富的分布式系統(tǒng)的研發(fā)經(jīng)驗(yàn)

4、熟悉hadoop生態(tài)圈其他系統(tǒng)，包括hive，pig，hbase，spark，kafka，oozie，sqoop，flume，zookeeper， strom，flink，并了解其原理

5、熟練掌握各類(lèi)數(shù)據(jù)結(jié)構(gòu)與算法，具有較強(qiáng)的編碼能力

6、具有良好的團(tuán)隊(duì)合作精神和表達(dá)溝通能力

7、有數(shù)據(jù)中臺(tái)，數(shù)據(jù)服務(wù)平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)，熟悉hadoop生態(tài)圈組件者優(yōu)先