大數(shù)據(jù)架構(gòu)師工作的職責(zé)
大數(shù)據(jù)架構(gòu)師工作的職責(zé)1
職責(zé)
1、負(fù)責(zé)大數(shù)據(jù)架構(gòu)設(shè)計,包括定義數(shù)據(jù)的存儲、集成(ETL)、應(yīng)用,支撐業(yè)務(wù)運營和數(shù)據(jù)分析類需求實現(xiàn);
2、制定數(shù)據(jù)治理領(lǐng)域的數(shù)據(jù)體系化管理措施,包括元數(shù)據(jù)設(shè)計、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)處理、數(shù)據(jù)安全等工作,確保數(shù)據(jù)可信與安全;
3、基于行業(yè)數(shù)據(jù)積累,滿足業(yè)務(wù)的數(shù)據(jù)挖掘需求,實現(xiàn)從數(shù)據(jù)到資產(chǎn)的轉(zhuǎn)變,根據(jù)目標(biāo)行業(yè)建立具有前瞻性的數(shù)據(jù)模型;
4、對各產(chǎn)品的數(shù)據(jù)安全負(fù)責(zé),主導(dǎo)制定和實施數(shù)據(jù)庫系統(tǒng)安全策略,保證整體方案數(shù)據(jù)安全;
崗位要求
業(yè)務(wù)技能要求:
1、深入理解云化、數(shù)據(jù)倉庫,在參與過的系統(tǒng)設(shè)計中,必須涉及這兩項關(guān)鍵技術(shù);
n2、精通或者熟悉Hadoop體系架構(gòu),以及HDFS/HBase/Hive/MapReduce/Spark等技術(shù),了解體系架構(gòu)各組件的優(yōu)缺點,有直接的產(chǎn)品設(shè)計與開發(fā)、部署、調(diào)優(yōu)的經(jīng)驗;
3、精通或熟悉常見RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及開發(fā),了解各數(shù)據(jù)庫優(yōu)缺點,熟悉與架構(gòu)設(shè)計相關(guān)的數(shù)據(jù)存儲、性能調(diào)優(yōu)等相關(guān)領(lǐng)域知識,有相關(guān)項目經(jīng)驗尤佳;
4、熟悉業(yè)界常用的數(shù)據(jù)采集、集成、數(shù)據(jù)存儲、計算、數(shù)據(jù)模型、數(shù)據(jù)分析的技術(shù)方案,具有數(shù)據(jù)分析或數(shù)據(jù)挖掘相關(guān)經(jīng)驗者優(yōu)先;
n5、熟悉數(shù)據(jù)治理相關(guān)流程,包括數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)治理、數(shù)據(jù)組織、數(shù)據(jù)服務(wù)等。
專業(yè)知識要求:
1、具備數(shù)據(jù)治理的知識與體系方案,包含政策、組織、角色、流程、規(guī)范等,以及規(guī)劃相應(yīng)的支撐方案。了解業(yè)界的數(shù)據(jù)管理方法論;
2、具備數(shù)據(jù)用例設(shè)計和開發(fā)能力。能夠基于業(yè)務(wù)相關(guān)數(shù)據(jù)進(jìn)行業(yè)務(wù)需求分析和痛點識別,將業(yè)務(wù)需求轉(zhuǎn)化為數(shù)據(jù)的需求,完成數(shù)據(jù)用例的設(shè)計和開發(fā);
3、精通海量數(shù)據(jù)(日增量百億)級別數(shù)據(jù)倉庫、數(shù)據(jù)集市的構(gòu)建流程。熟悉公安、政務(wù)、工業(yè)、交通、醫(yī)療等多行業(yè)業(yè)務(wù)者優(yōu)先。
大數(shù)據(jù)架構(gòu)師工作的職責(zé)2
職責(zé):
1、負(fù)責(zé)設(shè)計企業(yè)級大數(shù)據(jù)平臺的整體架構(gòu),從技術(shù)層面制定清晰的大數(shù)據(jù)產(chǎn)品與系統(tǒng)技術(shù)架構(gòu),并負(fù)責(zé)實現(xiàn)關(guān)鍵技術(shù)和產(chǎn)品。
2、負(fù)責(zé)設(shè)計具有創(chuàng)新價值的大數(shù)據(jù)底層平臺、大數(shù)據(jù)上層應(yīng)用系統(tǒng)等,帶領(lǐng)團(tuán)隊完成有質(zhì)變的技術(shù)解決方案。
3、負(fù)責(zé)組織同事研究行內(nèi)最前沿的技術(shù)發(fā)展方向,突破現(xiàn)有的技術(shù)難題。
4、負(fù)責(zé)研究院對外項目合作協(xié)調(diào)與支持,編寫項目建設(shè)方案及后期項目建設(shè)支持。
任職要求:
1、碩士及以上學(xué)歷,計算機相關(guān)專業(yè)。
2、 JAVA基礎(chǔ)扎實,不少于8年的一線開發(fā)經(jīng)驗,精通Spring boot/MyBatis/Restful API的開發(fā)與管理、熟悉ReactJS/Angular/Vue之一前端開發(fā)技術(shù),熟悉Maven或Ant、,熟悉Python語言開發(fā)加分。
3、不少于4年大數(shù)據(jù)的直接研發(fā)經(jīng)驗,精通Hadoop/Spark系統(tǒng),有hands—on的架構(gòu)設(shè)計、性能調(diào)優(yōu)、開發(fā)經(jīng)驗。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive等系統(tǒng)的開發(fā)經(jīng)驗。
4、掌握分布式系統(tǒng)原理,對分布式存儲、流式計算、消息隊列中的一項或多項有深入的理解和認(rèn)識。
5、熟悉分布式系統(tǒng)的監(jiān)控、運維、故障恢復(fù),高可用原理和設(shè)計理念。
6、算法基礎(chǔ)扎實,熟悉常見的數(shù)據(jù)結(jié)構(gòu),掌握大規(guī)模高并發(fā)訪問、大數(shù)據(jù)開發(fā)等處理經(jīng)驗;熟練的Linux系統(tǒng),網(wǎng)絡(luò),內(nèi)存和存儲等方面知識。
7、必須要有千萬級別的項目管理經(jīng)驗,包括但不限于前期需求溝通,建設(shè)方案編寫,中期項目實施,進(jìn)度匯報,后期項目維護(hù)。
大數(shù)據(jù)架構(gòu)師工作的職責(zé)3
職責(zé)
1、負(fù)責(zé)公司大數(shù)據(jù)平臺的整體架構(gòu)設(shè)計,包含數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)挖掘、數(shù)據(jù)輸出;
2、負(fù)責(zé)規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應(yīng)用的整體流程,并參與用戶產(chǎn)品和數(shù)據(jù)產(chǎn)品的決策;
3、負(fù)責(zé)海量數(shù)據(jù)分析、用戶行為分析,構(gòu)建用戶數(shù)據(jù)模型;
4、負(fù)責(zé)解決核心技術(shù)問題,對技術(shù)方案進(jìn)行決策;
5、技術(shù)團(tuán)隊管理。
6、熟悉手機IOS、安卓系統(tǒng)APP開發(fā)
任職資格
1、計算機相關(guān)專業(yè)畢業(yè),本科以上學(xué)歷;
2、5年以上相關(guān)工作經(jīng)驗,具備軟件產(chǎn)品架構(gòu)設(shè)計經(jīng)驗,熟練掌握高性能、高擴展性架構(gòu)設(shè)計方法;
3、熟練掌握java或c++任意一門語言、熟悉linux操作系統(tǒng);
4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大數(shù)據(jù)技術(shù),并能夠基于上述項目開發(fā)大數(shù)據(jù)相關(guān)應(yīng)用;
5、熟悉基本數(shù)據(jù)挖掘方法和技術(shù);
6、強烈的敬業(yè)精神,良好的溝通與協(xié)調(diào)能力,能有效組織協(xié)調(diào)團(tuán)隊完成各類開發(fā)工作;
7、熱愛技術(shù),相信數(shù)據(jù)的價值,對大數(shù)據(jù)有深刻的理解。
大數(shù)據(jù)架構(gòu)師工作的職責(zé)4
職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)平臺、海量數(shù)據(jù)存儲/處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構(gòu)設(shè)計和研發(fā);
2、負(fù)責(zé)實時計算平臺基礎(chǔ)架構(gòu)設(shè)計、部署、監(jiān)控、優(yōu)化升級;
3、制定項目/數(shù)據(jù)倉庫設(shè)計及實現(xiàn)規(guī)范,指導(dǎo)設(shè)計研發(fā)和部署;
4、協(xié)助策略和算法團(tuán)隊工作,保障數(shù)據(jù)挖掘建模和工程化;
5、深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進(jìn)業(yè)界先進(jìn)技術(shù)。
任職要求:
1、全日制本科及以上學(xué)歷,5年以上軟件和分布式系統(tǒng)研發(fā)經(jīng)驗,3年以上大數(shù)據(jù)系統(tǒng)架構(gòu)經(jīng)驗;
2、精通Hadoop/HBase/Spark/Storm/Redis技術(shù)及其生態(tài)圈;
3、具備Java/C++/Scala等開發(fā)經(jīng)驗,熟悉數(shù)據(jù)挖掘和分析的策略與算法;
4、具備良好的系統(tǒng)分析能力、故障診斷能力;
5、有大數(shù)據(jù)策略、算法、可視化經(jīng)驗優(yōu)先;
6、211/985重點學(xué)校畢業(yè)優(yōu)先。
大數(shù)據(jù)架構(gòu)師工作的職責(zé)5
職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺的技術(shù)選型,基于Spark、Hadoop大數(shù)據(jù)平臺建設(shè)和開發(fā);
2、完成包括數(shù)據(jù)模型設(shè)計、數(shù)據(jù)采集、數(shù)據(jù)存儲等方面的大數(shù)據(jù)系統(tǒng)架構(gòu)的設(shè)計和數(shù)據(jù)層架構(gòu)設(shè)計;
3、構(gòu)建數(shù)據(jù)中臺,為多種行業(yè)應(yīng)用提供主數(shù)據(jù)(畫像標(biāo)簽/關(guān)系圖譜)、數(shù)據(jù)模型、人工智能業(yè)務(wù)算法及數(shù)據(jù)服務(wù)。
4、對海量數(shù)據(jù)處理的業(yè)務(wù)需求進(jìn)行評估和方案設(shè)計、拆分任務(wù)并指導(dǎo)工程師完成開發(fā);
5、帶領(lǐng)大數(shù)據(jù)技術(shù)團(tuán)隊提供并實現(xiàn)大數(shù)據(jù)平臺上各項數(shù)據(jù)分析和數(shù)據(jù)可視化的架構(gòu)設(shè)計,支撐解決方案實施。
任職要求:
1、本科及以上學(xué)歷,具有5年及以上大數(shù)據(jù)架構(gòu)設(shè)計和開發(fā)經(jīng)驗;2年及以上帶領(lǐng)團(tuán)隊經(jīng)驗;溝通能力強。在大型互聯(lián)網(wǎng)企業(yè)從事大數(shù)據(jù)架構(gòu)設(shè)計者優(yōu)先考慮;有分布式大型商業(yè)軟件系統(tǒng)設(shè)計經(jīng)驗、主導(dǎo)過大型商業(yè)軟件的架構(gòu)設(shè)計并取得過市場商業(yè)成功者優(yōu)先考慮;
2、熟悉整個大數(shù)據(jù)的完整處理流程,包括數(shù)據(jù)的采集、清洗、預(yù)處理、存儲、分析挖據(jù)、機器學(xué)習(xí)和數(shù)據(jù)可視化;
3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流數(shù)據(jù)庫的使用,并能進(jìn)行性能調(diào)優(yōu);
4、具備優(yōu)秀的團(tuán)隊意識和溝通能力,學(xué)習(xí)能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰(zhàn)。
大數(shù)據(jù)架構(gòu)師工作的職責(zé)6
職責(zé):
1、負(fù)責(zé)企業(yè)數(shù)據(jù)中心建設(shè),設(shè)計數(shù)據(jù)邏輯模型和物理模型,并完成相關(guān)開發(fā)
2、梳理公司各業(yè)務(wù)線常用的指標(biāo)和維度,統(tǒng)一指標(biāo)定義口徑
3、根據(jù)數(shù)據(jù)應(yīng)用開發(fā)和數(shù)據(jù)分析需求,設(shè)計數(shù)據(jù)倉庫信息層模型,提高數(shù)據(jù)開發(fā)的效率
4、負(fù)責(zé)數(shù)據(jù)模型的運營和優(yōu)化,及時響應(yīng)業(yè)務(wù)邏輯變更,保證模型的數(shù)據(jù)質(zhì)量和穩(wěn)定性
5、負(fù)責(zé)公司數(shù)據(jù)標(biāo)簽體系的建設(shè),并推動標(biāo)簽體系在實際業(yè)務(wù)場景中落地
崗位要求:
1、5年以上DW/BI數(shù)據(jù)架構(gòu)設(shè)計、模型設(shè)計和性能調(diào)優(yōu)等相關(guān)經(jīng)驗
2、有較強的數(shù)據(jù)分析能力,精通數(shù)據(jù)倉庫架構(gòu),熟悉Erwin或PowerDesigner建模工具
3、精通一種主流關(guān)系數(shù)據(jù)庫(如mysql等),熟悉Hive開發(fā)
4、有電商業(yè)務(wù)經(jīng)驗,元數(shù)據(jù)管理,數(shù)據(jù)質(zhì)量管理或標(biāo)簽體系搭建經(jīng)驗者優(yōu)先
5、優(yōu)秀的協(xié)調(diào)溝通與團(tuán)隊協(xié)作能力,極強的責(zé)任心,能承受一定的工作壓力,認(rèn)同企業(yè)文化和團(tuán)隊價值
大數(shù)據(jù)架構(gòu)師工作的職責(zé)7
職責(zé):
1、負(fù)責(zé)公司大數(shù)據(jù)產(chǎn)品的架構(gòu)設(shè)計,包含數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)應(yīng)用,并完成相關(guān)架構(gòu)設(shè)計文檔的撰寫;
2、參與規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應(yīng)用的整體流程,并參與相關(guān)產(chǎn)品的決策;
3、負(fù)責(zé)解決核心技術(shù)問題,對技術(shù)方案進(jìn)行決策;
4、負(fù)責(zé)大數(shù)據(jù)研發(fā)團(tuán)隊建設(shè)、人才梯隊培養(yǎng)和技術(shù)團(tuán)隊管理;
5、積極了解業(yè)界發(fā)展,研究與跟蹤大數(shù)據(jù)新技術(shù)發(fā)展方向。
任職要求:
1、精通GoldenGate For BigData相關(guān)理論,具備大型數(shù)據(jù)利用的生產(chǎn)實戰(zhàn)經(jīng)驗;
2、精通數(shù)據(jù)驅(qū)動的理論,設(shè)計并生產(chǎn)上線相關(guān)數(shù)據(jù)驅(qū)動的.產(chǎn)品;
3、精通常用消息中間件的使用,例如kafka/RocketMQ/Apache Pulsar,有解讀相關(guān)源碼者優(yōu)先;
4、掌握hadoop、spark生態(tài)體系相關(guān)產(chǎn)品的使用,掌握MapReduce編程或Spark編程;
5、了解傳統(tǒng)數(shù)據(jù)倉庫理論及相關(guān)ETL工具,例如kettle/datastage;
6、熟悉Oracle、Mongodb、Mysql數(shù)據(jù)庫的使用;
7、扎實的Java語言基礎(chǔ),熟悉Java開發(fā)工具和調(diào)試工具的使用;
8、良好的團(tuán)隊協(xié)作精神,有能力對團(tuán)隊在軟件設(shè)計、實現(xiàn)和測試方面進(jìn)行指導(dǎo);
9、良好的邏輯分析能力和溝通能力,執(zhí)行力強、對待工作認(rèn)真嚴(yán)謹(jǐn)、責(zé)任心強、具備出色的學(xué)習(xí)能力和團(tuán)隊合作精神,有一定的推動能力;
10、計算機科學(xué)、信息技術(shù)或相關(guān)領(lǐng)域本科以上學(xué)歷,具有5年以上數(shù)據(jù)平臺項目開發(fā)經(jīng)驗,3年以上的架構(gòu)設(shè)計經(jīng)驗,具有大數(shù)據(jù)平臺應(yīng)用大型項目架構(gòu)設(shè)計經(jīng)驗優(yōu)先;
大數(shù)據(jù)架構(gòu)師工作的職責(zé)8
職責(zé):
1、負(fù)責(zé)公司新業(yè)務(wù)方向平臺大數(shù)據(jù)基礎(chǔ)架構(gòu)的搭建及后期數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率。為公司未來方向性產(chǎn)品提供大數(shù)據(jù)底層平臺的支持和保證。
2、負(fù)責(zé)制定大數(shù)據(jù)平臺調(diào)用約束和規(guī)范;
3、負(fù)責(zé)大數(shù)據(jù)方向技術(shù)難題的解決,以及代碼質(zhì)量的把控;
4、作為大數(shù)據(jù)開發(fā)團(tuán)隊的leader,負(fù)責(zé)大數(shù)據(jù)系統(tǒng)平臺開發(fā)團(tuán)隊建設(shè)與人才梯隊培養(yǎng),分享技術(shù)經(jīng)驗,撰寫相關(guān)技術(shù)文檔指導(dǎo)和培訓(xùn)工程師。
任職要求:
1、熱衷于大數(shù)據(jù)技術(shù),并能平衡大數(shù)據(jù)性能、穩(wěn)定性、擴展性多重要素進(jìn)行設(shè)計和優(yōu)化;
2、熟悉服務(wù)器基本知識,能夠評估系統(tǒng)硬件性能瓶頸;
3、掌握Linux操作系統(tǒng)的配置,管理及優(yōu)化,能夠獨立排查及解決操作系統(tǒng)層的各類問題,并能提供解決問題的理論依據(jù);
4、精通Java服務(wù)器編程,熟悉JVM原理,對數(shù)據(jù)結(jié)構(gòu)和算法設(shè)計有較為深刻的理解;
5、精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底層架構(gòu),熟悉原理、源碼、集群部署,包括參數(shù)優(yōu)化、Bug修復(fù),貢獻(xiàn)過代碼或提交過bug者優(yōu)先
6、具備數(shù)據(jù)中心資源管理、監(jiān)控、調(diào)度等系統(tǒng)研發(fā)經(jīng)驗者優(yōu)先,具備分布式系統(tǒng)研發(fā)經(jīng)驗者優(yōu)先;
7、具有應(yīng)用大數(shù)據(jù)技術(shù)處理的項目開發(fā)、維護(hù)超過兩年的經(jīng)驗者優(yōu)先;
8、具有良好的文檔編寫能力,可進(jìn)行方案設(shè)計、架構(gòu)設(shè)計。
大數(shù)據(jù)架構(gòu)師工作的職責(zé)9
職責(zé):
負(fù)責(zé)公司大數(shù)據(jù)產(chǎn)品架構(gòu)的設(shè)計與實現(xiàn);
配合大數(shù)據(jù)產(chǎn)品經(jīng)理完成產(chǎn)品的快速研發(fā)與交付;
負(fù)責(zé)大數(shù)據(jù)產(chǎn)品架構(gòu)的持續(xù)優(yōu)化設(shè)計;
負(fù)責(zé)大數(shù)據(jù)產(chǎn)品核心組件設(shè)計;
負(fù)責(zé)大數(shù)據(jù)相關(guān)數(shù)據(jù)架構(gòu)規(guī)劃、數(shù)據(jù)建模、數(shù)據(jù)庫設(shè)計以及大數(shù)據(jù)產(chǎn)品研發(fā)工作;
為應(yīng)用開發(fā)團(tuán)隊提供技術(shù)支撐。
及時向上級反饋工作進(jìn)度、遇到的問題或者對現(xiàn)有工作的建議等;
完成上級領(lǐng)導(dǎo)交辦的其它各項工作。
任職資格:
985/211本科及以上學(xué)歷,3年以上的大數(shù)據(jù)開發(fā)經(jīng)驗、
2年以上大數(shù)據(jù)架構(gòu)設(shè)計經(jīng)驗;
豐富的JAVA研發(fā)經(jīng)驗,精通JAVA,熟悉Python Scala等編程語言;具備深厚的分布式系統(tǒng)或數(shù)據(jù)庫系統(tǒng)的理論基礎(chǔ),熟悉分布式計算系統(tǒng)的工作機制,具有分布式文件系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)、集群存儲系統(tǒng)等架構(gòu)設(shè)計經(jīng)驗;
熟悉整個大數(shù)據(jù)的完整處理流程(數(shù)據(jù)的采集、清洗、預(yù)處理、存儲、分析挖掘、機器學(xué)習(xí)和數(shù)據(jù)可視化);
精通各種大數(shù)據(jù)相關(guān)技術(shù)體系:Hadoop、Spark、Storm、ElasticSearch、Kafka;
有數(shù)據(jù)挖掘、機器學(xué)習(xí)相關(guān)應(yīng)用或研究背景;
溝通能力較好,積極主動意識較強,責(zé)任心較強。
具備優(yōu)秀的邏輯思維能力,對解決挑戰(zhàn)性問題充滿熱情,善于解決問題和分析問題;
良好的團(tuán)隊合作精神,較強的溝通能力和學(xué)習(xí)能力;
大數(shù)據(jù)架構(gòu)師工作的職責(zé)10
職責(zé):
1、對業(yè)務(wù)需求深入分析,從而進(jìn)行大數(shù)據(jù)平臺核心應(yīng)用的架構(gòu)設(shè)計、開發(fā)和技術(shù)支持;
2、規(guī)劃業(yè)務(wù)應(yīng)用系統(tǒng)和基礎(chǔ)平臺的技術(shù)架構(gòu),參與需求分析、建模、架構(gòu)設(shè)計、技術(shù)決策以及詳細(xì)設(shè)計;
3、把握復(fù)雜系統(tǒng)的設(shè)計,確保系統(tǒng)的架構(gòu)質(zhì)量,編寫核心部分代碼;
4、帶領(lǐng)團(tuán)隊攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術(shù)難關(guān);
5、在大數(shù)據(jù)平臺建設(shè)路線圖指導(dǎo)下,進(jìn)行架構(gòu)實施和交付物投遞,同時確保研發(fā)質(zhì)量和方向的準(zhǔn)確性;
6、進(jìn)行團(tuán)隊技術(shù)的培訓(xùn)和梯隊建設(shè)崗位要求;
任職條件:
1、本科或以上學(xué)歷,計算機相關(guān)專業(yè),8年以上研發(fā)經(jīng)驗,3年以上大數(shù)據(jù)平臺相關(guān)工作經(jīng)驗;
2、精通Java開發(fā)技術(shù),熟悉Shell、Scala語言和PYTHON優(yōu)先;
3、編程基礎(chǔ)扎實,熟悉I/O、多線程、集群等基礎(chǔ)框架和原理,熟悉分布式、緩存、消息等機制;
4、熟悉常用設(shè)計模式,代碼評審規(guī)則,單元測試,持續(xù)集成;
5、熟悉AWS云服務(wù)或阿里云服務(wù);
6、熟悉容器技術(shù)原理、生態(tài)系統(tǒng),熟悉Docker、Mesos、Kubernetes等容器系統(tǒng)、大規(guī)模容器資源調(diào)度系統(tǒng)、分布式應(yīng)用生命周期。
大數(shù)據(jù)架構(gòu)師工作的職責(zé)11
職責(zé):
1、正確理解業(yè)務(wù)需求,對需求進(jìn)行工作量評估;
2、參與項目相關(guān)的需求、設(shè)計、投產(chǎn)手冊等文檔的編寫;
3、根據(jù)進(jìn)度計劃,完成所承擔(dān)功能模塊的設(shè)計、開發(fā)、單元測試、聯(lián)調(diào)測試;
4、配合測試組修復(fù)代碼缺陷,確保功能實現(xiàn)與代碼質(zhì)量;
5、負(fù)責(zé)所承擔(dān)功能模塊投產(chǎn)、部署,及上線后的日常維護(hù);
6、完成項目經(jīng)理或者架構(gòu)師安排的其他工作;
任職資格:
1、本科以上學(xué)歷,計算機相關(guān)專業(yè),兩年以上大數(shù)據(jù)開發(fā)經(jīng)驗;
2、熟悉Linux環(huán)境,掌握shell或python;
3、熟練使用hadoop,hive,HBase,YARN,kafka,spark等大數(shù)據(jù)開發(fā)組件;
4、精通ETL,數(shù)據(jù)倉庫的設(shè)計和開發(fā);
5、有大數(shù)據(jù)處理實戰(zhàn)經(jīng)驗,熟悉整個大數(shù)據(jù)的完整處理流程,包括數(shù)據(jù)的采集、清洗、存儲;
6、較強的動手能力和學(xué)習(xí)能力,良好的溝通能力、團(tuán)隊協(xié)調(diào)能力;
7、具有銀行、金融行業(yè)從業(yè)背景者優(yōu)先。
大數(shù)據(jù)架構(gòu)師工作的職責(zé)12
職責(zé):
1、大數(shù)據(jù)平臺架構(gòu)規(guī)劃與設(shè)計;
2、負(fù)責(zé)大數(shù)據(jù)平臺技術(shù)框架的選型與技術(shù)難點攻關(guān);
3、能夠獨立進(jìn)行行業(yè)大數(shù)據(jù)應(yīng)用的整體技術(shù)框架、業(yè)務(wù)框架和系統(tǒng)架構(gòu)設(shè)計和調(diào)優(yōu)等工作,根據(jù)系統(tǒng)的業(yè)務(wù)需求,能夠指導(dǎo)開發(fā)團(tuán)隊完成實施工作;
4、負(fù)責(zé)數(shù)據(jù)基礎(chǔ)架構(gòu)和數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率,為相關(guān)的業(yè)務(wù)提供大數(shù)據(jù)底層平臺的支持和保證;
5、培養(yǎng)和建立大數(shù)據(jù)團(tuán)隊,對團(tuán)隊進(jìn)行技術(shù)指導(dǎo)。
任職要求:
1、計算機相關(guān)專業(yè)的背景專業(yè)一類院校畢業(yè)本科、碩士學(xué)位,8年(碩士5年)以上工作經(jīng)驗(至少擁有3年以上大數(shù)據(jù)項目或產(chǎn)品架構(gòu)經(jīng)驗);
2、精通Java,J2EE相關(guān)技術(shù),精通常見開源框架的架構(gòu),精通關(guān)系數(shù)據(jù)庫系統(tǒng)(Oracle MySQL等)和noSQL數(shù)據(jù)存儲系統(tǒng)的原理和架構(gòu);
3、精通SQL和Mapreduce、Spark處理方法;
4、精通大數(shù)據(jù)系統(tǒng)架構(gòu),熟悉業(yè)界數(shù)據(jù)倉庫建模方法及新的建模方法的發(fā)展,有DW,BI架構(gòu)體系的專項建設(shè)經(jīng)驗;
5、對大數(shù)據(jù)體系有深入認(rèn)識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數(shù)據(jù)技術(shù),并能設(shè)計相關(guān)數(shù)據(jù)模型;
6、很強的學(xué)習(xí)、分析和解決問題能力,可以迅速掌握業(yè)務(wù)邏輯并轉(zhuǎn)化為技術(shù)方案,能獨立撰寫項目解決方案、項目技術(shù)文檔;
7、具有較強的內(nèi)外溝通能力,良好的團(tuán)隊意識和協(xié)作精神;
8、機器學(xué)習(xí)技術(shù)、數(shù)據(jù)挖掘、人工智能經(jīng)驗豐富者優(yōu)先考慮;
9、具有能源電力行業(yè)工作經(jīng)驗者優(yōu)先。
大數(shù)據(jù)架構(gòu)師工作的職責(zé)13
職責(zé):
1、負(fù)責(zé)公司大數(shù)據(jù)底層框架的整體架構(gòu)設(shè)計,結(jié)合公司實際業(yè)務(wù)情況進(jìn)行技術(shù)選型及大數(shù)據(jù)戰(zhàn)略規(guī)劃;
2、負(fù)責(zé)公司項目的整體評估、設(shè)計、架構(gòu)及關(guān)鍵模塊的開發(fā);
3、負(fù)責(zé)架構(gòu)優(yōu)化,協(xié)助團(tuán)隊解決開發(fā)過程中遇到的技術(shù)難題;
4、負(fù)責(zé)新技術(shù)的調(diào)研和大數(shù)據(jù)相關(guān)開源組件的研究,并能在團(tuán)隊進(jìn)行推廣應(yīng)用;
5、參與數(shù)據(jù)分析、數(shù)據(jù)建模、項目核心模塊及核心框架的開發(fā);
6、負(fù)責(zé)大數(shù)據(jù)平臺的性能條有和問題診斷。
任職要求:
1、計算機相關(guān)專業(yè),本科及以上學(xué)歷,3—5年以上工作經(jīng)驗,2—3年大數(shù)據(jù)相關(guān)經(jīng)驗;
2、具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫理論功底,負(fù)責(zé)過大數(shù)據(jù)平臺或數(shù)據(jù)倉庫設(shè)計;
3、對基于Hadoop的大數(shù)據(jù)體系有深入的認(rèn)識,具備相關(guān)產(chǎn)品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)項目應(yīng)用研發(fā)經(jīng)驗,有Hadoop集群搭建和管理經(jīng)驗,度過Hadoop和Spark源碼;
4、熟悉Linux和Python語言,了解Scala原理和底層技術(shù);
5、熟悉分布式系統(tǒng)的架構(gòu)及對其進(jìn)行設(shè)計和優(yōu)化,對海量數(shù)據(jù)的清晰、分析處理及存儲有相關(guān)的實戰(zhàn)經(jīng)驗;
6、算法基礎(chǔ)扎實,熟悉常見的數(shù)據(jù)結(jié)構(gòu),深入理解分布式算法和以上提到的分布式系統(tǒng),
7、必須有一線coding的能力;
8、有統(tǒng)計學(xué)、數(shù)學(xué)知識,海量數(shù)據(jù)處理、分析和挖掘,大型互聯(lián)網(wǎng)公司從業(yè)經(jīng)歷著優(yōu)先。
大數(shù)據(jù)架構(gòu)師工作的職責(zé)14
職責(zé):
。1)負(fù)責(zé)公司大數(shù)據(jù)平臺搭建,相關(guān)的設(shè)計和技術(shù)開發(fā)工作,負(fù)責(zé)大數(shù)據(jù)存儲系統(tǒng)、分布式計算系統(tǒng)、數(shù)據(jù)集成、挖掘算法等的設(shè)計、研發(fā)以及維護(hù)、優(yōu)化工作;
。2)通過數(shù)據(jù)分析技術(shù),挖掘有利于營銷中各業(yè)務(wù)場景的變量或規(guī)則類標(biāo)簽,以提升模型效果,為文旅、教育業(yè)務(wù)提供數(shù)學(xué)模型理論及編程支撐;
。3)對接溝通業(yè)務(wù)系統(tǒng)研發(fā)團(tuán)隊和產(chǎn)品部門,提供數(shù)據(jù)驅(qū)動方面的專業(yè)咨詢方案,并對業(yè)務(wù)的大數(shù)據(jù)應(yīng)用場景提出建設(shè)性意見;
。4)配合部門領(lǐng)導(dǎo)進(jìn)行項目需求分析、設(shè)計開發(fā)工作。
任職要求:
(1)計算機、統(tǒng)計學(xué),數(shù)學(xué)等相關(guān)專業(yè)本科以上學(xué)歷,5年以上大數(shù)據(jù)或文旅、教育數(shù)據(jù)產(chǎn)品設(shè)計開發(fā)經(jīng)驗,高效高質(zhì)量產(chǎn)出需求和技術(shù)文檔;
。2)精通Hadoop,熟悉大數(shù)據(jù)生態(tài)技術(shù),如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等,有大規(guī)模集群架構(gòu)、開發(fā)及運維經(jīng)驗;熟悉HDFS/MapReduce等;
。3)熟悉Java,能夠獨立應(yīng)用python、R、SAS或類似分析工具進(jìn)行數(shù)據(jù)分析;
。4)熟悉大數(shù)據(jù)挖掘、可視化分析,各種BI算法和產(chǎn)品等,在計算廣告、搜索引擎、推薦系統(tǒng)、用戶畫像等有一個或多個算法領(lǐng)域的研發(fā)經(jīng)驗,能夠運用數(shù)據(jù)作為產(chǎn)品解決業(yè)務(wù)方運營及決策問題;
。5)有互聯(lián)網(wǎng)行業(yè)工作經(jīng)驗者優(yōu)先,有海量數(shù)據(jù)的機器學(xué)習(xí)算法實踐經(jīng)驗優(yōu)先;
。6)工作認(rèn)真、負(fù)責(zé),有良好的團(tuán)隊合作精神,良好的分析能力、溝通技巧。
大數(shù)據(jù)架構(gòu)師工作的職責(zé)15
職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)項目平臺架構(gòu)的評估、規(guī)劃和設(shè)計
2、開發(fā)大數(shù)據(jù)平臺的核心模塊代碼,負(fù)責(zé)大數(shù)據(jù)平臺的搭建,完成系統(tǒng)調(diào)試、集成與實施,保證大數(shù)據(jù)產(chǎn)品的上線運行
3、根據(jù)業(yè)務(wù)需求整合優(yōu)化數(shù)據(jù)架構(gòu),保證產(chǎn)品的可靠性、穩(wěn)定性
4、指導(dǎo)開發(fā)人員完成數(shù)據(jù)模型規(guī)劃建設(shè),分析模型構(gòu)建及分析呈現(xiàn)
5、深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進(jìn)業(yè)界先進(jìn)技術(shù);
6、根據(jù)項目要求編寫相關(guān)技術(shù)文檔;
7、負(fù)責(zé)大數(shù)據(jù)平臺的架構(gòu)評審,代碼評審,上線評審;參與數(shù)據(jù)應(yīng)用需求、設(shè)計、審核和評審;
8、負(fù)責(zé)核心模塊研發(fā),負(fù)責(zé)大數(shù)據(jù)平臺的搭建,完成系統(tǒng)調(diào)試、集成與實施;
9、負(fù)責(zé)關(guān)鍵功能的開發(fā),技術(shù)難題的解決,以及輸出代碼的關(guān)鍵把控;
10、負(fù)責(zé)對使用關(guān)鍵技術(shù)的預(yù)研和選型,完成PoC;
11、指導(dǎo)工程師完成開發(fā)工作,并能分享技術(shù)經(jīng)驗。
任職資格:
1、精通Linux操作系統(tǒng),熟練使用Java;
2、3年以上大數(shù)據(jù)項目實戰(zhàn)經(jīng)驗,兩個項目的架構(gòu)設(shè)計經(jīng)驗,熟悉Hadoop、Hbase、Storm、Spark、Pig等開源框架,并熟悉其工作原理;
3、有Hadoop、Spark、Hbase平臺性能調(diào)優(yōu)經(jīng)驗;
4、熟悉其它分布式存儲相關(guān)技術(shù),包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;
5、熟悉Java開發(fā)常用框架、如Spring、MyBatis等;
6、熟悉關(guān)系型數(shù)據(jù)庫如oracle及數(shù)據(jù)庫編程。
7、能夠根據(jù)項目情況安排人力、分配任務(wù),具有較強的團(tuán)隊管理能力。
8、碩士以上學(xué)歷,20xx年以上的工作經(jīng)驗。
【大數(shù)據(jù)架構(gòu)師工作的職責(zé)】相關(guān)文章:
大數(shù)據(jù)架構(gòu)師的職責(zé)10-10
架構(gòu)師工作職責(zé)08-22
大數(shù)據(jù)架構(gòu)師崗位的具體職責(zé)表述-崗位職責(zé)01-11
軟件架構(gòu)師工作的職責(zé)10-18
大數(shù)據(jù)架構(gòu)師崗位的主要職責(zé)概述(精選10篇)08-10
軟件架構(gòu)師的基本職責(zé)03-20
NET架構(gòu)師的基本職責(zé)08-18