大数据行业就业指南

Mon, 01 Oct 2018 09:00:25 +0800

大数据开发工程师/大数据运维/Hadoop开发：

熟悉Hadoop生态圈（ MapReduce，hdfs，Hive，Spark等相关组件），liunx（shell脚本）相关技术以及对源码有深入认识，熟悉mysql数据库等，掌握JAVA语言或者python语言（有的公司要求掌握Scala语言，流式处理框架使用经验，熟悉Tableau报表设计

数据采集工程师/网络爬虫工程师/反爬虫工程师:

熟悉Selenium, phantomjs, scrapy等自动化测试工具，以及爬虫框架，精通Java/Objective-C/python等至少一种语言，了解各种前端技术，包括XHTML/XML/CSS/JavaScript/AJAX等；熟悉正则表达式和XPATH，能够从结构化或非结构化数据中获取信息；熟悉DDMS、Instruments，Charles，Fildder等抓包工具;，熟悉网络编程，对TCP/IP有深入理解，精通MySQL或PostgreSQL；熟悉Redis或MongoDB；了解linux优先

大数据分析工程师/统计建模师/数据管理/数据统计

熟悉R/Spark/Python或C/C++等至少一个常用语言；以机器学习、深度学习、复杂网络、自然语言处理等其中一种或几种模型见长；对建模技术的前沿探索有热情，优秀的学习能力和逻辑思考能力；对风险管理、用户生命周期管理、或不同垂直领域有深入研究，对各式海量数据分析与挖掘有强烈兴趣。具备ETL数据处理能力，有经验者优先，优秀的逻辑思维能力，和数据敏感度，可从海量数据中日趋分析并反推业务逻辑，优化核心业务流程；

数据可视化工程师：

. 理解W3C标准与ES规范，熟悉Web语义化，掌握盒模型、常用布局以及浏览器兼容性；熟练掌握各项Web前端技术 (HTML/CSS/Javascript) ，了解svg，canvas，webgl技术；熟练掌握JET Charts/ECharts/HighCharts/D3.js/Three.js等图形库熟练使用可视化BI工具及前端工具，具有计算机图形学理论基础，熟悉数据可视化相关基础算法；熟悉 HTTP 协议及缓存，了解基本的浏览器渲染及网络传输过程，掌握Java/python等一门语言，有前端开发经验/大规模数据存储，处理经验者优先

转载自【数据猿】从硬件到软件，人工智能如何驱动文娱行业变革？

Mon, 31 Jul 2017 15:36:32 +0800

7月28日，“达观数据开放日”首站上海站的活动在上海浦东软件园爱酷空间举行。本次活动围绕“人工智能助力文娱行业智能运营”的主题，喜马拉雅FM副总裁李海波、创业邦趋势学院院长张雷、梨视频副总裁徐戌雄和达观数据COO冯佳妮等出席了本次活动，从人工智能与文娱行业的内容运营的结合点切入，对整个行业的发展趋势以及与人工智能的结合进行了深入的探讨。

在“开放日”的演讲环节中，嘉宾们从音频、媒体和短视频这三个不同的角度切入，分享了各自领域的运营经验。

喜马拉雅FM总裁李海波首先介绍了喜马拉雅在人工智能方面所进行的努力。早在2015年4月，喜马拉雅FM就宣布与科大讯飞达成合作，二者联合推出语音开放平台，直接对接漫步者等各类硬件研发和生产企业，还将围绕互联网与移动互联网、车联网、智能硬件等诸多领域展开全面合作。

当时，科大讯飞与喜马拉雅FM都已各自研发了一些产品，如：科大讯飞的小柔、小智智能语音机器人，喜马拉雅FM的听书宝，与“童话大王”郑渊洁合作的舒克故事机等。

而在上个月，喜马拉雅FM刚刚正式发布了国内第一款全内容AI音箱“小雅”，并基于此提供一套基于语音交互的场景解决方案，这意味着巨头齐集的国内人工智能领域迎来了首个内容型选手。

对于这款人工智能音响，李海波的逻辑是这样的：目前所有的智能音响到今天为止都在智能两个字上做文章，试图去控制电视，做遥控，去开窗帘，帮你调空调的温度，让机器人扫地。但小雅音响的核心是以内容为出发，打通和优化用户体验。

值得注意的是，喜马拉雅FM推出的这款人工智能音响并没有与之前合作过的科大讯飞联合推出，而是和小米音响一样使用了猎户星空提供的语义分析服务。对于这一点，李海波则表示，小雅拥有内容方面的优势。

创业邦趋势学院院长张雷则从前沿科技媒体的角度提出了对人工智能未来发展的预期。站在第三波人工智能浪潮的基础上，张雷对整个行业的前沿发展趋势进行了总结。“人工智能发展有三大要素，一个是算法，一个是数据，还有一个是计算。”有了算法和数据，又能有一个稳定、高效满足海量数据吞吐的计算解决方案，人工智能的快速发展是必然的趋势。

从文娱行业的角度来说，张雷认为未来将是多业态、多渠道共生的局面。对用户进行个性化的推荐建模，并为其推送个性化的精准IP将成为发展的趋势，多类型的定制化产品提供将成为主流。

梨视频副总裁徐戌雄站在短视频平台的角度探讨了视频行业运营的思路：“短视频作为新兴的传递方式，其成功的一大关键在于能够提供适合现代用户的浏览节奏的内容。梨视频主打资讯短视频的概念，迅速得到了大量关注。”

徐戌雄从多个角度探讨了梨视频在短视频行业的整个布局策略，包括通过聚集个人拍客和机构拍客，全方位把握全球范围内的资讯热点，并确保视频质量；也包括应用人工智能技术，通过配置个性化推荐系统等功能，打造智能的用户理解和内容推送机制。

达观数据COO冯佳妮以直播为切入点，分享了达观数据作为文本技术服务商，为文娱行业客户提供人工智能服务的实际案例。

“通过接入人工智能服务，用户的内容点击率可以上升足足3倍，搜索无结果率下降可达90%，对用户体验和用户转化率都会有巨大提升。”冯佳妮介绍的实打实的案例和指标提升给大家带来非常直观的感受。从数据上可以明显地看到，个性化推荐对于文娱行业精准运营的提升效果是传统方法所完全无法比拟的。

作为国内领先的人工智能企业，达观数据在文字自动化处理领域拥有深厚的技术积累，达观的个性化推荐、垂直搜索引擎以及文本挖掘等服务受到广大企业认可，在娱乐、传媒、电商、金融、科技等行业得到广泛应用。

随着人工智能技术的快速发展，越来越多传统行业也开始享受到了人工智能带来的红利。在文化娱乐行业也是如此，只有不断升级技术，琢磨产品，才能跟得上时代发展的步伐。

行业 on 庞玉栋个人博客

大数据行业就业指南

转载自【数据猿】从硬件到软件，人工智能如何驱动文娱行业变革？