发布时间：2018-10-31编辑：佚名

其然IT 教育师资

王红元高级讲师

专注移动开发领域，多年iOS开发和教学经验，曾经带领团队开发出众多款 优秀APP作品。

国内知名视频聊天软件 < 新浪秀场 > 就出自王老师之手，王老师全 面负责 < 新浪秀场 > iOS客户端的设计和开发，并参与了 < 新浪秀场 > Android、Windows 、web端

开发。同时王老师还曾兼职担任过多家公司技术顾问，帮助其解决开发中的 重点难题。

除此之外，王老师还主导开发了< 智慧城市 > < 天翼看交通 > < 公交wifi > 等热门APP。王老师开发过的作品涉及旅游、交通、社交、视频等方面，对即时聊天、流媒体等技术有深入研究。      

王老师不但开发经验丰富，授课风趣幽默，且激情四射。擅长以各种生活中 的案例出发，帮助学生理解消化学习中的各种难点。另外，王老师教学总是以学生角度思考讲解，备受学生喜爱。

Java和Python哪个就业情况更好？

首先，在了解一个语言就业好不好之前， 得先明确语言的发展方向

(1)Python

Python：数据分析，人工智能，web开发，测试，运维，web安全。

(2)Java

Java：web开发，大数据开发，安卓开发，服务器开发， 桌面开发，游戏开 发。

Java作为全球占比**高的开发语言，有着她**的优势，但因竞争太大 ，就业方面并不比Python好。

而基于目前国内python人才需求呈大规模上升，薪资水平也水涨船高。学 python的人大多非科班出身。很多大学并没有开始此专业，因此就出现了大量的人才缺口。

从图上可以清晰的判断未来python就业形势，是大幅度上升的，加上互联网 行业正在进入成长爆发期，所以现在开始学习python的小伙伴果然是明智滴。

就业发展

与此同时，目前的互联网行业在高速发展的过程中，对于人工智能，数据分 析在北京、上海、深圳各大互联网发达的一线城市越发的火热，招聘优秀的Python程序员的难度尤为突出，为此选择就业Python更易成功。

Python人气爆棚的秘密

Python之所以排名上的如此之快，和它本身的特点也有关系，他是一种简单 、易用但专业、严谨的通用组合语言，或者叫胶水语言，让普通人也能够很容易的入门，把各种基本程序元件拼装在一起，协调运作。比如任何一个人 ，只要愿意学习，可以在几天的时间里学会Python基础部分，然后干很多很多事情，这种投入产出比可能是其他任何语言都无法相比的而且Python的应 用很广，很多行业都会应用。

数据库关键技术

.数据库关键技术

• 01Mysql 基础

• 1.Mysql的安装和使用

• 2.图解Mysql程序结构

• 3.Mysql服务器的配置

• 4.Mysql 客户端使用

• 5.用户权限管理

• 6.Mysql数据库的使用

• 02SQL基础

• 1.SQL语句的三种类型

• 2.DML、DDL、DCL的应用

• 3.数据处理

• 4.子查询

• 5.创建和管理表

• 6.约束与分页

• 03JDBC

• 1.JDBC概述

• 2.获取数据库连接

• 3.数据库连接池C3P0 与 DBCP

• 4.使用JDBC 完成数据库DML操作

• 5.大数据的操作

• 6.批量处理与元数据

• 04DBUtils

• 1.使用QueryRunner

• 2.可插拔式结果集处理

• 3.批量处理

• 4.大数据结果集处理

• 5.自定义结果集处理

• 6.利用DBUtils编写通用 DAO

再论数据科学竞赛中的Data Leakage

---

>

越来越多的数据爱好者把注意力放在了数据竞赛上，像Kaggle数据竞赛。这类数据竞赛中，有时会遇到Data Leakage。而大部分人对Data Leakage的概念理解都是错误的。这次，我们来梳理一下Data Leakage，希望能让大家对数据中的因果关系更加重视。

                                                                                                                                                                --陈晓理 

数据科学竞赛中有时会出现这样的奇特景观：某只队伍，靠着对极个别feature的充分利用，立即将对手超越，成功霸占冠军位置，而且与第二名的差距远超第二名与第十名的差距。然而，这些feature却不是在因果关系上顺利解释预测值的‘因’，反而是预测值的‘果’。

1. Data Leakage定义

存在和利用这种倒‘因’为‘果’的feature的现象，叫数据竞赛中的Data Leakage。

这里的Data Leakage 跟其他场合说的数据安全数据泄漏完全不一样。从字面上理解，我们说的Data Leakage不是数据泄漏，而是因果关系的纰漏，是由于数据准备过程中出现的失误，使模型沿着有纰漏的，甚至是颠倒的因果关系进行预测，但得到极好的预测结果。

2. Data Leakage案例

Data Leakage 在数据科学竞赛中时常发生。

INFORMS 2010 Data Mining Challenge (预测患者是否有肺炎)，Kaggle里面的the IJCNN 2011 Social Network Challenge （预测人们在社交网络中的关系类型），已经男性前列腺癌数据中，都存在不同程度的Data Leakage。

案例1

在男性前列腺癌数据中，有个feature叫PROSSUG，代表着这个患者是否接受过前列腺的手术，这个feature很难说是病人患前列腺癌的‘原因’（患心脏病的原因是接受过心脏手术？），而更像是一个标记，当然与病人是否患有前列腺癌极度相关。依靠着这样的feature训练出来的模型，肯定能够得到很好的预测结果，但对实际了解男性前列腺癌的成因，没有一点帮助。

Data Leakage不仅在竞赛中会发生，在实际工作中也会出现。

案例2

Chris老师就举过一个非常经典的例子。在处理电信用户流失的时候，用原有的数据集轻**松就可以把AUC达到0.99以上。这让人非常警惕。于是Chris老师仔细查看了一下模型和数据，原来数据中有一个权重极高的feature是“3个月内的缴费纪录”。很多流失用户的账户内，这个feature的值是0。再进一步，他跟会计核实了一下，在会计记账中，这个feature 代表的是用户已经流失后的三个月的缴费纪录，那肯定就是0了。这是典型的因果关系颠倒。

3. Data Leakage的原因

以此我们可以看出，Data Leakage 基本都是在准备数据的时候，或者数据采样的时候出了问题，误将与结果直接相关的feature纳入了数据集。这样的纰漏，比较难以发现。

这真是让人欢喜让人忧。

竞赛选手们肯定希望自己能够找到Data Leakage, 这样排名就可以大幅度提升。但对于竞赛主办方，或者实际工作中的数据科学家，则要千方百计识别Data Leakage，要不然比赛会被引入歧途，还会影响日常工作质量。

4. 必须重视因果性

我们再把讨论往前推一步：大数据，是要相关性，还是因果性？

《大数据时代》是本大毒草 —— Professor M from Computer Science in University of Michigan

数据应用学院专门组织过讨论，集中批判一本畅销书《大数据时代》。这本书的主要观点就是，在大数据时代，要放宽对因果性的要求，充分利用相关性去挖掘数据的价值。我们上面的案例分析再一次证明，这样的观点是危险的。

而且，在数据科学家的Skillset中，为什么除了计算机技能，统计分析外，还要加一个“行业知识”？这其实是要求数据科学家能够利用行业知识来判断数据模型中的因果关系是否有价值，还是落脚到因果关系上。

相关推荐：

---

苏州JAVA培训   苏州JAVA培训班   苏州JAVA培训机构