统计学就是基于问题，收集数据、分析数据、解读数据的过程。在统计学里，这个真实的世界或者我们想研究的事物，被称为“总体”。统计学就是帮助我们利用样本的信息来推测总体情况的工具，也就是从局部到整体，从已知到未知的过程。

统计学家就是通过分析数据来推断事物的本质，预测它未来的发展。而分析数据的第一步，就是找出那些看似偶然发生的事件，背后隐藏着哪些必然性的统计规律。

这里就要用到两个概率学基本定理，即：大数定律，中心极限定理，随机抽样，“回归分析”这种数据分析方法。

统计学的基本框架：

描述统计：描述统计其实就是处理样本数据的过程，通过对杂乱无章的原始数据进行整理，让这些数据能够直观简练地呈现出来，并作为我们认识事物的客观依据。应用于数据团队在制作“用户画像”的过程。

推论统计：推论统计则带有猜测的成分，是从样本到总体的过程，通过整理出来的样本数据信息来估计总体、预测未来。因此在统计教材中，这部分章节涉及大量的统计方法和计算公式，还有复杂的逻辑推理过程。

数据科学融合了各种工具，算法和机器学习原理，旨在从原始数据中发现隐藏的模式。但是，这与统计学家多年来所做的有何不同？答案在于解释和预测之间的差异。

该专业领域主要通过预测因果分析，说明性分析（预测性与决策科学）和机器学习来做出决策和预测。通常将数据科学分为四个应用领域，即：Business Administration；Exploratory Data Analysis；Machine Learning &Advanced Algorithms；Data Product Engineering。

通常可以通过以下工具实现数据科学领域模型构建。

建模时常用的计算机语言：

R：具有完整的建模功能，并为构建解释模型提供了良好的环境

SQL Analysis Services：可以使用常见的数据挖掘功能和基本预测模型来执行数据库内分析

SAS / ACCESS：可用于从Hadoop访问数据，并用于创建可重复和可重用的模型流程图

数据科学生命周期：

捕获（数据采集，数据输入，信号接收，数据提取）

维护（数据仓库，数据清理，数据分段，数据处理，数据体系结构）

流程（数据挖掘，聚类/分类，数据建模，数据汇总）

分析（探索性/确认性，预测性分析，回归，文本挖掘，定性分析）

沟通（数据报告，数据可视化，商业智能，决策）

数据科学需要掌握以下三个领域的技能：

从应用层面来讲分为：

基本的统计量：通过基本的统计量，可以进行更多元的可视化，以实现更加精细的数据分析。需要了解更多的Excel函数来实现基本的计算，或者python、R里面一些对应的可视化方法

概率分布：是指几何分布、二项分布、泊松分布、正态分布等

总体和样本：了解抽象的基本概念，知道再面对的水墨数据的时候怎么样进行抽样分析

置信区间与假设检验：可以应用假设检验的方法，对一些感性的假设做出更加精确地检验

相关性与回归分析：利用回归分析的方法，建立基本的数据分析模型，对未来的一些数据、缺失的数据做基本的预测

掌握一些主流算法的原理：比如线性回归, linear regression、逻辑回归 logical regression、决策树decision tree、神经网络neural network,、关联分析association analysis、聚类 clustering、协同过滤collaborative filtering、随机森林 random forest。深入一点，还可以掌握文本分析 text analysis、深度学习deep learning、图像识别image recognition 等相关的算法

统计对数据科学的贡献：

大数据分析通常分为两种主要方式，其一是统计学，另外一种是机器学习。平时大部分的数据分析任务都是基于统计学理论进行的，包括采用的数据分析工具也都属于统计学领域的范畴。从未来的发展趋势上看，一方面统计学会进一步向大数据倾斜，包括目前不少统计学专业的研究生课题，都逐渐开始向大数据方向拓展。另一方面大数据会在发展的初期大量采用统计学相关理论和技术，这也能够提升大数据相关技术的落地应用能力。

大数据挖掘商业价值的方法主要分为四种：

客户群体细分，然后为每个群体量定制特别的服务

模拟现实环境，发掘新的需求同时提高投资的回报率

加强部门联系，提高整条管理链条和产业链条的效率

降低服务成本，发现隐藏线索进行产品和服务的创新

商业分析推进步骤：

顶级数据分析师需要具备的职业素质包括：

业务能力；思考能力；沟通能力；表达能力；分析方法；数据能力；技术能力；统计知识；落地能力

大数据常见的应用场景：

供应链和渠道分析&优化；定价分析与优化；欺诈行为分析&检测；设备管理；社交媒体分析&客户分析

数据分析的常见工作类型：

取数：

工作能力：取数每天的工作内容也比较简单、重复和机械，就是写SQL取数，根据业务的需求做数据统计、简单报表制作，总体上说价值感比较低，基本都是新人在做

取数是数据分析和后面一系列建模工作的基础，能够高效的完成取数，以及对于数据的底层架构的深入了解，也不是一件很容易的事情，这也就是“以力取胜”

必备技能：Excel(如果会VBA就更好了)；SQL取数(核心技能)；数据库(需要熟悉，具体看你公司用的什么数据库)

数据工程：

挖掘工程师：数据挖掘工程师的主要工作是利用已有的算法模型，对业务数据进行清洗、建模

算法工程师：算法工程师更看重理论基础，比如机器学习算法原理、相关数学原理等。算法工程师的主要工作一般是研究算法、为公司的相关业务需求优化算法

必备技能：数据库；python；数据挖掘算法；机器学习算法

业务分析派

市场业务分析：比如说零售公司的某个业务出了问题，比如销售，分析师的任务就是要搞清业务数据异常的原因，

取数据、做调查、做分析、找业务等等，最终输出分析报告给业务部门

运营分析：每天主要的任务就是从某个系统导出excel表，然后整理一个新的excel表。至于看得懂看不懂这个excel，完全看业务能力，跟技术操作没啥关系

业务分析师的任务就是发现问题-分析问题-得出结论，为业务人员的营销策略提供数据支撑

这个岗位比较看重你的思维能力和分析能力，需要你对数据有着敏锐的洞察力，同时也需要对业务有一定的知识储备

必备技能：SQL；统计学基础；EXCEL分析基础；python/R语言；思维方法与分析模型

商业分析派

都是研究行业数据和竞品数据，然后研究企业发展、为公司决策者提供战略决策指导意见的

商业分析师的工作内容就是通过对市场、竞对、企业的现状分析判断，提出未来的运营、产品方向建议，从而提升份额、提高营收

必备技能：SQL；商业分析模型与方法；市场营销与金融知识；SPSS等工具

统计及数据科学常见的职业方向：

机器学习工程师 Machine Learning Engineer：

代表了技术含量较高的方向，工作内容主要是开发机器学习系统和用这些系统解决实际问题。一般需要ship production code，做出来的是数据产品。

包含“会一些ML的软件工程师”和“会写生产代码的机器学习专家”两种，也就是说，侧重点会有差异，但是机器学习和软件开发技能都需要。有EE或者CS博士学位最佳，统计等计量学科博士，如果辅修了CS master，也合适。如果只有EE/CS硕士学位也可以，但是硕士生们需要额外自学很多机器学习知识才能胜任，只靠在学校里简单上一两门课，可能不够。此外，找工作的时候，也需要一些运气成分才能找到合适的岗位。

数据分析员 Data Analyst

工作内容俗称analytics (product analytics or business analytics)，从数据中提取insight，估计投资回报比，为产品方向提建议，所用工具一般较基础，比如写SQL query取数据、用R/Python做简单的分析、用Tableau/Excel作图比较常见，能自己开发Dashboard算是analyst里面技术强的；工作需要产生各种形式的报告；在统计层次上，懂基本t-test和线性回归即可。

一般是统计、数据科学、商务分析、工业工程等专业的硕士担任。

数据科学家 Data Scientist

此类职位工作内容以高级建模为主，会针对复杂的问题来设计技术方案，比如Uber叫车的ETA、各种定价系统、airbnb和金融行业的Fraud Detection、Amazon物流管理，FB/linkedin的社交网络或者ebay/Airbnb/Uber这样供需双方Marketplace市场规模的实验。这些例子，听上去就不是写SQL能解决的，也不是会写代码就能做出来的，都需要比较深的领域知识。

一般是统计、运筹、经济、工业工程、EE、CS等专业的博士担任，需要某领域的深刻理解。

数据工程师职业的天然优势：

转行成本低，只要有一些数理基础，能学一点简单的SQL和python，就能找到一份不错的data相关的工作；

Data这边也分很多工作种类，除了Hardcore的phd，ms的做模型的ds之外，也有ds-a这种需要conduct experimentation来跑result拿insight推动决策进行。soft skill要求高。另外说别人浮躁不浮躁的，得无论什么方式，心态，只要拿到面试，过了面试，好好工作继续提升，就没有浮躁一说。