大数据

在SQL中比较两个表的差异可以通过EXCEPT和INTERSECT找出独有或共有记录；使用LEFT JOIN或FULL OUTER JOIN定位存在于一个表但不在另一个表的数据；NOT EXISTS用于查找一个表中有而另一个表中没有的记录。

Apache Hadoop是一个开源大数据处理框架，以其强大的存储能力、高效的批量数据处理和出色的可扩展性而闻名。它包括HDFS、YARN和MapReduce等核心组件，专注于处理PB级数据。尽管新兴技术如Spark在特定场景中更为高效，Hadoop在大规模数据集处理、高容错性和数据冗余方面仍然是首选。

东数西算即东数西算工程，指通过构建数据中心、云计算、大数据一体化的新型算力网络体系，将东部算力需求有序引导到西部，优化数据中心建设布局，促进东西部协同联动。“东数西算”中的“数”，指的是数据，“算”指的是算力，即对数据的处理能力。

东数西算中的“数”指的就是数据，“算”指的是算力，即对数据的处理能力，东数西算是通过构建数据中心、云计算、大数据一体化的新型算力网络体系，把东部算力需求有序引导到西部，优化数据中心建设布局，促进东西部协同联动的一项工程。

数据处理是指对数据（包括数值的和非数值的）进行分析和加工的技术过程。也就是对数据的采集、存储、检索、加工、变换和传输，将数据转换为信息的过程。数据的形式可以是数字、文字、图形或声音等。

大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

安全大数据是指与业务安全、系统安全、网络安全、硬件安全的配置数据、实时数据、衍生数据等，可归类为资产数据、威胁数据、脆弱性数据和网络结构数据，同时不考虑数据类之间的关系。利用数据挖掘技术提取出隐含在其中能标识业务、系统、网络安全的潜在信息。

大数据安全是涉及技术、法律、监管、社会治理 等领域的综合性问题，其影响范围涵盖国家安全、产业安全 和个人合法权益。 不仅导致大数据平台自身安全需求发 生变化，还带动数据安全防护理念随之改变，同时引发对高 水平隐私保护技术的需求和期待。

做客户画像需要收集足够多的客户信息，才能让数据更加有效，客户行为数据预处理，可根据所有客户行为的分析进行打分，将客户分为不同层级，目前最常用的就是打标签，对客户行为数据有所掌握后从中提取出基本信息，形成客户画像，对客户画像进行不断升级。

客户画像就是给企业的客户打上标签，可以看作企业应用大数据的根基，通过这些标签可以让企业更加了解自己的客户群体，而在这些标签中需要包含一些客户的基本信息，例如客户的年纪、性别、学历以及客户的社会阶级等等，从而为用户提供有针对性的服务。

个人发布数据，机器测量与传感器数据，设备带有的定位 GPS 设备或者温度、光度感受器等测量的数据，交易数据，移动通信数据,人为数据,互联网上的开放数据来源。

便利生活自助缴费，违章查询，帮助节约时间，例如快递外卖，方便看病，发现隐形需求，便利出行，还可以利用大数据提升自己。