按时间归档：2023年05月
-
关于MySQL的30条优化技巧
1. 应尽量避免在 where 子句中使用!=或<>操作符，否则引擎将放弃使用索引而进行全表扫描。 2. 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 3. 应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描。如：select…
-
“毕业5年存款5000元”火上热搜！你怎么看？
大家好，文章开始前想先问大家两个问题，你现在毕业了吗？存款多少？ 前几日，一条名为《我：毕业5年，存款5000，她：中传硕士，火锅店保洁》的视频走红网络…… 视频主人公和她的室友，介绍了自己看似“高开低走”的就业经历，B站播放量超560万，登上多平台热搜，引起广泛关注。 – 01 – 毕业5年只存了5000元 …
-
Python中如何绘制单子图？
使用pyplot的subplot()函数可以在规划好的某个区域中绘制单个子图，subplot()函数的语法格式如下： subplot(nrows, ncols, index, projection, polar, sharex, sharey, label, kwargs) 该函数的常用参数含义如下。 ·nrows：表示规划区域的行数。 ·n…
-
如何快速使用urllib爬取网页？
什么是urllib? urllib库是Python内置的HTTP请求库，它可以看做是处理URL的组件集合。urllib库包含了四大模块，具体如下： urllib.request：请求模块urllib.error：异常处理模块urllib.parse：URL解析模块urllib.robotparser：robots.txt解析模块快速使用urllib爬取网页 …
-
MySQL常用图形化界面管理工具
如果日常的开发和维护均在类似dos窗口中进行，对于编程初学者来说，上手就略微有点困难，增加了学习成本。我们一般使用mysql图形管理工具来连接Mysql，然后在图形化界面上操作Mysql。 MySQL的管理维护工具非常多，除了系统自带的命令行管理工具之外，还有许多其他的图形化管理工具。 常用工具介绍1.Navicat Navicat是一套快速、可靠的数据库管…
-
Sqoop是什么工具？Sqoop工作流程是什么？
Sqoop是Apache旗下的一款开源工具，该项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，并在2013年，独立成为Apache的一个顶级开源项目。 Sqoop主要用于在Hadoop和关系数据库或大型机之间传输数据，可以使用Sqoop工具将数据从关系数据库管理系统导入(i…
-
SparkStreaming连接Kafka两种方式
Spark Streaming支持从多种数据源获取数据,其中就包括 Kafka，要想从 数据源获取数据，首先要建立两者之间的连接，本节来介绍两种连接Kafka的方式。 1.Receiver based Approach: (1)KafkaUtils.createDstream基于接收器方式，消费Kafka数据已淘汰企业中不再使用; (2)Receiver作为…
-
什么是数据可视化？怎样引入Syplot模块？
可视化最早应用于计算机科学中，后形成了计算科学的一个重要分支——科学计算可视化。科学计算可视化将测量或计算产生的数字信息以图形图像的形式呈现给研究者，使他们能够更加直观地观察和提取数据表示的信息。科学计算可视化自1987年提出以来，在各工程和计算机领域中得到了广泛的应用和发展。 近年来，随着数据仓库技术、网络技术、电子商务技术的发展，可视化涵盖了更广泛的内容…
-
ClouderaManager指的是什么？有哪些功能？
Cloudera Manager是用于管理CDH群集的端到端应用程序。Cloudera Manager通过对CDH集群的每个部分提供细粒度的可视性和控制来设置企业部署的标准，使运营商能够提高性能，提高服务质量，提高合规性并降低管理成本。 使用Cloudera Manager，可以轻松部署和集中操作完整的CDH堆栈和其他托管服务(Hadoop、Spark、Ku…
-
怎样使用requests模块抓取网页？
爬取网页其实就是通过URL获取网页信息，网页信息的实质是一段添加了JavaScript和CSS的HTML代码。Python提供了一个抓取网页信息的第三方模块requests,requests模块自称“HTTP for Humans”,直译过来的意思是专门为人类而设计的HTTP模块，该模块支持发送请求，也支持获取响应。 1.发送请求 requests模块提供了…
