MENU

TI

• 2021 年 03 月 09 日

[toc]

一、linux

系统启动流程

- 内核的引导。
- 运行 init。
- 系统初始化。
- 建立终端 。
- 用户登录系统。

linux文件类型

普通文件类型,目录文件,块设备文件,字符设备,套接字文件,管道文件,链接文件

centos6和7怎么添加程序开机自启动?

将程序可执行脚本加入/etc/rc.local文件中,文件和脚本都需要可执行权限,如果程序需普通用户启动,使用su -普通用户 -c即可

如何升级内核,目前最新版本号多少?

# rpm -import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
# yum --disablerepo="*" --enablerepo="elrepo-kernel" list available
# yum -y --enablerepo=elrepo-kernel install kernel-ml.x86_64 kernel-ml-devel.x86_64 

nginx日志访问量前十的ip怎么统计?

awk '{print $1}' access.log |sort | uniq -c | sort -n -r | head -10

删除/var/log/下.log结尾的30天前的日志文件

find /var/log/*.log -type f  -mtime +30 -exec rm -rf {} \; 

ansible有哪些模块?功能是什么?

1.ping模块
检查指定节点机器是否还能连通,用法很简单,不涉及参数,主机如果在线,则回复pong
ansible 10.1.1.113 -m ping
2、raw模块
执行原始的命令,而不是通过模块子系统。在任何情况下,使用shell或命令模块是合适的。给定原始的参数直接通过配置的远程shell运行。可返回标准输出、错误输出和返回代码。此模块没有变更处理程序支持。
3、yum模块
这个模块是RedHat / CentOS作为远端节点的OS的时候,用的最多的。Yum是啥就不多说了,RedHat / CentOS包管理工具
使用`yum’软件包管理器管理软件包,其选项有:
– config_file:yum的配置文件 (optional)
– disable_gpg_check:关闭gpg_check (optional)
– disablerepo:不启用某个源 (optional)
– enablerepo:启用某个源(optional)
– name:要进行操作的软件包的名字,默认最新的程序包,指明要安装的程序包,可以带上版本号,也可以传递一个url或者一个本地的rpm包的路径
– state:状态(present,absent,latest),表示是安装还卸载
   present:默认的,表示为安装
   lastest: 安装为最新的版本
   absent:表示删除
 ansible test -m yum -a ‘name=httpd state=latest’
4、apt模块
这个模块是ubuntu作为远端节点的OS的时候,用的最多的。Apt是啥就不多说了,Ubuntu/Debian的包管理工具。
– deb: 用于安装远程机器上的.deb后缀的软件包(optional)
– install_recommends:这个参数可以控制远程电脑上是否只是下载软件包,还是下载后安装,默认参数为true,设置为false的时候只下载软件包,不安装
– update_cache: 当这个参数为yes的时候等于apt-get update(optional)
– name: apt要下载的软件包名字,支持name=git=1.6 这种制定版本的模式
– state:状态(present,absent,latest),表示是安装还卸载
   present:默认的,表示为安装
   lastest: 安装为最新的版本
   absent:表示删除
5、pip模块
用于管理Python库依赖项,为了使用pip模块,必须提供参数name或者requirements
– chdir: 执行pip命令前cd进入的目录
– name:要安装的Python库的名称或远程包的URL。
– requirements:一个pip requirements.txt文件的路径,它应该是远程系统的本地文件,如果使用chdir选项,则可以将文件指定为相对路径。
– version:指定的Python库的安装版本。
– extra_args:额外的参数传递给pip。
– executable:显式可执行文件或可执行文件的路径名,用于为系统中安装的特定版本的Python运行pip。 例如pip-3.3,如果系统中安装了Python 2.7和3.3,并且想要为Python 3.3安装运行pip。 它不能与“virtualenv”参数一起指定(在2.1中添加)。 默认情况下,它将采用适用于python解释器的版本。 pip3在python 3上,pip2或pip在python 2上。
– virtualenv:要安装到的virtualenv目录的可选路径。 它不能与’executable’参数一起指定(在2.1中添加)。 如果virtualenv不存在,则将在安装软件包之前创建它。 可选的virtualenv_site_packages,virtualenv_command和virtualenv_python选项会影响virtualenv的创建。
– virtualenv_command:用于创建虚拟环境的命令或路径名。 例如pyvenv,virtualenv,virtualenv2,~/bin /virtualenv,/usr/local/bin/virtualenv。
– virtualenv_python:用于创建虚拟环境的Python可执行文件。 例如python3.5,python2.7。 未指定时,将使用用于运行ansible模块的Python版本。 当virtualenv_command使用pyvenv或-m venv模块时,不应使用此参数。
– state:状态(present,absent,latest, forcereinstall),表示是安装还卸载
   present:默认的,表示为安装
   lastest: 安装为最新的版本
   absent:表示删除
   forcereinstall:“forcereinstall”选项仅适用于可ansible 2.1及更高版本。
6、synchronize模块
– 使用rsync同步文件,将主控方目录推送到指定节点的目录下,其参数如下:
– delete: 删除不存在的文件,delete=yes 使两边的内容一样(即以推送方为主),默认no
– src: 要同步到目的地的源主机上的路径; 路径可以是绝对的或相对的。如果路径使用”/”来结尾,则只复制目录里的内容,如果没有使用”/”来结尾,则包含目录在内的整个内容全部复制
– dest:目的地主机上将与源同步的路径; 路径可以是绝对的或相对的。
– dest_port:默认目录主机上的端口 ,默认是22,走的ssh协议。
– mode: push或pull,默认push,一般用于从本机向远程主机上传文件,pull 模式用于从远程主机上取文件。
– rsync_opts:通过传递数组来指定其他rsync选项。
7、template模块
基于模板方式生成一个文件复制到远程主机(template使用Jinjia2格式作为文件模版,进行文档内变量的替换的模块。它的每次使用都会被ansible标记为”changed”状态。)
– backup: 如果原目标文件存在,则先备份目标文件
– src:在ansible控制器上的Jinja2格式化模板的路径。 这可以是相对或绝对的路径。
– dest:将模板渲染到远程机器上的位置。
force:是否强制覆盖,默认为yes
– owner:目标文件属主
– group:目标文件属组
– mode:目标文件的权限模式,模式可以被指定为符号模式(例如,u + rwx或u = rw,g = r,o = r)。
8、copy模块
在远程主机执行复制操作文件。
– src:要复制到远程主机的文件在本地的地址,可以是绝对路径,也可以是相对路径。如果路径是一个目录,它将递归复制。在这种情况下,如果路径使用”/”来结尾,则只复制目录里的内容,如果没有使用”/”来结尾,则包含目录在内的整个内容全部复制,类似于rsync。
– content:用于替代”src”,可以直接设定指定文件的值
– dest:必选项。要将源文件复制到的远程主机的绝对路径,如果源文件是一个目录,那么该路径也必须是个目录
– directory_mode:递归的设定目录的权限,默认为系统默认权限
– force:如果目标主机包含该文件,但内容不同,如果设置为yes,则强制覆盖,如果为no,则只有当目标主机的目标位置不存在该文件时,才复制。默认为yes
– others:所有的file模块里的选项都可以在这里使用
9、user 模块与group模块
user模块是请求的是useradd, userdel, usermod三个指令,goup模块请求的是groupadd, groupdel, groupmod 三个指令。
– home:指定用户的家目录,需要与createhome配合使用。
– groups:指定用户的属组。
– uid:指定用的uid。
– password:指定用户的密码。
注意:指定password参数时,不能使用明文密码,因为后面这一串密码会被直接传送到被管理主机的/etc/shadow文件中,所以需要先将密码字符串进行加密处理。然后将得到的字符串放到password中即可。
echo “123456” | openssl passwd -1 -salt (</dev/urandomtr−dc‘[:alnum:]′|head−c32)−stdin14P4PlFuEur9ObJiT5iHNrb9QnjaIB0
– name:指定用户名。
– createhome:是否创建家目录 yes|no。
– system:是否为系统用户。
– remove:当state=absent时,remove=yes则表示连同家目录一起删除,等价于userdel -r。
– state:是创建还是删除。(present,absent)
– shell:指定用户的shell环境。
– generate_ssh_key:是否为相关用户生成SSH密钥。 这不会覆盖现有的SSH密钥。
– ssh_key_bits:可选择指定要创建的SSH密钥中的位数。
– ssh_key_passphrase:设置SSH密钥的密码。 如果没有提供密码,SSH密钥将默认没有密码。
– ssh_key_file:指定SSH密钥文件名(可选)。 如果这是一个相对的文件名,那么它将是相对于用户的主目录。
– ssh_key_type:指定要生成的SSH密钥的类型(可选)。 可用的SSH密钥类型将取决于目标主机上的实现。
– gid:指定用的gid。
– name:指定用户名。
– state:是创建还是删除。(present,absent)
– system:如果是,则表示创建的组是系统组。
11、get_url 模块
该模块主要用于从http、ftp、https服务器上下载文件(类似于wget),主要有如下选项:
– sha256sum:下载完成后进行sha256 check;
– timeout:下载超时时间,默认10s
– url:下载的URL
– url_password、url_username:主要用于需要用户名密码进行验证的情况
– dest:将文件下载到哪里的绝对路径。如果dest是目录,则使用服务器提供的文件名,或者如果没有提供,将使用远程服务器上的URL的基本名称。
– headers:以格式“key:value,key:value”为请求添加自定义HTTP标头。
12、fetch模块
它用于从远程机器获取文件,并将其本地存储在由主机名组织的文件树中。
– src:远程系统上要获取的文件。 这必须是一个文件,而不是一个目录。 后续版本可能会支持递归提取。
– dest:保存文件的目录。 例如,如果dest目录是/backup,在主机host.example.com上命名为/ etc/profile的src文件将被保存到/backup/host.example.com/etc/profile。
– flat:允许您覆盖将目标文件添加到主机名/ path / to / file的默认行为
13、file模块
file模块主要用于远程主机上的文件操作,file模块包含如下选项:
– force:需要在两种情况下强制创建软链接,一种是源文件不存在但之后会建立的情况下;另一种是目标软链接已存在,需要先取消之前的软链,然后创建新的软链,有两个选项:yes|no
– group:定义文件/目录的属组
– mode:定义文件/目录的权限
– owner:定义文件/目录的属主
– path:必选项,定义文件/目录的路径
– recurse:递归的设置文件的属性,只对目录有效
– src:要被链接的源文件的路径,只应用于state=link的情况
– dest:被链接到的路径,只应用于state=link的情况
– state:
   directory:如果目录不存在,创建目录
   file:即使文件不存在,也不会被创建
   link:创建软链接
   hard:创建硬链接
   touch:如果文件不存在,则会创建一个新的文件,如果文件或目录已存在,则更新其最后修改时间
   absent:删除目录、文件或者取消链接文件
14、unarchive模块
用于解压文件,模块包含如下选项:
– copy:在解压文件之前,是否先将文件复制到远程主机,默认为yes。若为no,则要求目标主机上压缩包必须存在。
– creates:指定一个文件名,当该文件存在时,则解压指令不执行
– dest:远程主机上的一个路径,即文件解压的绝对路径。
– group:解压后的目录或文件的属组
– list_files:如果为yes,则会列出压缩包里的文件,默认为no,2.0版本新增的选项
– mode:解压后文件的权限
– src:如果copy为yes,则需要指定压缩文件的源路径
– owner:解压后文件或目录的属主
15、command 模块和shell
用于在各被管理节点运行指定的命令
shell和command的区别:shell模块可以特殊字符,而command是不支持

nginx性能为什么比apache高?

这得益于Nginx使用了最新的epoll(Linux 2.6内核)和kqueue(freebsd)网络I/O模型,而Apache则使用的是传统的select模型。

目前Linux下能够承受高并发访问的Squid、Memcached都采用的是epoll网络I/O模型。

处理大量的连接的读写,Apache所采用的select网络I/O模型非常低效。


下面用一个比喻来解析Apache采用的select模型和Nginx采用的epoll模型进行之间的区别:

假设你在大学读书,住的宿舍楼有很多间房间,你的朋友要来找你。

select版宿管大妈就会带着你的朋友挨个房间去找,直到找到你为止。

而epoll版宿管大妈会先记下每位同学的房间号,

你的朋友来时,只需告诉你的朋友你住在哪个房间即可,不用亲自带着你的朋友满大楼找人。

如果来了10000个人,都要找自己住这栋楼的同学时,select版和epoll版宿管大妈,谁的效率更高,不言自明。

同理,在高并发服务器中,轮询I/O是最耗时间的操作之一,select和epoll的性能谁的性能更高,同样十分明了。

四层负载和七层负载区别是什么?

所谓四层就是基于IP+端口的负载均衡;七层就是基于URL等应用层信息的负载均衡

lvs有哪些工作模式?哪个性能高?

LVS 三种工作模式原理、以及优缺点比较

一、NAT模式(VS-NAT)
原理:就是把客户端发来的数据包的IP头的目的地址,在负载均衡器上换成其中一台RS的IP地址,并发至此RS来处理,RS处理完成后把数据交给经过负载均衡器,负载均衡器再把数据包的原IP地址改为自己的IP,将目的地址改为客户端IP地址即可期间,无论是进来的流量,还是出去的流量,都必须经过负载均衡器

优点:集群中的物理服务器可以使用任何支持TCP/IP操作系统,只有负载均衡器需要一个合法的IP地址。

缺点:扩展性有限。当服务器节点(普通PC服务器)增长过多时,负载均衡器将成为整个系统的瓶颈,因为所有的请求包和应答包的流向都经过负载均衡器。当服务器节点过多时,大量的数据包都交汇在负载均衡器那,速度就会变慢!

二、IP隧道模式(VS-TUN)
原理:首先要知道,互联网上的大多Internet服务的请求包很短小,而应答包通常很大。那么隧道模式就是,把客户端发来的数据包,封装一个新的IP头标记(仅目的IP)发给RS,RS收到后,先把数据包的头解开,还原数据包,处理后,直接返回给客户端,不需要再经过负载均衡器注意,由于RS需要对负载均衡器发过来的数据包进行还原,所以说必须支持IPTUNNEL协议所以,在RS的内核中,必须编译支持IPTUNNEL这个选项
优点:负载均衡器只负责将请求包分发给后端节点服务器,而RS将应答包直接发给用户。所以,减少了负载均衡器的大量数据流动,负载均衡器不再是系统的瓶颈,就能处理很巨大的请求量,这种方式,一台负载均衡器能够为很多RS进行分发。而且跑在公网上就能进行不同地域的分发。

缺点:隧道模式的RS节点需要合法IP,这种方式需要所有的服务器支持”IP Tunneling”(IP Encapsulation)协议,服务器可能只局限在部分Linux系统上。

三、直接路由模式(VS-DR)
原理:负载均衡器和RS都使用同一个IP对外服务但只有DR对ARP请求进行响应,所有RS对本身这个IP的ARP请求保持静默也就是说,网关会把对这个服务IP的请求全部定向给DR,而DR收到数据包后根据调度算法,找出对应的RS,把目的MAC地址改为RS的MAC(因为IP一致)并将请求分发给这台RS这时RS收到这个数据包,处理完成之后,由于IP一致,可以直接将数据返给客户,则等于直接从客户端收到这个数据包无异,处理后直接返回给客户端由于负载均衡器要对二层包头进行改换,所以负载均衡器和RS之间必须在一个广播域,也可以简单的理解为在同一台交换机上
优点:和TUN(隧道模式)一样,负载均衡器也只是分发请求,应答包通过单独的路由方法返回给客户端。与VS-TUN相比,VS-DR这种实现方式不需要隧道结构,因此可以使用大多数操作系统做为物理服务器。

缺点:(不能说缺点,只能说是不足)要求负载均衡器的网卡必须与物理网卡在一个物理段上

lvs nginx haproxy keeplived区别,优缺点?

lvs

1、抗负载能力强、工作在第4层仅作分发之用,没有流量的产生,这个特点也决定了它在负载均衡软件里的性能最强的;无流量,同时保证了均衡器IO的性能不会受到大流量的影响;
2、工作稳定,自身有完整的双机热备方案,如LVS+Keepalived和LVS+Heartbeat;
3、应用范围比较广,可以对所有应用做负载均衡;
4、配置性比较低,这是一个缺点也是一个优点,因为没有可太多配置的东西,所以并不需要太多接触,大大减少了人为出错的几率
1、软件本身不支持正则处理,不能做动静分离,这就凸显了Nginx/HAProxy+Keepalived的优势。
2、如果网站应用比较庞大,LVS/DR+Keepalived就比较复杂了,特别是后面有Windows Server应用的机器,实施及配置还有维护过程就比较麻烦,相对而言,Nginx/HAProxy+Keepalived就简单多了。

Nginx

1、工作在OSI第7层,可以针对http应用做一些分流的策略。比如针对域名、目录结构。它的正则比HAProxy更为强大和灵活;
2、Nginx对网络的依赖非常小,理论上能ping通就就能进行负载功能,这个也是它的优势所在;
3、Nginx安装和配置比较简单,测试起来比较方便;
4、可以承担高的负载压力且稳定,一般能支撑超过几万次的并发量;
5、Nginx可以通过端口检测到服务器内部的故障,比如根据服务器处理网页返回的状态码、超时等等,并且会把返回错误的请求重新提交到另一个节点;
6、Nginx不仅仅是一款优秀的负载均衡器/反向代理软件,它同时也是功能强大的Web应用服务器。LNMP现在也是非常流行的web环境,大有和LAMP环境分庭抗礼之势,Nginx在处理静态页面、特别是抗高并发方面相对apache有优势;
7、Nginx现在作为Web反向加速缓存越来越成熟了,速度比传统的Squid服务器更快,有需求的朋友可以考虑用其作为反向代理加速器;
1、Nginx不支持url来检测。
2、Nginx仅能支持http和Email,这个它的弱势。
3、Nginx的Session的保持,Cookie的引导能力相对欠缺。

Haproxy

1、HAProxy是支持虚拟主机的,可以工作在4、7层(支持多网段);
2、能够补充Nginx的一些缺点比如Session的保持,Cookie的引导等工作;
3、支持url检测后端的服务器;
4、它跟LVS一样,本身仅仅就只是一款负载均衡软件;单纯从效率上来讲HAProxy更会比Nginx有更出色的负载均衡速度,在并发处理上也是优于Nginx的;
5、HAProxy可以对Mysql读进行负载均衡,对后端的MySQL节点进行检测和负载均衡,不过在后端的MySQL slaves数量超过10台时性能不如LVS;
6、HAProxy的算法较多,达到8种;

三者对比

LVS: 是基于四层的转发
HAproxy: 是基于四层和七层的转发,是专业的代理服务器
Nginx: 是WEB服务器,缓存服务器,又是反向代理服务器,可以做七层的转发

区别: LVS由于是基于四层的转发所以只能做端口的转发
而基于URL的、基于目录的这种转发LVS就做不了

工作选择

HAproxy和Nginx由于可以做七层的转发,所以URL和目录的转发都可以做
在很大并发量的时候我们就要选择LVS,像中小型公司的话并发量没那么大
选择HAproxy或者Nginx足已,由于HAproxy由是专业的代理服务器
配置简单,所以中小型企业推荐使用HAproxy

如下url地址,各个部分的含义

https://www.baidu.com/s?word=123&ie=utf-8

http://www.aspxfans.com:8080/news/index.asp?boardID=5&ID=24618&page=1#name

从上面的URL可以看出,一个完整的URL包括以下几部分:
1、协议部分:该URL的协议部分为“http:”,这代表网页使用的是HTTP协议。在Internet中可以使用多种协议,如HTTP,FTP等等本例中使用的是HTTP协议。在"HTTP"后面的“//”为分隔符

2、域名部分:该URL的域名部分为“www.aspxfans.com”。一个URL中,也可以使用IP地址作为域名使用

3、端口部分:跟在域名后面的是端口,域名和端口之间使用“:”作为分隔符。端口不是一个URL必须的部分,如果省略端口部分,将采用默认端口80

4、虚拟目录部分:从域名后的第一个“/”开始到最后一个“/”为止,是虚拟目录部分。虚拟目录也不是一个URL必须的部分。本例中的虚拟目录是“/news/”

5、文件名部分:从域名后的最后一个“/”开始到“?”为止,是文件名部分,如果没有“?”,则是从域名后的最后一个“/”开始到“#”为止,是文件部分,如果没有“?”和“#”,那么从域名后的最后一个“/”开始到结束,都是文件名部分。本例中的文件名是“index.asp”。文件名部分也不是一个URL必须的部分,如果省略该部分,则使用默认的文件名

6、锚部分:从“#”开始到最后,都是锚部分。本例中的锚部分是“name”。锚部分也不是一个URL必须的部分

7、参数部分:从“?”开始到“#”为止之间的部分为参数部分,又称搜索部分、查询部分。本例中的参数部分为“boardID=5&ID=24618&page=1”。参数可以允许有多个参数,参数与参数之间用“&”作为分隔符

tomcat各个目录含义,如何修改端口,如何修改内存数?

bin、conf、lib、logs、temp、webapps、work
./bin/catalina设置内存
./conf/server.xml可以设置端口

nginx反向代理时,如何使后端获取真正的访问来源ip?

在代理服务器配置文件中添加参数
proxy_set_header  X-Real-IP  $remote_addr;
在后端web服务器配置
set_real_ip_from 192.168.1.1 ;
配置在http内server外

nginx负载均衡算法有哪些?

轮询,轮询加权,IP-hash,fair,url_hash,

如何进行压力测试?

ab

curl命令如何发送https请求?如何查看response头信息?如何发送get和post表单信息?

二、mysql

索引的为什么使查询加快?有啥缺点?

sql语句左外连接 右外连接 内连接 全连接区别
mysql数据备份方式,如何恢复?你们的备份策略是什么?

  1. 如何配置数据库主从同步,实际工作中是否遇到数据不一致问题?如何解决?
  2. mysql约束有哪些?
  3. 二进制日志(binlog)用途?
记录用户操作数据库的详细信息,以便恢复或者查询

mysql数据引擎有哪些?

MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)、EXAMPLE、FEDERATED、ARCHIVE、CSV、BLACKHOLE
最常见的也就是MyISAM和InnoDB了

如何查询mysql数据库存放路径?

查询mysql配置文件中存放路径配置

mysql数据库文件后缀名有哪些?用途什么?
如何修改数据库用户的密码?

mysql -u root -p
Enter password:***
mysql>use mysql;  选择数据库
Database changed 
mysql> UPDATE user SET password=PASSWORD("新密码") WHERE user='你的用户名';
mysql> FLUSH PRIVILEGES;
mysql> quit;

如何修改用户权限?如何查看?

grant all privileges on *.* to testuser@localhost identified by “123456” ;
show grants for test;

三、nosql

redis数据持久化有哪些方式?

RDB
AOF

redis集群方案有哪些?

哨兵,官方的RedisCluster

redis如何进行数据备份与恢复?

使用RDB文件的话,备份敲命令SAVE,BGSAVE。恢复直接重启Redis,它会自动读取备份文件

MongoDB如何进行数据备份?

mongodump,mongorestore

kafka为何比redis rabbitmq快?

他追求的就是高吞吐量,我啥办法,redis对于消息队列只是作为轻量型的支持,如果量大,那么效率还是低的,而rabbitmq可以处理比较重的数据量,但是因为他可靠性好的原因所以,效率肯定比不过kafka。,kafka是牛逼,但是可靠性很低。

四、docker

dockerfile有哪些关键字?用途是什么?

FROM 构建镜像是基于哪个镜像
MAINTAINER 镜像维护者信息
RUN 构建镜像时运行的Shell命令
COPY 拷贝文件或者目录到镜像中
ENV 设置环境变量
USER 为RUN,CMD和ENTERYPOINT执行命令指定运行用户
EXPOSE 声明容器运行的服务端口
HEALTHCHECK 容器中服务健康检查
WORKDIR 为RUN,CMD,ENTRTYPOINT,COPY和ADD设置工作目录
ENTRYPOINT 运行容器时执行,如果有多个ENTRYPOINT指令,最后一个生效
CMD 运行容器时执行,如果有多个CMD指令,最后一个生效

如何减小dockerfile生成镜像体积?

采用Alpine镜像 该镜像非常小,仅几M
能使用&&就不要使用两个RUN
distroless驱除容器中所有不必要的东西

dockerfile中CMD与ENTRYPOINT区别是什么?

如果一起存在那么CMD将会是后者的参数,后者是一定会执行的

dockerfile中COPY和ADD区别是什么?

用法相同,但ADD做的事情COPY有可能做不到,ADD可以是一个连接,但是COPY不可以

docker的cs架构组件有哪些?

Docker CLI(docker),Dockerd,Containerd,Containerd-shim,RunC

docker网络类型有哪些?

NAT,NONE,仅主机,联合网络

如何配置docker远程访问?

修改docker配置文件

/etc/docker/daemon.json
{
  "hosts" : ["unix:///var/run/docker.sock", "tcp://0.0.0.0:2375"]
}

docker核心namespace CGroups 联合文件系统功能是什么?
命令相关:导入导出镜像,进入容器,设置重启容器策略,查看镜像环境变量,查看容器占用资源

save load --restart ,docker exec {containerID} env

构建镜像有哪些方式?

docker commit,Dockerfile
轻量

28、docker的架构与内部组件

五、kubernetes

网络选型需要注意什么
etcd用的什么算法,简单解释—下
pod中penging状态,是什么原因产生的,pod出现问题,排查思路kubernetes发布策略(4种)
手写raft
你们监控用的什么,怎么利用普罗米修斯监控pod信息,k8s状态,如果你来设计相关的监控如何落地如果利用k8s实现滚动更新,我说的配置文件机制
statefulset是怎么实现滚动更新的?

kubectl exec实现的原理?
如何实现schedule水平扩展?为什么k8s要用申明式?
了解过endpointslice吗?怎么实现的?容器的驱逐时间是?
节点notready是什么导致的?notready会发生什么?api-server到etcd怎么保证事件不丢失?
sidecar要保证顺序启动怎么保证?几种方式可以做到?有了解过qos吗?怎么实现的?
详述kube-proxy原理
k8s的pause容器有什么用。是否可以去掉k8s的service和ep是如何关联和相互影响的StatefulSets和operatorl区别

kubernetes基础命令

使用默认补全bash-completion

yum install -y bash-completion
source <(kubectl completion bash)

k8s集群状态

Pending  (pod未调度,或者pod已经调度正在拉去镜像)
Running   (pod已经运行)
Failed    (pod内容运行停止)
success   (pod内运行成功结果)
Unknown    (Master与Node失联)

k8s的重启策略

Always:当容器终止退出后,总是重启容器,默认策略(不做配置的默认策略)
OnFailure:当容器异常退出(退出状态码非0)时,才能重启 (用于一些定时任务,我们已经知道他的他容器启动不需要从启,判定状态码不正常才会重启)
Never:当容器终止退出                                   (特定环境下,在环境下跑过任务,不管成功与否都不重启)

k8s的健康检查的类型

存活检查(livenesProbe):检查失败,将杀死容器,根据Pod的restartPolicy来操作。               (健康检查kubelet会帮你做)
就绪检查(readinessProbe):如果检查失败,K8s会把pod从service endpoints中剔除
启动检查(startProbe)               (1.16版本新加,主要是确定是你的容器是不是启动好了)。现在应用的少

检查方法

httpGet:发送HTTP请求,返回200-400范围状态码为成功
exec:执行shell命令返回状态吗是0为成功
tcpSocKet:发起TCP SocKet建立成功

1.测试集群状态

kubectl get cs
kubectl cluster-info

2.查看资源详细信息

kubectl describe (资源类型)name
3.查看k8s中最新的一些事件
kubectl get event

4.查看k8s的版本

kubectl version

5.打印受支持的api版本

api-versions

6.查看k8s资源

kubectl api-resources

7.对外暴露端口

kubectl expose deployment (暴露名字) --prot=80(容器内部端口) --target-port=8080(程序端口) --type=NodePort

8.查看暴露端口

kubectl    get svc

9.pod扩容

kubectl scale deployment (名称) --replicas=3(扩容成三个)

10.查看pod是否带有标签

kubectl get pods --show-labels

11.通过标签查询pod

kubectl get pods -l app=(名字)

12.查看集群命名空间

kubectl get namespace
-n 是指定命名空间 例如 (kubectl get pods -n kube-system)
k8s默认命名空间
default:默认命名空间
kube-system:k8s系统方面命名空间
kube-public:公开的命名空间,谁都可以访问
kube-node-lease:K8s内部命名空间
作用:将资源对象逻辑上隔离,从而形成多个虚拟集群
资源隔离,权限控制

13.创建命名空间

kubectl create namespace (命名空间名字)

14.创建pod

kubectl create deployment (名字) --image=(镜像名字,或者已经搭建好的环境镜像仓库)-n dafault

15.create命令生成成一个yaml文件

kubectl create deployment (名称)--image=(镜像名字,或者已经搭建好的环境镜像仓库)-n dafault --dry-run=client -o yaml > (要生成的yaml名称).yaml

16.调用yaml删除pods

kubectl delete -f (yaml)

17.删除一个暴露端口ls

kubectl delete svc (名字)

18.用get命令导出yaml

kubectl get deployment (名字) -o yaml > (导出名字).yaml

19.进入pod容器中

kubectl exec -it (pod名称) sh 
kubectl exec -it (pod名称) -c (指定pod名称) sh     (这种适用与一会pod多个容器需要-c指定,如果不指定默认进进入第一个容器)

20.查看pod日志

kubectl logs (pod名称)
kubectl logs (pod名称) -c (一个pod多容器指定)

21.删除一个pod

kubectl get deployment (查看deployment控制器)
kubectl delete deployment (pod名称) 
或者
kubectl delete pod (pod名称)

22.查看service关联的pod

service后面是有一个控制器管理pod的就是endpoints

kubectl get endpoints (可以简写ep)

k8s的集群组件有哪些?功能是什么?

master节点主要由apiserver、controller-manager和scheduler三个组件,以及一个用于集群状态存储的etcd存储服务组成,而每个node节点则主要包含kubelet、kube-proxy及容器引擎等组件。此外,完整的集群服务还依赖于一些附加组件,如kubedns等。
node节点主要有kube-proxy跟kubelet组件。

kubectl命令相关:如何修改副本数,如何滚动更新和回滚,如何查看pod的详细信息,如何进入pod交互?

kubectl scale
kubectl set image deployment web nginx=nginx1.17 --record
kubectl rollout history deploy web # 查看版本记录
kubectl rollout undo deployment web # 回滚到上一个版本
kubectl rollout undo deployment web --to-revision=1 # 也可以回滚到指定版本
kubectl describe pod
kubectl exec  pod -- bash 

etcd数据如何备份?

使用etcd自带的备份快照工具备份!

k8s控制器有哪些?

1:Deployment
2:StatefulSet
3:DaemonSet
4:Job
5:CronJob

哪些是集群级别的资源?

secret,pv,apiserver,etcd

pod状态有哪些?

Pending         等待中
Running         运行中
Succeeded       正常终止
Failed          异常停止
Unkonwn         未知状态

pod创建过程是什么?

step.1
kubectl 向 k8s api server 发起一个create pod 请求(即我们使用Kubectl敲一个create pod命令) 。
step.2
k8s api server接收到pod创建请求后,不会去直接创建pod;而是生成一个包含创建信息的yaml。
step.3
apiserver 将刚才的yaml信息写入etcd数据库。到此为止仅仅是在etcd中添加了一条记录, 还没有任何的实质性进展。
step.4
scheduler 查看 k8s api ,类似于通知机制。
首先判断:pod.spec.Node == null?
若为null,表示这个Pod请求是新来的,需要创建;因此先进行调度计算,找到最“闲”的node。
然后将信息在etcd数据库中更新分配结果:pod.spec.Node = nodeA (设置一个具体的节点)
ps:同样上述操作的各种信息也要写到etcd数据库中中。
step.5
kubelet 通过监测etcd数据库(即不停地看etcd中的记录),发现 k8s api server 中有了个新的Node;
如果这条记录中的Node与自己的编号相同(即这个Pod由scheduler分配给自己了);
则调用node中的docker api,创建container。

pod重启策略有哪些?

always:当容器退出时,总是重启容器,默认策略
onfailure:当容器异常退出(退出状态码非0)时,重启容器
nerver:当容器退出时,从不重启容器

资源探针有哪些?

存活性探针livenessProbe,就绪性探针readinessProbe

requests和limits用途是什么?

最小分配资源,最大分配资源。限定业务容器使用资源的大小

kubeconfig文件包含什么内容,用途是什么?

apiserver地址等,链接apiserver的授权文件

RBAC中role和clusterrole区别,rolebinding和 clusterrolebinding区别?

rolebinding对特定名称空间下的资源进行绑定授权,而clusterrole则是属于对整个集群资源的绑定授权

ipvs为啥比iptables效率高?

在运行超过一千个服务下两者都几乎是相同的表现,但是一千个服务以上,ipvs会比iptables好一些,抛开性能问题不谈,ipvs还有更多的负载均衡算法可供选择,其实iptables也可以达成负载均衡,但是我看过哪个iptables实现负载均衡的流程。单语句就多的可怕。

sc pv pvc用途,容器挂载存储整个流程是什么?

创建pv,创建pvc关联PV,创建pod关联去申请PVC。

nginx ingress的原理本质是什么?

nginx的反向代理

网络类型,描述不同node上的Pod之间的通信流程

k8s集群节点需要关机维护,需要怎么操作

打污点,驱除pod,

启动一个Deployment,Kubernetes做了什么?

1、什么是k8s?

kubernetes是google在2014年开源的一个容器集群管理系统,简称k8s。k8s应用于容器化应用程序的部署,扩展和管理,目标是让部署容器化应用简单高效。

2、有了docker为什么还要用k8s?

因为docker是单机无法集群,如果docker容器成规模的话,需要投入大量的管理成本,而k8s可以对docker进行集群编排,可以大规模的对docker容器进行管理,例如增删改查、弹性伸缩、负载均衡等等。所以说k8s是用来管理docker的,是相辅相成的关系。

3、master节点和node节点的作用?

master节点是集群控制节点,负责整个集群的控制和管理,基本上kubernetes所有的控制命令都是发给它的,由master节点负责具体的执行过程,所有执行的命令都是在master上执行的。

node节点是工作负载节点,每个node都会被master分配一些工作负载,当某个node宕机,其上的工作负载就会被master自动转移到其他的节点上。

4、k8s组件以及组件功能?

①APIserser:集群的统一入口,集群中各组件的协调者,以restful api接口方式提供给外部客户和内部组件使用,在APIserver中封装了核心对象的增删改查操作,所有对象资源的增删改查和监听操作都交给APIserver处理后再提交到ETCD数据库中。

②scheduler:k8s调度器,根据调度算法为新建立的pod进行节点选择,负责集群的资源调度。也就是说scheduler决定了副本创建在哪个节点上。

③controller-manager:控制器经理,处理集群中常规后台任务,一个资源对应一个控制器,controller-manager就是负责管理这些控制器的。

④etcd:NOSQL数据库,持久化储存,存储k8s所有组件,以及容器的信息,例如访问方式、副本数量、副本位置等。

④kubelet:负责管控容器,kubelet会从api server接受pod的创建请求,启动和停止容器,监控容器的运行状态并汇报给api server。

⑤kube-proxy:负责为pod创建代理服务,kube-proxy会从api server获取所有的service信息,并根据service的信息创建代理服务,实现service到pod的请求路由和转发,从而实现kubernetes层级的虚拟转发网络。

⑥docker engine:docker引擎,负责本机的容器创建和管理工作

5、k8s的特点?

服务发现与负载均衡

存储编排

批量执行

水平扩容

服务拓扑

自动化上线和回滚

自我修复

IPV4和IPV6双协议栈

6、什么是etcd?

etcd是CoreOS团队于2013年6月发起的开源项目,它的目标是构建一个高可用的分布式键值(key-value)数据库。在k8s集群中,负责持久化存储k8s所有的组件以及容器的信息,例如访问方式、副本数量、副本位置等。

7、kube-proxy四层负载和ingress七层负载是什么?

service是四层负载均衡,基于IP+端口进行负载均衡

ingress为七层负载均衡,就是基于URL等应用层信息的负载均衡

8、service的暴露方式?

clusetrIP:在集群内部建立一个稳定的IP地址,只能在集群内部使用,外部无法访问

NodePort:在每个节点上暴露一个端口,也会分配一个内部的IP,外部可以访问,端口范围为30000-32767

LoadBalancer:与NodePort类似,在每个节点上启用一个端口来暴露服务。除此之外,Kubernetes会请求底层云平台上的负载均衡器, 将每个Node([NodeIP]:[NodePort])作为后端添加进去。

9、docker网络原理?

首先创建一个docker0的网桥,使用veth pair创建一对虚拟网卡,一端放到新创建的容器中,并重命名eth0,另一端放到宿主机上,以veth+随机7个字符串命名,并将这个网络设备添加到docker0网桥中,网桥自动为容器分配一个IP,并设置docker0的IP为容器默认网关。所以容器默认网络都加入了这个网桥,因此都可以彼此通信,同时在iptables添加SNAT转换网络段IP,以便容器访问外网。

10、docker网络支持的模式有哪些?

①bridge:默认网络,IP地址段为172.17.0.1/16或者172.18.0.1/16

②host:容器不会获得一个独立的network namespace,而是与宿主机公用一个

③none:获取独立的network namespace,但不为容器进行任何网络配置

④container:与指定的容器使用同一个network namespace,网卡配置也都相同

⑤自定义:自定义网桥,默认与bridge网络一样

11、k8s中创建一个pod,组件是如何进行交互的?

kubectl提交指令给APIserver,APIserver通过etcd查重后,写入etcd中,scheduler接收到事件后,根据调度算法对要新建的pod打上标签,也就是说这个pod要创建到那个节点上,apiserver收到scheduler的调度结果后写入etcd中,node上的kubelet接收到事件后,从APIserver获得到pod的相关信息,然后调用docker api创建pod中所需的容器,创建完成后,kubelet会把这个pod的状态汇报给APIserver,APIserver把状态写入到etcd中。

10、pod的phase的几个状态?

pending(悬决)

running(运行中)

succeeded(成功)

failed(失败)

unknown(未知)

11、service存在的意义?

服务发现:因为在k8s集群中pod是短暂的,所以IP地址经常会发生变更,而service通过标签和pod进行绑定,所以不受IP改变影响。

负载均衡:service会对后方的pod进行四层负载均衡

12、service和pod的关系?

通过label和selecort进行相关联

pod通过service实现负载均衡

13、aufs是什么?

高级多层统一文件系统,是UFS的一种,每个branch可以指定读写和隐藏的权限,一般情况下,aufs只有最上层branch才有读写权限,其他branch均为只读。

14、service中NodePort的端口范围?

30000-32767

15、用户流量是如何到达pod的?

当用户流量到达宿主机后,iptables或者IPVS对该流量转发到相应的规则上去,最终达到pod

16、简述iptables和IPvs?

iptables灵活,功能强大,但是如果规则多的话转发较慢,因为是遍历匹配和更新。

IPVS推荐在大规模集群中使用,他工作在内核态,有更好的性能,而且调度算法丰富,例如rr(轮询),wrr(加权轮询),lc(最少连接),wlc(加权最少连接)等

17、简述TCP三次握手?

第一次握手:建立连接时,A发送syn包(syn=x)到B,并进入syn_sent状态,等待服务器确认。SYN:同步序列号(Synchronize Sequence Numbers)

第二次握手:B收到syn包,必须确认客户的syn(ack=x+1),同时自己也发送一个syn包(syn=y),即syn+ack包,此时B进入syn_recv状态;

第三次握手:A收到B的syn+ack包,向B发送确认包ack(ack=y+1),此包发送完毕以后,A和B进入established(tcp连接成功)状态,完成三次握手。

18、浏览器输入一个地址后,到展示页面中间经历了什么?

(1)浏览器刷入url,先解析url地址是否合法

(2)浏览器检查是否有缓存(浏览器缓存-系统缓存-路由器缓存),如果有,直接显示,如果没有,进行下一步

(3)在发送http请求前,需要域名解析,解析获取队形的IP地址

(4)浏览器向服务器发起tcp连接,与浏览器建立tcp三次握手。

(5)连接成功后,浏览器向服务器发送http请求,请求数据包

(6)服务器收到处理的请求,将数据返回至浏览器

(7)浏览器收到http响应

(8)浏览器解析响应,如果响应可以缓存,则存入缓存

(9)浏览器发送请求获取嵌入在html中的资源(html,css,javascript,图片,音乐等),对于未知类型,会弹出对话框

(10)浏览器发送异步请求

(11)页面全部渲染结束

19、简述lvs四层负载均衡?

20、简述haproxy七层负载均衡?

21、简述keepalived高可用集群?

22、简述正反向代理?

正向代理

只用于代理内部网络对Internet的连接请求,客户机必须指定代理服务器,并将本来要直接发送到Web服务器上的http请求发送到代理服务器中,正向代理指的是客户端代理,是由用户控制并知晓的代理方式,如我不能访问fb,然后使用了某国外服务器作为跳板机,最后成功访问了就是正向代理。

反向代理

指以代理服务器来接受Internet上的连接请求,然后将请求转发给内部网络上的服务器;并将从服务器上得到的结果返回给Internet上请求连接的客户端,此时代理服务器对外就表现为一个服务器,反向代理指的是服务端代理,在大型网站背后并不是只有一台机器提供服务,比如我访问微博,微博的某一个反向代理服务器将我解析到内部服务器的一台机器,然后这台机器给我提供微博的消息(当然实际情况比这个复杂的多),这些对于用户都是不可见的,我们只会感觉只有一台机器与我交互。

24、描述不同node上的Pod之间的通信过程?

25、CPU负载和CPU利用率有什么不同?

  • CPU利用率:显示的是程序在运行期间实时占用的CPU百分比
  • CPU负载:显示的是一段时间内正在使用和等待使用CPU的平均任务数。CPU利用率高,并不意味着负载就一定大。举例来说:如果我有一个程序它需要一直使用CPU的运算功能,那么此时CPU的使用率可能达到100%,但是CPU的工作负载则是趋近于“1”,因为CPU仅负责一个工作嘛!如果同时执行这样的程序两个呢?CPU的使用率还是100%,但是工作负载则变成2了。所以也就是说,当CPU的工作负载越大,代表CPU必须要在不同的工作之间进行频繁的工作切换。

26、pause有什么作用?

为每个容器提供以下功能

  • PID名称空间
  • 网络命名空间
  • IPC命名空间
  • UTS命名空间
  • Pod中各个容器可以访问在Pod级别定义得Volumes

29、Ingress都了解那些控制器?

  • Nginx Controller
  • Traefik

30、pod亲和力

因为在每个节点上都会暴露一个端口,那么每个节点就都需要一个公网IP,所以适合用于云平台

六、prometheus

prometheus对比zabbix有哪些优势?

Zabbix 的成熟度更高,上手更快,但更好的集成导致灵活性较差,问题更大是,监控数据的复杂度增加后,Zabbix 做进一步定制难度很高,即使做好了定制,也没法利用之前收集到的数据了(关系型数据库造成的问题)。Prometheus 基本上是正相反,上手难度大一些,但由于定制灵活度高,数据也有更多的聚合可能,起步后的使用难度远小于 Zabbix。但如果已经对传统监控系统有技术积累的话,还是要谨慎考虑更换监控。
物理机推荐zabbix,云环境推荐prometheus

prometheus组件有哪些,功能是什么?

Prometheus Server:
Prometheus组件中的核心部分,负责实现对监控数据的获取,存储以及查询。
Exporters:
Exporter将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server,Prometheus Server通过访问该Exporter提供的Endpoint端点,即可获取到需要采集的监控数据。
AlertManager:
告警组件
PushGateway:
由于Prometheus数据采集基于Pull模型进行设计,因此在网络环境的配置上必须要让Prometheus Server能够直接与Exporter进行通信。

指标类型有哪些?

Counter(计数器):
Counter 类型代表一种样本数据单调递增的指标,即只增不减,除非监控系统发生了重置。
Guage(仪表盘):
Guage 类型代表一种样本数据可以任意变化的指标,即可增可减。guage 通常用于像温度或者内存使用率这种指标数据,也可以表示能随时增加或减少的“总数”,例如:当前并发请求的数量。
Histogram(直方图):固定时间段数据平均值
Summary(摘要):固定时间段数据平均值

在应对上千节点监控时,如何保障性能

根据业务需求,自定义exporter,取消不必要采集的值。或使用联邦,或者Thanos

(降低采集频率,缩小历史数据保存天数,使用集群联邦和远程存储)
简述从添加节点监控到grafana成图的整个流程

在节点安装好exporter之后,在prometheus配置采集任务。然后grafana添加数据源,然后新建dashborad或者导入Grafana官方模板。

在工作中用到了哪些exporter

mysql-exporter node-exporter Cadvisor redis-exporter

七、ELK

Elasticsearch的数据如何备份与恢复?

相应的有脚本

你们项目中使用的logstash过滤器插件是什么?实现哪些功能?

是否用到了filebeat的内置module?用了哪些?

没用

kibana如何自定义图表和仪表盘?

简单

elasticsearch分片副本是什么?你们配置的参数是多少?

八、运维开发

备份系统中所有镜像
编写脚本,定时备份某个库,然后压缩,发送异机

  1. (注意:①公共部分定义函数,如获取时间戳,配置报警接口②异常处理,如数据库大,检测任务是否完成。检测生成文件大小是否是空文件)
  2. 批量获取所有主机的系统信息
  3. t config
    1git gitlab jenkins的CICD流程如何配置

九、日常工作

在日常工作中遇到了什么棘手的问题,如何排查

(①redis弱口令导致中挖矿病毒,排查,优化②k8s中开发的程序在用户上传文件时开启进程,未及时关闭,导致节点超出最大进程数)

CDN文件http,莫名负载增高,es日志文件莫名达到十几个G,内存溢出。莫名机器故障重启。

日常故障处理流程

以首要恢复业务优先,其次查找故障原因,事故定则

修改线上业务配置文件流程

备份业务配置文件,并且附加相关备份说明。修改后的配置文件需增加相关修改注释

业务pv多少?集群规模多少?怎么保障业务高可用? 国内8w, 海外2w , 国内26(20),海外 10。微服务架构

十、开放性问题

你认为初级运维工程师和高级运维工程师的区别?(初级干活的,会操作,顺利完成领导安排的任务。高级优化架构,研究如何避免问题,研究新技术并引用)
你认为未来运维发展方向(自动化,智能化)

添加新评论