技术标签: java Linux 网络 linux 大数据 centos
大数据产生与处理系统是各种计算设备集群的,计算设备将统一、同步的标准时间用于记录各种事件发生时序,
如E-MAIL信息、文件创建和访问时间、数据库处理时间,云计算服务(比如,openstack),各类web集群,mysql,redis集群等等基于分布式部署的各类系统。
大数据系统内不同计算设备之间控制、计算、处理、应用等数据或操作都具有时序性,若计算机时间不同步,这些应用或操作或将无法正常进行。大数据系统是对时间敏感的计算处理系统,时间同步是大数据能够得到正确处理的基础保障,是大数据得以发挥作用的技术支撑。大数据时代,整个处理计算系统内的大数据通信都是通过网络进行。时间同步也是如此,利用大数据的互联网络传送标准时间信息,实现大数据系统内时间同步。当然了,分布式云计算等各类集群同样的需要高精度时间同步。(道理都是一样的)。
网络时间同步协议(NTP)是时间同步的技术基础。
一、什么是NTP
NTP是用来使计算机时间同步化的一种协议,全称是Network Time Protocol。它可以在大规模的设备范围内同步矫正时间到几ms级别的精度,在网络稳定的局域网内,精度甚至可以达到微秒级别。 V1版本在1988年6月推出,主要RFC为RFC-1059;今天我们大规模使用的V4版本的NTP,还没有正式的RFC出版,但是简单的协议内容,在RFC2030里已有描述。
二, 计算机内的时间管理
首先,了解几个基础概念。
(一),计算机Linux的时间纪元是1970年1月1号0点0分0秒,Unix 时间戳是一种时间表示方式,定义为从格林尼治时间 1970年01月01日 00时00分00秒 起至现在的总秒数,不考虑闰秒。如果,有学习过编程,那么,各种编程语言的时间戳应该指的就是这个,由此编写的各类程序涉及到的时间都以这个Unix时间戳为基准)。(邮戳和时间戳很象,了解一下?)
(二),现实中的时间
肯定经常听说卫星授时,格林威治授时(以往电视机常使用),这时候就需要知道,格林威治了,格林尼治标准时间(Greenwich Mean Time,GMT)是指位于伦敦郊区的皇家格林尼治天文台的标准时间。
现在的标准时间——协调世界时(UTC)——由原子钟提供。 自1924年2月5日开始,格林尼治天文台每隔一小时会向全世界发放调时信息。而UTC是基于标准的GMT提供的准确时间。说人话,现在一般都是使用UTC,也就是原子钟统一同步全世界的时间。但,时间戳是1970年(数字世界内)。
(三),二十四时区
现实中的时间是以天文观测而得来的,但每个地理实际位置的太阳升起和落下的时间并不相同并且差异比较大,这就造成了时间的混乱,1884年在华盛顿召开的一次国际经度会议上,规定将全球划分为24个时区。它们是中时区(零时区)、东1-12区,西1-12区。每个时区横跨经度15度,时间正好是1小时。最后的东、西第12区各跨经度7.5度,以东、西经180度为界。每个时区的中央经线上的时间就是这个时区内统一采用的时间,称为区时。相邻两个时区的时间相差1小时。
(四),程序的本地化
由于时区的存在,所以在编程的时候,有本地化和国际化的概念,那么,我们运行和维护这些编程出来的软件势必也需要与时俱进的本地化或者国际化工作了,说人话,把时间按照本地的时区设置,同时,ntp服务器自然的也需要本地化了。
中国是地域辽阔的,横跨三个时区,但我们全国一般统一使用东8区,全国的时间一般叫北京时间,其实,北京时间就是东8区。
三,计算机都有哪些时间?
硬件时间,主板的coms存储着时间,经常动计算机硬件的都知道,把纽扣电池放电后,在开机时间会改变成出厂时间。其计时主要依靠主板上的石英晶振。
系统软件时间,系统的时间并不会和主板通信保持时间同步,而是自行一套。因此,ntp就成了系统和外界同步时间的一个协议了。
四,Linux系统的时间
安装Linux的时候,我们都知道有一个步骤是设定时区的,也就是一个世界地图,让你选择一个你所在的位置,通常选择上海,那,如果当时乱设定的,现在需要更改回东8区呢?
首先,
[root@centos7 ~]# date +"%Z%z"
CST+0800
当然,我这个是正确的,东8区,上海,如果查询的不是,请执行下面的命令:
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
五,正式的搭建ntp服务器,给局域网内的其它机器提供授时服务,以同步全局域网内的时间,保持一致,提供集群部署的环境。
ntp服务器:IP 192.168.0.16 centos7版本
客户端:IP 192.168.0.17 centos7版本
通常,最小化安装是没有ntpd服务这个软件的,需要yum安装,如果图形化安装,系统可能自带的ntp服务并不符合要求,因此,需要重新安装ntpd,安装命令为:
yum install ntp -y
六,修改ntp服务器的 /etc/ntp.conf
[root@centos6 ~]# vim /etc/ntp.conf
在修改配置文件之前,先说一下restrict,这个单词的意思为约束,也就是控制ntpd服务的服务范围
权限的设定主要以restrict这个参数来设定,主要的语法为:
restrict IP地址 mask 子网掩码 参数
其中IP可以是IP地址也可以是default,default是指所有的IP,默认是default,我这里没有修改,如果为了安全可以将default替换为网段,192.168.0.16/24
参数主要有以下几个:
ignore :关闭所有的 NTP 联机服务
nomodify:客户端不能更改服务端的时间参数,但是客户端可以通过服务端进行网络校时。
notrust:客户端除非通过认证,否则该客户端来源将被视为不信任子网
noquery:不提供客户端的时间查询
0层的服务器采用的是原子钟、GPS钟等物理设备,stratum 1与stratum 0 是直接相连的,
往后的stratum与上一层stratum通过网络相连,同一层的server也可以交互。
ntpd对下层client来说是service server,对于上层server来说它是client。
server host [ key n ] [ version n ] [ prefer ] [ mode n ] [ minpoll n ] [ maxpoll n ] [ iburst ]
其中host是上层NTP服务器的IP地址或域名,随后所跟的参数解释如下所示:
◆ key: 表示所有发往服务器的报文包含有秘钥加密的认证信息,n是32位的整数,表示秘钥号。
◆ version: 表示发往上层服务器的报文使用的版本号,n默认是3,可以是1或者2。
◆ prefer: 如果有多个server选项,具有该参数的服务器优先使用。
◆ mode: 指定数据报文mode字段的值。
◆ minpoll: 指定与查询该服务器的最小时间间隔为2的n次方秒,n默认为6,范围为4-14。
◆ maxpoll: 指定与查询该服务器的最大时间间隔为2的n次方秒,n默认为10,范围为4-14。
◆ iburst: 当初始同步请求时,采用突发方式接连发送8个报文,时间间隔为2秒。
【命令】ntpq -p
remote:本机和上层ntp的ip或主机名,“+”表示优先,“*”表示次优先
refid:参考上一层ntp主机地址
st:stratum阶层
when:多少秒前曾经同步过时间
poll:下次更新在多少秒后
reach:已经向上层ntp服务器要求更新的次数
delay:网络延迟
offset:时间补偿
jitter:系统时间与bios时间差
根据以上的配置解释,可以得出,配置文件的内容为:
driftfile /var/lib/ntp/drift #系统时间与BIOS事件的偏差记录
restrict default nomodify notrap nopeer noquery#不限制,所有主机都可连接这个服务器同步时间。
restrict 127.0.0.1
restrict ::1
server ntp1.aliyun.com prefer#阿里云的时间服务器
server ntp.sjtu.edu.cn iburst#上海交大的时间服务器
server 127.127.1.0 # local clock#本地的时间服务器,本机,当上面两个不管事的时候,客户端就同步本地时间
fudge 127.127.1.0 stratum 15
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
disable monitor
服务端服务加入开机,并启动服务:
systemctl enable ntpd && systemctl start ntpd
等待5到10分钟,执行 ntpq -p就可以看到 服务器已经与上级时间服务器同步了
[root@centos6 ~]# ntpq -p
remote refid st t when poll reach delay offset jitter
==============================================================================
*120.25.115.20 10.137.53.7 2 u 48 64 377 80.266 -2.086 5.485
+amy.chl.la 145.238.203.14 2 u 26 64 357 276.593 21.719 4.769
LOCAL(0) .LOCL. 15 l 765 64 0 0.000 0.000 0.000
查看服务器ntp服务状态:
[root@centos6 ~]# ntpstat
synchronised to NTP server (51.75.17.219) at stratum 3
time correct to within 1121 ms
polling server every 64 s
同步了一个法国服务器??不太清楚怎么回事(猜测授时服务是法国的那个服务器,阿里云的同步它,我们又找阿里云同步),表示同步上级时间服务器成功。
如果输出是这样的:
[root@centos6 ~]# ntpstat
unsynchronised
polling server every 64 s
表示服务器同步上级时间服务器失败,将 fudge 127.127.1.0 stratum 15 这一行的数值调为最高的15(stratum的取值范围为0到15),重启ntpd服务即可。
==============================================================================
客户端的 /etc/ntp.conf 文件的配置:
[root@centos7 ~]# vim /etc/ntp.conf
driftfile /var/lib/ntp/drift
restrict default nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict ::1
server 192.168.0.16 prefer#指定上级时间服务器是16,优先等级高。
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
disable monitor
客户端的同步命令:
[root@centos7 ~]# ntpdate 192.168.0.16
14 Oct 00:47:44 ntpdate[12748]: adjust time server 192.168.0.16 offset 0.022544 sec
可以看到,已经与192.168.0.16同步了,而192.168.0.16已经与阿里的时间服务器同步了,也就是说阿里的授时是准确的,那么,现在客户端的都是正确的同步的时间了。
将该同步命令加入定时服务,就可以保证服务器和客户端的同步了。
server 192.168.0.16 prefer
在写这个博客的时候,也参考了一些前辈的资料,但他们大都是复制黏贴,感觉问题没有说明白。那,象我这样的架构其实是服务器端ntpd方式(利用ntpd协议)从上级服务器拉取同步时间,客户端是命令ntpdate+服务器IP同步,这样就造成了时钟的跃变问题。
到底什么是时钟跃变?很简单,ntpdate命令更新时间是线性的更新,这就造成有可能两个时间点(更新前是一个时间点,更新后是一个时间点)时间倒流(比如更新前时间是0点0分5秒,更新后时间是0点0分0秒),或者两个时间点不变,这就造成了时间静止,例如,如果ntpdate发现你的时间快了,则可能会经历两个相同的时刻,对某些应用而言,这是致命的。
说人话,命令并不可靠,执行时间,网络因素等影响它的准确率。
在客户端,你可以试试 systemctl start ntpd &&systemctl enable ntpd(这时,是ntpd同步时间方式),然后执行ntpdate 192.168.0.16.这时会报错哦,提示socker被占用,此时就是两个服务器之间ntpd同步,而不是c/s架构同步了。
[root@centos7 ~]# ntpdate 192.168.0.16
14 Oct 12:53:31 ntpdate[9615]: the NTP socket is in use, exiting
这时候会提示报错,socket被占用,无法通信。
这时查看ntp状态为,提示同步不成功。
[root@centos7 ~]# ntpstat
unsynchronised
time server re-starting
polling server every 8 s
不用担心,等待5到10分钟后,在执行ntpstat。
[root@centos7 ~]# ntpstat
synchronised to NTP server (192.168.0.16) at stratum 4
time correct to within 998 ms
polling server every 64 s
这时候可以看到 998毫秒内,客户端同步服务端成功,下次同步时间为64秒后。
[root@centos7 ~]# ntpq -p
remote refid st t when poll reach delay offset jitter
==============================================================================
*192.168.0.16 120.25.115.20 3 u 65 64 377 0.535 7.201 2.849
可以看到上级服务器是192.168.0.16,这个服务器的上级是阿里云服务器120.25.115.20。这时候的同步方式就是类似服务器端的平滑的ntpd同步时间方式了。(不会有时钟跃变的问题)。
在实际的生产环境中,比如私有云服务器的搭建,Hadoop集群搭建的时候,都是使用ntpd方式同步时间。禁止使用crontab计划任务通过ntpdate命令同步时间。
NTPD 在和时间服务器的同步过程中,会把 BIOS 计时器的振荡频率偏差——或者说 Local Clock 的自然漂移(drift)——记录下来。记录的值在 配置文件 /etc/ntp.conf 文件内定义的driftfile /var/lib/ntp/drift 这个路径,这样即使网络有问题,本机仍然能维持一个相当精确的走时。这是能够消除时钟跃变的主要原因。ntpd不仅仅是时间同步服务器,它还可以做客户端与标准时间服务器进行同步时间,而且是平滑同步,并非ntpdate立即同步,在生产环境中慎用ntpdate,也正如此两者不可同时运行。
ntp服务器的运行参数应该有-x,该参数是表示平滑同步,需要修改 /etc/sysconfig/ntpd
服务器端修改:
[root@centos6 ~]# vim /etc/sysconfig/ntpd
# Command line options for ntpd
OPTIONS="-x -g"
SYNC_HWCLOCK=yes
重启服务使之生效:
systemctl restart ntpd && systemctl status ntpd 输出内容如下:
[root@centos6 ~]# systemctl status ntpd
● ntpd.service - Network Time Service
Loaded: loaded (/usr/lib/systemd/system/ntpd.service; enabled; vendor preset: disabled)
Active: active (running) since Wed 2020-10-14 16:13:07 CST; 5min ago
Process: 17444 ExecStart=/usr/sbin/ntpd -u ntp:ntp $OPTIONS (code=exited, status=0/SUCCESS)
Main PID: 17445 (ntpd)
CGroup: /system.slice/ntpd.service
└─17445 /usr/sbin/ntpd -u ntp:ntp -x -g #看到这个就代表可以平滑的同步了
。。。。。。。。。。。
[root@centos7 ~]# ntpstat
synchronised to NTP server (192.168.0.16) at stratum 4
time correct to within 57 ms
polling server every 128 s
[root@centos7 ~]# ntpq -p
remote refid st t when poll reach delay offset jitter
==============================================================================
*192.168.0.16 120.25.115.20 3 u 66 128 377 0.704 -0.715 1.920
这是整个系统搭建完毕20分钟,客户端的数值,我们可以同上面的数值对比发现,
time correct to within 57 ms明显减少了,
polling server every 128 s 同步间隔明显增大了,因为时间越来越精确了(和时间服务器比时间越不精确,同步间隔越小)
offset 更趋近于0了,jitter的绝对值也更小了。
remote:响应这个请求的NTP服务器的名称。
refid:NTP服务器使用的上一级ntp服务器。
st :remote远程服务器的级别.由于NTP是层型结构,有顶端的服务器,多层的Relay Server再到客户端.所以服务器从高到低级别可以设定为1-16.为了减缓负荷和网络堵塞,原则上应该避免直接连接到级别为1的服务器的.
when: 上一次成功请求之后到现在的秒数。
poll : 本地机和远程服务器多少时间进行一次同步(单位为秒).在一开始运行NTP的时候这个poll值会比较小,那样和服务器同步的频率也就增加了,可以尽快调整到正确的时间范围,之后poll值会逐渐增大,同步的频率也就会相应减小
reach:这是一个八进制值,用来测试能否和服务器连接.每成功连接一次它的值就会增加
delay:从本地机发送同步要求到ntp服务器的round trip time
offset:主机通过NTP时钟同步与所同步时间源的时间偏移量,单位为毫秒(ms)。offset越接近于0,主机和ntp服务器的时间越接近
jitter:这是一个用来做统计的值.它统计了在特定个连续的连接数里offset的分布情况.简单地说这个数值的绝对值越小,主机的时间就越精确
文章浏览阅读3.3k次,点赞7次,收藏39次。CPU 执行现行程序的过程中,出现某些急需处理的异常情况或特殊请求,CPU暂时中止现行程序,而转去对异常情况或特殊请求进行处理,处理完毕后再返回现行程序断点处,继续执行原程序。void 函数名(void) interrupt n using m {中断函数内容 //尽量精简 }编译器会把该函数转化为中断函数,表示中断源编号为n,中断源对应一个中断入口地址,而中断入口地址的内容为跳转指令,转入本函数。using m用于指定本函数内部使用的工作寄存器组,m取值为0~3。该修饰符可省略,由编译器自动分配。_51单片机中断篇
文章浏览阅读396次。项目经验(案例一)项目时间:2009-10 - 2009-12项目名称:中驰别克信息化管理整改完善项目描述:项目介绍一,建立中驰别克硬件档案(PC,服务器,网络设备,办公设备等)二,建立中驰别克软件档案(每台PC安装的软件,财务,HR,OA,专用系统等)三,能过建立的档案对中驰别克信息化办公环境优化(合理使用ADSL宽带资源,对域进行调整,对文件服务器进行优化,对共享打印机进行调整)四,优化完成后..._网络工程师项目经历
文章浏览阅读1k次,点赞31次,收藏30次。LVS:Linux Virtual Server,负载调度器,内核集成, 阿里的四层SLB(Server Load Balance)是基于LVS+keepalived实现。NATTUNDR优点端口转换WAN性能最好缺点性能瓶颈服务器支持隧道模式不支持跨网段真实服务器要求anyTunneling支持网络private(私网)LAN/WAN(私网/公网)LAN(私网)真实服务器数量High (100)High (100)真实服务器网关lvs内网地址。
文章浏览阅读899次。https://www.toutiao.com/a6713171323893318151/作者 | 黄小邪/言有三编辑 | 黄小邪/言有三图像预处理算法的好坏直接关系到后续图像处理的效果,如图像分割、目标识别、边缘提取等,为了获取高质量的数字图像,很多时候都需要对图像进行降噪处理,尽可能的保持原始信息完整性(即主要特征)的同时,又能够去除信号中无用的信息。并且,降噪还引出了一..._噪声很大的图片可以降噪吗
文章浏览阅读152次。目录谨慎地覆盖cloneCloneable接口并没有包含任何方法,那么它到底有什么作用呢?Object类中的clone()方法如何重写好一个clone()方法1.对于数组类型我可以采用clone()方法的递归2.如果对象是非数组,建议提供拷贝构造器(copy constructor)或者拷贝工厂(copy factory)3.如果为线程安全的类重写clone()方法4.如果为需要被继承的类重写clone()方法总结谨慎地覆盖cloneCloneable接口地目的是作为对象的一个mixin接口(详见第20_为继承设计类有两种选择,但无论选择其中的
文章浏览阅读958次,点赞21次,收藏24次。今天学长向大家分享一个毕业设计项目基于协同过滤的电影推荐系统项目运行效果:项目获取:https://gitee.com/assistant-a/project-sharing21世纪是信息化时代,随着信息技术和网络技术的发展,信息化已经渗透到人们日常生活的各个方面,人们可以随时随地浏览到海量信息,但是这些大量信息千差万别,需要费事费力的筛选、甄别自己喜欢或者感兴趣的数据。对网络电影服务来说,需要用到优秀的协同过滤推荐功能去辅助整个系统。系统基于Python技术,使用UML建模,采用Django框架组合进行设
文章浏览阅读614次。10G SFP+光模块被广泛应用于10G以太网中,在下一代移动网络、固定接入网、城域网、以及数据中心等领域非常常见。下面易天光通信(ETU-LINK)就为大家一一盘点下10G SFP+光模块都有哪些吧。一、10G SFP+双纤光模块10G SFP+双纤光模块是一种常规的光模块,有两个LC光纤接口,传输距离最远可达100公里,常用的10G SFP+双纤光模块有10G SFP+ SR、10G SFP+ LR,其中10G SFP+ SR的传输距离为300米,10G SFP+ LR的传输距离为10公里。_10g sfp+
文章浏览阅读239次。该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置:项目技术:Express框架 + Node.js+ Vue 等等组成,B/S模式 +Vscode管理+前后端分离等等。环境需要1.运行环境:最好是Nodejs最新版,我们在这个版本上开发的。其他版本理论上也可以。2.开发环境:Vscode或HbuilderX都可以。推荐HbuilderX;3.mysql环境:建议是用5.7版本均可4.硬件环境:windows 7/8/10 1G内存以上;_基于vue美食网站源码
文章浏览阅读62次。oldwain随便写@hexun链接:http://oldwain.blog.hexun.com/ ...
文章浏览阅读843次,点赞16次,收藏22次。用这个工具扫描其它网站时,要注意法律问题,同时也比较慢,所以我们以之前写的登录页面为例子扫描。_sqlmap拖库
文章浏览阅读1.5w次,点赞5次,收藏38次。Origin也能玩转图片的拼接组合排版谭编(华南师范大学学报编辑部,广州 510631)通常,我们利用Origin软件能非常快捷地绘制出一张单独的绘图。但是,我们在论文的撰写过程中,经常需要将多种科学实验图片(电镜图、示意图、曲线图等)组合在一张图片中。大多数人都是采用PPT、Adobe Illustrator、CorelDraw等软件对多种不同类型的图进行拼接的。那么,利用Origin软件能否实..._origin怎么把三个图做到一张图上
文章浏览阅读4.2k次,点赞4次,收藏51次。51单片机智能电风扇控制系统仿真设计( proteus仿真+程序+原理图+报告+讲解视频)仿真图proteus7.8及以上 程序编译器:keil 4/keil 5 编程语言:C语言 设计编号:S0042。_电风扇模拟控制系统设计