怎么搭建服务器集群目前大型应用程序都采用一个应用程序架设在多个Linux服务器上的架构


昨晚简单搭建了keepalived+lvs高可用集群

昨晚简单搭建了keepalived+lvs高可用集群,下面是keepalived工作过程,

keepalived是一个基于vrrp(虚拟路由冗余协议)来实现lvs服务高可用方案的,能够检测服务器的状态,解决服务单点故障的问题。在两台lvs服务器上分别运行keepalived,为一主(master)一备(backup),但是对外只表现为一个虚拟的VIP地址(心跳),主服务器会发送特定的消息给备服务器,当备服务器收不到这个消息的时候,会认为主服务器宕机了,备服务器就会接管虚会自动跳到备上,此时备变成了主,继续提供服务,从而保证了高可用,keepalived是vrrp的完美实现。

解释:

1,高可用集群:尽可能的保障服务状态的可用性
2,vrrp:虚拟路由冗余协议,解决静态网关单点故障问题

一直使用云服务

一直使用云服务,自己搭建集群考验实操能力!

昨天和今天一直在准备和部署货检,投产后的首次服务端功能更新,加上技术架构升级,主要是MySQL数据库主从和版本管理机制,更新脚本配置文件。
 

1,     MySQL主从数据同步,一个主服务器,两个从服务器,自动备份数据,从库可以作为数据查询分析时的只读数据源。

2,     版本管理和代码对应起来,制定发布计划包括代码整合、Docker镜像制作、标签和版本号、脚本配置,明确工程师分工配合方式。

3,     试验Nginx堡垒机映射服务,因为WebSocket配置没有准备好,昨天没有完成,今早发布没有包含。下午另一位工程师试验成功,部署到测试环境运行一段时间看看效果。
 

4,     跟进问题排查,子系统连接失败引起日志信息占满磁盘空间,因为没有正确配置日志大小的限制,所以引起故障。先是清理了部分无用文件腾出空间,然后停止了同方服务。
 
对知识的系统学习有助于全面掌握和应用到实际工作中,比如这次的日志占满磁盘问题,如果正确的配置了Docker日志参数就可以避免掉。前年写Docker技术专栏时学习整理的还算全面,不过当时没有关注到日志配置这个知识点,现在以解决问题的方式补回来了。
 

5,     关注现场的几个问题,没有直接参与企微群里的讨论。比如货物运单号重复时的错误排查,C2000和Moxa光电设备信息不稳定,图片比对方案的评估。放手给工程师负责不同的模块和任务,各司其职,逐步提高团队的战斗力。

6,     明确版本发布计划,每周四发布一个大版本,紧急问题修复可以每天安排hotfix。发布时间段从早上8点半开始,9点前结束。明天计划发布一个hotfix,修复后台管理的一个页面bug,增加Docker日志大小配置。有个潜在的风险是操作时缩小了日志空间,Docker容器需要删除多出来的日志文件,可能比较耗时。
 

7,     讨论研发工时管理,如何对工时进行分级分类,统计总工时和有效工时。在收集基础工时数据的基础上,达到的目的是可以客观地计算项目人力成本。待整理具体的工时分类和执行方案。
 
昨天面试了一个应届毕业生,厦门理工学院,物联网工程。专业挺好,学校也不错。面试表现不好,对专业知识了解较少,比如实习时作为测试工程师,知道如何使用Postman工具和F12查看错误信息,但是没有掌握测试方法,以及测试用例的管理方法。人事问他今年毕业到现在还没有找到工作,是否有总结和调整,比如面试时的表达,专业知识的准备。回答时不够积极主动,显得缺少热情。

专栏

JeecgBoot低代码快速开发实战

华为在莫斯科建设基于Arm架构处理器的服务器集群:

华为在莫斯科建设基于Arm架构处理器的服务器集群:

近日,华为利用其在俄罗斯莫斯科建立了一个基于 Arm架构的服务器群,用以支持数据中心的建设,该设施主要面向莫斯科学术科研部门,以满足这部分用户使用超级计算和开源软件进行高负载计算的需求。

该服务器集群采用华为泰山服务器,处理器为海思开发的鲲鹏 920 ,采用 Armv8架构设计,可扩展至 64 个内核,TDP为180W, 最高运行频率为 2.6 GHz ,支持八通道DDR4 -2933内存。

鲲鹏 920 Arm SoC 采用台积电7纳米工艺制造,但去年9月后,台积电已经停止生产交付,因此这一批服务器集群所采用的处理器可能是库存。

有些朋友可能会质疑Arm架构处理器的服务器是否靠谱?其实这种担心是多余的,因为服务器不同于普通的终端家里电脑,它主要目的不是用于办公娱乐,而是用于海量数据计算。

比如,(从终端用户那里)接收、(向终端用户)发送、处理和存储数据,只要保持服务器和各种终端(包括电脑、手机等等)双方进行数据通信交换的格式和标准通用即可。

这样说可能对很多普通朋友来说仍然不好理解,举个简单的例子,比如我们在西瓜发视频,我们制作好之后,要上传“发送”给服务器,服务器要“接收”,然后要在后台作适当审核,技术处理,然后再“保存”,最后再“发送”推送给其它用户。

因此在这个所有的环节中,服务器只要保持用户的这所有功能可用,具体采用的是什么类型的处理器、架构和操作系统,对最终用户来说都是不重要的,对运营这些业务的公司来说,首要考虑的是服务器的软硬件成本、稳定性和性能。

因此,采用Arm处理器的服务器毫无影响,这样做的优势很多,性能强大是一方面,另一方面还可以从技术上绕开x86指令集,和因此衍生出来的很多的专利壁垒问题。

目前这种架构的服务器在业界已经广泛使用了,富士通在日本部署的基于 Arm 的超级计算机 Fugaku 是世界上最强大的超级计算机,就未使用x86 指令集。

在服务器领域,Arm服务器足已在多种应用场景下,与基于x86架构的解决方案展开正面的抗衡竞争。 

华为在莫斯科建立的Arm架构的服务器群的后续发展和实际效果,有待检验,但无论怎样,华为(包括海思)未来的发展方向还很广,先要找一些稳妥的领域先生存下去。

模块
LAN技术 4-
1 CSS

模块
LAN技术 4-
1 CSS
CSS集群

1、总体拓扑
如图所示,为园区网络CSS+iStack组网,其主要有简单、高效、可靠的特点。
简单:各层设备均使用堆叠技术,逻辑设备少,网络拓扑简单,二层天然无环,无需部署xSTP破环协议。
高效:各层设备间使用Eth-Trunk链路聚合技术,负载分担算法灵活,链路利用率高。
可靠:服务器和主机可以配置多NIC网卡Teaming负载均衡或主备冗余链路提高服务器接入可靠性。堆叠技术同链路聚合技术结合使用,各层物理设备形成双归接入组网,提高整网可靠性。
缺点
对设备性能要求较高,盒式设备堆叠台数过多,可能导致堆叠主的主控性能下降。
如果采用业务口堆叠或集群,会占用业务端口数。


2、CSS定义
集群交换机系统CSS (Cluster Switch System),又称为集群,是指将两台支持集群特性的交换机设备组合在一起,从逻辑上组合成一台交换设备。


3、CSS特征
交换机多虚一:堆叠交换机对外表现为一台逻辑交换机,控制平面合
一,统一管理。
转发平面合一:堆叠内物理设备转发平面合
一,转发信息共享并实时同步。
跨设备链路聚合:跨堆叠内物理设备的链路被聚合成一个Eth-Trunk端口,和下游设备实现互联。

注释
CSS与iStack的区别在于,一般框式交换机堆叠称为CSS,盒式交换机堆叠称为iStack,都可以称为堆叠。两者只是叫法和实现有些差异,但是功能是一样的。
通过交换机集群,可以实现网络高可靠性和网络大数据量转发,同时简化网络管理。
高可靠性:集群系统两台成员交换机之间冗余备份,同时利用链路聚合功能实现跨设备的链路冗余备份。
强大的网络扩展能力:通过组建集群增加交换机,从而轻松的扩展端口数、带宽和处理能力。
简化配置和管理:集群建立后,两台物理设备虚拟成为一台设备,用户只需登录一台成员交换机即可对集群系统所有成员交换机进行统一配置和管理。


4、CSS基本概念
主交换机:负责管理整个集群。集群中只有一台主交换机。
备交换机:主交换机的备份交换机。当主交换机故障时,备交换机会接替原主交换机的所有业务。集群中只有一台备交换机。
集群ID:即CSS ID,用来标识和管理成员交换机。集群中成员交换机的集群ID是唯一的。
集群优先级:即Priority,是成员交换机的一个属性,主要用于角色选举过程中确定成员交换机的角色,优先级值越大表示优先级越高,优先级越高当选为主交换机的可能性越大。
不同于iStack可以多台设备堆叠,对于CSS集群,集群中只能有一主一备两台交换机。


5、优先级
华为①谁先启动谁优先②优先级(大的优先)③软件版本④主控板(MPO)⑤mac小的优先


6、堆叠方式
堆叠口
业务口
SIP口


7、配置命令
通过集群卡连接方式组建集群
[SwitchA] set css mode css-card \配置集群卡连接方式
[SwitchA] set css id
1 \配置成员交换机的集群ID
[SwitchA] set css priority 100 \配置设备的集群优先级
[SwitchA] css enable \使能交换机的集群功能

通过业务口连接方式组建集群
[SwitchA] set css mode lpu \配置业务口连接方式
[SwitchA] set css id
1 \配置成员交换机的集群ID
[SwitchA] set css priority 100 \配置设备的集群优先级
[SwitchA] interface css-port
1 \进入逻辑集群端口视图
[SwitchA-css-port1] port interface 1/0/1 to 1/0/2 enable
\配置业务口为物理成员端口,并将物理成员端口加入到逻辑集群端口中
[SwitchA] interface css-port 2
[SwitchA-css-port2] port interface 2/0/1 to 2/0/2 enable
[SwitchA] css enable \使能交换机的集群功能

@华为DATACOM

最近完成一个超融合的项目

最近完成一个超融合的项目,使用的是开源PVE(Proxmox Virtual Environment)软件搭建,三台物理服务器做集群,二台华为CE6851交换机做汇聚,管理、存储、业务三张网分离,每台服务器配置96T SAS硬盘,2块2T NVME固态硬盘做缓存加速,2块512G SSD固态做系统,存储和业务网分别用双万兆链路。
为了保证业务的高可靠性,使用了堆叠、链路聚合、分布式存储等技术,存储采用三副本的方式,任何一台物理机挂了,都不会丢失数据,并且业务能自动迁移。这次方案满足了客户的省钱,高可靠性,高速转发的需求。

教主进化论2022第八期预告

教主进化论2022第八期预告! 近期在研究NGINX Plus! 搭建了配套实验环境! 一个Flask Web服务器集群, 并且需要Redis集群来维护会话信息! 主要是做Session Persistence的实验!
一共三个集群

1. Nginx Plus集群(同步配置,同步状态)

2. Flask集群(web服务)

3. Redis集群(同步Session信息)

目前大型应用程序都采用一个应用程序架设在多个Linux服务器上的架构

目前大型应用程序都采用一个应用程序架设在多个Linux服务器上的架构,即Linux集群。Linux云计算集群架构师就是指云端Linux服务器运维工程师,是一个技术要求很高的工种。需要掌握的技术很多。本丛书通过大量实例,循序渐进地讲解了在Linux发行版Centos7.6系统中的基础操作,用户管理,权限管理,磁盘管理等必备技术和各种实战经验与技巧。具体内容涵盖了部署虚拟环境、安装Linux系统;常用的Linux命令;与文件读写操作有关的技术;使用Vim编辑器编写和修改配置文件;用户身份与文件权限的设置;硬盘设备分区、格式化以及挂载等操作;部署RAID磁盘阵列和LVM;网络相关命令;shell脚本基础到实战等本书适合打算系统、全面学习Linux技术的初学人员阅读,具有一定Linux使用经验的用户也可以通过本书来温习自己的Linux知识。作者用大众能理解的语言讲解了高深的Linux特性。通俗易懂、深入浅出,又密切结合应用案例,透彻展示出Linux的系统管理是如何在实际中贯穿的,从而让读者真正掌握Linux的强大之处。书中使用图文并茂的方式展示出详细的操作过程小白也能看懂,一切从实际出发。旨在打造简单易学且实用性强的轻量级Linux入门教程。本书主要讲Linux学习环境搭建、Linux基本操作、Linux基本命令、文件基本管理、Vim编辑器、CentOS用户管理、CentOS文件管理、CentOS软件包安装与管理、文件的归档与压缩、CentOS系统进程管理、重定向和文件查找、硬盘介绍和磁盘管理、Linux文件系统结构、RAID磁盘阵列、LVM管理、Linux计划任务、Linux系统启动原理、Linux网络管理技术、shell脚本、条件测试语句