pfSensebook之高可用性集群(HA)-创新互联

高可用性集群

• pfsync概述

  

  10年积累的网站建设、做网站经验，可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你，你也不认识我。但先网站制作后付款的网站建设流程，更有硚口免费网站建设让你可以放心的选择与我们合作。

• pfSense XML-RPC配置同步概述

• 冗余配置示例

• HA与多WAN

• 验证故障转移功能

• 提供无NAT的冗余

• 第2层冗余

• 高可用与桥接

• 使用IP别名减少心跳流量

• 接口

• 故障排查

pfSense的高可用性通过以下特性的组合来实现：

• CARP用于IP地址冗余

• XMLRPC用于配置同步

• pfsync用于状态表同步

通过这种配置，单元充当“主动/被动”群集，主节点作为主单元，辅助节点作为备用角色，如果主节点发生故障，则会根据需要接管。

虽然经常被错误地称为“CARP群集”，但由于CARP只是pfSense实现高可用性的几种技术之一，因此两个或多个冗余pfSense防火墙更适合称为“高可用性群集”或“HA群集”，未来的CARP可以交换为不同的冗余协议。

每个群集节点上的一个接口将专门用于同步任务。这个接口通常称为“Sync”接口，用于配置同步和pfsync状态同步。任何可用的接口都可以用于“Sync”。

注意

有人称之为“CARP”接口，这是不正确的，而且非常具有误导性。 CARP心跳发生在与CARP VIP的每个接口上; CARP流量和故障转移操作不使用Sync接口。

最常见的高可用性群集配置仅包含两个节点。 群集中有更多的节点也是可以的，但它们显然不具有特别的优势。

区分三种功能（IP地址冗余，配置同步和状态表同步）非常重要，因为它们发生在不同的地方。 配置同步和状态同步发生在同步接口上，直接在防火墙单元之间进行通信。 CARP心跳在每个接口上与CARP VIP一起发送。 故障转移信号不会发生在同步接口上，而是发生在每个启用CARP的接口上。

CARP 概述

共用地址冗余协议（CARP）由OpenBSD开发人员创建，作为免费的开放式冗余解决方案，用于在一组网络设备之间共享IP地址。在此之前已经有类似的解决方案，主要是IETF虚拟路由器冗余协议（VRRP）标准。然而，思科声称VRRP已经被它的热备用路由器协议（HSRP）的专利覆盖，并告知OpenBSD开发人员它将执行其专利权利。因此，OpenBSD开发人员创建了一个新的免费开放协议，在不侵犯思科专利的情况下实现基本相同的效果。 CARP于2003年10月在OpenBSD上投入使用，后来又被添加到FreeBSD中。

CARP类型虚拟IP地址（VIP）在群集的节点之间共享。一个节点是主节点，接收IP地址的流量，其他节点保持备份状态并监视心跳，以查看并确认主节点发生故障时是否需要承担主节点角色。由于一次只有一个群集成员正在使用IP地址，因此CARP VIP不会发生IP地址冲突。

为了使故障转移正常工作，必须将进入群集的入站和出站流量（例如路由上游流量，×××，NAT，本地客户端网关，DNS请求等）通过CARP VIP进行传递，例如出站NAT将从CARP VIP发送。如果流量直接发往某个节点，而不是CARP VIP，则该流量不会被其他节点接收。

CARP与VRRP和HSRP类似，在某些情况下有可能会发生冲突。在包含CARP VIP的每个接口上发送心跳，每个VIP每个接口一个心跳。在默认的偏离值和基准值下，VIP每秒发出一次心跳。偏离值确定哪个节点在给定时间点是主节点。无论哪个节点传输心跳，更快的那个都会承担主节点角色。较高的偏离值会导致心跳传输延迟增加，因此具有较低偏离值的节点将成为主节点设备，除非网络或其他问题导致心跳延迟或丢失。

注意

切勿使用CARP VIP访问防火墙GUI、SSH或其他。 出于管理的目的，只能在每个单独节点的接口上使用实际的IP地址，而不要使用VIP。 否则，不能事先确定正在访问哪个节点单元。

CARP的IP地址要求

使用CARP的高可用性群集需要每个子网中有三个IP地址，并且Sync接口需要单独的未使用子网。 对于广域网，这意味着最佳配置需要大于或等于29个子网。 每个节点使用一个IP地址，另外还有一个共享的CARP VIP地址用于故障转移。 同步接口每个节点只需要一个IP地址。

在技术上可以将CARP VIP接口配置为给定子网中唯一的IP地址，但通常不建议这样做。在WAN上使用时，这种类型的配置将只允许从主节点到WAN的通信，这会使任务（如更新、插件安装、网关监控或任何需要辅助节点的外部连接的任务）变得非常复杂。它可能更适合用于内部接口，但内部接口通常不会受到与WAN相同的IP地址限制，因此仍然最好在所有节点上配置IP地址。

交换机/第2层问题

CARP心跳线利用多点传送，并且可能需要对集群涉及的交换机进行特殊处理。 一些交换机会以可能导致CARP失败的方式过滤、限速或以其他方式干扰组播。 另外，一些交换机使用端口限制方法，这些方法可能导致CARP无法正常工作。

因此交换机必须：

• 允许发送和接收多播流量，不能干扰使用CARP VIP的端口。

• 允许使用多个MAC地址发送和接收流量。

• 允许CARP VIP MAC地址在端口之间移动。

几乎所有CARP未能正确反映预期状态的问题都是交换机故障或其他第2层问题，因此在继续之前请确保交换机已正确配置。

pfsync 概述

pfsync可以使群集节点之间的防火墙状态表保持同步。主防火墙上状态表的修改会通过Sync接口发送到辅助防火墙，反之亦然。当pfsync处于活动状态并正确配置时，所有节点都将了解流经群集的每个连接。如果主节点发生故障，则备份节点将接管并且客户端不会注意到发生了转换，因为两个节点都事先知道连接。

pfsync在默认情况下使用多点传送，但可以定义IP地址以强制单点传送更新，以便只有两个防火墙的多点传送流量无法正常运行。任何活动接口都可用于发送pfsync更新，但使用专用接口更有利于安全性和性能。 pfsync不支持任何身份验证方法，因此如果使用除专用接口以外的其他任何方法，则任何具有本地网络访问权的用户都可以将状态插入到状态表中。在低安全性要求的低吞吐量环境中，使用LAN接口是可以接受的。这种状态同步所需的带宽在不同环境之间会有很大差异，但根据网络中状态的插入和删除速率，可能会高达穿越防火墙吞吐量的10％。

故障转移仍然可以在没有pfsync的情况下运行，但不会无缝连接。没有pfsync，如果一个节点失败，另一个接管，用户连接将被丢弃。用户可以立即通过另一个节点重新连接，但在转换过程中它们会中断。根据特定环境中的使用情况，这可能会被忽视，或者可能是一个重要但短暂的中断。

当使用pfsync时，必须在参与状态同步的所有节点（包括辅助节点）上启用pfsync设置，否则将无法正常运行。

pfsync和防火墙规则

必须在Sync接口上制定允许pfsync通信的规则。 该规则必须将来自Sync网络源的pfsync协议传递到任何目标。 通过任何协议的所有流量的规则也允许所需的流量，但一般来说，更具体的规则会更加安全。

pfsync和物理接口

pfSense中的状态绑定到特定的系统接口。 例如，如果WAN是em0，那么WAN上的状态将与em0绑定。 如果群集节点具有相同的硬件和接口分配，则按预期工作。 在使用不同硬件的情况下，可能会有问题。 如果一个节点上的WAN是em0，但另一个节点上的WAN是igb0，那么这些状态将不匹配，并且它们不会被视为相同。

最好使用相同的硬件，但也可能不能满足实际的需要。有一个解决方法：将接口添加到LAGG，脱离底层物理接口，因此在上面的示例中，广域网将在两者上都是lagg0，状态将被绑定 到lagg0，尽管lagg0在一个节点上包含em0，并且在另一个节点上包含igb0。

pfsync和升级

通常pfSense都允许防火墙在线升级，而不会造成网络中断。 但不是每次升级都是如此，因为pfsync协议可以更改以适应其他功能。 在升级之前，始终检查所有发布通告中链接的升级指南，以查看是否有任何CARP用户的特殊注意事项。

XML-RPC配置同步概述

为了将维护防火墙节点的工作变得更容易，可以使用XML-RPC进行配置同步。启用XML-RPC同步时，支持区域的设置将同步复制到辅助设备，并在每次更改配置后激活。 XMLRPC同步是可选的，但如果没有它，维护一个集群的工作量要大的多。

某些区域设置无法同步，如接口配置，但更多的区域都可以同步：包括防火墙规则、别名、用户、证书、×××、DHCP、路由、网关等。作为一般规则，特定于硬件或特定安装的项目（例如系统>常规或系统>高级设置下的接口或值）不会同步。受支持区域的列表可能因使用的pfSense版本而有所差别。大多数插件不会同步，但有些插件包含自己的同步设置。有关更多详细信息，请参相关文档。

配置同步应使用Sync接口，如果没有专用的Sync接口，请使用为pfsync配置的相同接口。

在双节点群集中，只能在主节点上启用XML-RPC设置，辅助节点必须禁用XML-RPC设置。

为使XML-RPC正常工作，两个节点都必须使GUI运行在相同的端口和协议上，例如：端口443上的HTTPS（默认设置）。管理员帐户不能被禁用，并且两个节点必须具有相同的管理员帐户密码。

冗余配置示例

本节介绍一个简单的三接口HA配置。 这三个接口是LAN，WAN和Sync。 这在功能上等同于两个接口LAN和WAN部署，pfsync接口仅用于同步主防火墙和辅助防火墙之间的配置和防火墙状态。

注意

本示例仅涵盖IPv4配置。 高可用性与IPv6兼容，但它需要在防火墙接口上进行静态寻址。 准备配置HA时，如果静态IPv6分配不可用，请在所有接口上将IPv6设置为无。

确定IP地址分配

第一项任务是规划IP地址分配。 一个好的策略是使用子网中最低可用的IP地址作为CARP VIP，将下一个后续IP地址用作主防火墙接口IP地址，并将下一个IP地址用作辅助防火墙接口IP地址。 这种策略是可选的，你可以使用任何方案，但我们强烈建议使用一致且合理的方案来简化设计和管理。

WAN 地址

WAN地址将从ISP分配的地址中选择。 如“WAN IP地址分配表”所示，HA的WAN子网为198.51.100.0/24，地址198.51.100.200至198.51.100.202将用作WAN IP地址。

LAN地址

LAN子网是192.168.1.0/24。 在本例中，LAN IP地址将按照“LAN IP地址分配表”中所示进行分配。

Sync接口地址

这个接口上没有共享的CARP VIP，因为不需要。 这些IP地址仅用于防火墙之间的通信。 在本例中，172.16.1.0/24用作Sync子网。 将只使用两个IP地址，但掩码（/ 24）与其他内部接口（LAN）保持一致。 对于IP地址的最后八位字节，请使用与该防火墙的LAN IP地址相同的最后八位字节以保持一致。

下图显示了此示例HA的结构。 主节点和辅助节都有与WAN和LAN相同的连接，并且它们之间使用交叉电缆连接Sync接口。 在这个例子中，广域网交换机和局域网交换机仍然存在潜在的单点故障。 交换机冗余将在本章后面的第2层冗余中介绍。

HA网络示例图

群集配置基础

每个节点都需要实际HA设置以外的一些基本配置。 在两个节点都没有冲突的LAN设置之前，请勿将两个节点都连接到同一个LAN中。

安装、接口分配和基本配置

在防火墙上安装操作系统，并在两个节点上以相同方式分配接口。 接口必须在所有节点上按照相同的顺序进行分配。 如果接口未对齐，配置同步和其他任务将无法正常工作。 如果对接口分配进行了任何调整，则必须在两个节点上进行相同的复制。

然后，连接到GUI并使用安装向导为每个防火墙配置唯一的主机名和非冲突的静态IP地址。

例如，一个节点可以是“firewall-a.example.com”，另一个节点可以是“firewall- b.example.com”，也可以是更加个性化的一对名称。

注意

避免将节点命名为“master”或“backup”，因为这些是防火墙默认使用的状态，可以将他们命名为“primary”和“secondary”。

默认的LAN IP地址是192.168.1.1。 每个节点必须使用它自己的地址，例如主节点使用192.168.1.2，辅助节点使用192.168.1.3。 该布局显示在LAN IP地址分配中。 一旦每个节点具有唯一的LAN IP地址，则两个节点都可以插入同一个LAN交换机。

设置Sync接口

在继续之前，必须配置群集节点上的Sync接口。 同步IP地址分配列出了用于每个节点上的同步接口的地址。 在主节点上完成设置后，再在辅助节点上进行设置。

完成Sync接口配置后，还必须在两个节点上将添加防火墙规则以允许他们之间进行同步。

防火墙规则必须允许通过配置同步（默认情况下，HTTPS使用的443端口）和pfsync在两个节点之间的通信。 可以使用简单的“全部允许”样式规则。

下图是配置完成的防火墙规则列表，其中还包含允许ICMP（ping）用于诊断目的的规则。

Sync 接口防火墙规则示例

辅助节点并不需要这些规则，只需要有一条规则允许流量通过GUI来使XML-RPC运行。 一旦配置了XML-RPC，主节点的全部规则就会同步到辅助节点。

配置pfsync

必须在主节点和辅助节点上配置使用pfsync的状态同步才能正常工作。

首先在主节点上，然后在辅助节点上执行以下操作：

• 导航到系统>高可用性同步（双机备份）

• 设置同步状态

• 将同步接口设置为SYNC

• 将pfsync同步对等IP到另一个节点。 配置主节点时设置为172.16.1.3，配置辅助节点时设置为172.16.1.2

• 点击保存

配置同步 (XML-RPC)设置

警告

配置同步只能在主节点上配置。 辅助节点不能也不需要配置。

在主节点上执行以下操作：

• 导航到系统>高可用性同步

• 将“同步配置”下的“配置同步目标IP”设置为为辅助节点同步接口IP地址172.16.1.3

• 将远程系统用户名设置为admin。

  注意

  用户名必须是“admin”，其他用户名不会正常工作！

• 将远程系统密码设置为管理员用户帐户密码，并在确认框中重复输入。

• 选中需要进行同步区域的复选框以同步到辅助节点。 全部切换按钮用于一次选择所有选项。

• 点击保存

快速确认后，进入辅助节点的防火墙>规则策略列表，可以看到主节点输入的规则已经被同步过来了。

这两个节点已连接并进行配置同步！ 每当在主节点上进行修改后，所做的更改将很快同步到辅助节点。

警告

不要在辅助节对设置同步的区域进行任何更改！ 下次主节点执行同步时，这些选项将被覆盖。

配置CARP虚拟IP

通过配置同步，CARP虚拟IP地址只需添加到主节点，并且它们将自动同步到辅助节点。

• 导航到主节点上的防火墙>虚拟IPs，设置CARP VIP

• 单击右侧的  按钮在列表顶部添加新的VIP。

• 注意

  必须为处理用户流量的每个接口添加一个VIP，在本示例中，要为WAN和LAN各添加一个。类型:定义VIP的类型，在这种情况下CARP。

接口:定义VIP将驻留的接口，例如WAN

地址:地址框是为VIP输入IP地址值的位置。 还必须选择子网掩码，并且它必须与接口IP地址上的子网掩码相匹配。 在本例中，输入198.51.100.200和24（请参阅WAN IP地址分配）。

虚拟 IP密码:设置CARP VIP的密码。 这只需要两个节点之间的匹配，这将通过同步来处理。 密码和确认密码框必须填写并且必须匹配。

VHID 组: 定义CARP VIP的ID一个常见的策略是使VHID匹配IP地址的最后一个字节，因此在这种情况下选择200

广播频率:确定CARP心跳发送的频率。

Base（基本值）：控制Heartbeats之间经过的整秒数，通常为1.这应该在群集节点之间匹配。Skew（偏离值）：控制秒的分数（1/256增量）。 主节点通常设置为0或1，次节点将为100或更高。 该调整由XML-RPC同步自动处理。

描述:一些文本可以识别VIP，例如WAN CARP VIP。

注意

如果CARP对给定网络的延迟过于敏感，建议一次调整基本值一秒钟，直到稳定为止。

以上描述以WAN VIP为例。 LAN VIP也进行类似配置，但它将使用LAN接口，地址为192.168.1.1（请参阅LAN IP地址分配）。

如果WAN子网中有任何额外的IP地址用于1：1 NAT、端口转发、×××等，也可以在这里进行添加。

编辑完成后，点击应用更改。

添加VIP后，请检查辅助节点上的防火墙>虚拟IPs，以确保VIP按预期进行了同步。

如果同步成功，两个节点上的虚拟IP地址将如下图所示。

CARP虚拟IP地址列表

为CARP配置出站NAT

下面将配置NAT，以便LAN上的客户端使用共享的WAN IP访问广域网。

• 导航到防火墙> NAT（地址转换），出站选项卡

• 单击选中手动出站NAT规则生成

• 点击保存

将出现一组与自动出站NAT适用的规则。 调整内部子网源的规则，以改为使用CARP IP地址。

• 在规则的右侧单击  进行编辑

• 找到页面的转换部分

• 从地址下拉列表中选择WAN CARP VIP地址

• 更改描述以提及此规则将NAT LAN连接到WAN CARP VIP地址

警告

如果稍后添加其他本地接口（如第二个LAN，DMZ等），并且该接口使用私有IP地址，则必须在此时添加其他手动出站NAT规则。

完成后，规则更改将与使用CARP VIP的LAN出站NAT规则中的规则更改类似。

CARP VIP的LAN出站NAT规则

修改DHCP服务器

群集节点上的DHCP服务器设置需要调整，以便它们可以一起工作。 这些修改将从主节点同步到辅助节点，因此对于VIP和出站NAT，这些修改只需要在主节点上进行。

• 导航到系统服务> DHCP服务器，LAN 选项卡。

• 将DNS服务器设置为LAN CARP VIP，此处为192.168.1.1

• 将网关设置为LAN CARP VIP，此处为192.168.1.1

• 将故障转移对等IP设置为辅助节点的实际LAN IP地址，此处为192.168.1.3

• 点击保存

将DNS服务器和网关设置为CARP VIP可确保本地客户端与故障转移地址通信，而不是直接通向任一节点。 如果主节点失败，本地客户端将继续与辅助节点通话。

故障转移对等IP允许守护程序直接在此子网中与对等方进行通信，以交换租赁信息等数据。 当设置与辅助设备同步时，会自动调整该值，以便辅助设备指向主设备。

高可用与多WAN

HA还可以在多WAN配置中用于防火墙冗余。 本节详细介绍双WAN HA部署所需的VIP和NAT配置。

确定IP地址分配

在这个例子中，每个WAN上将使用四个IP地址。 每个防火墙需要一个IP地址，另外还有一个CARP VIP用于出站NAT，另外还有一个CARP VIP用于1：1 NAT条目，该条目将用于DMZ段中的内部邮件服务器。

WAN 和 WAN2 IP 地址

下表显示了两个WAN的IP地址。 在大多数环境中，这些将是公共IP地址。

LAN 地址

LAN子网是192.168.1.0/24。 在这个例子中，LAN IP地址将被分配如下。

DMZ 地址

DMZ子网是192.168.2.0/24。 地址分配见下表。

pfsync 地址

这个接口上不会有共享的CARP VIP，因此不需要设置。 这些IP地址仅用于防火墙之间的通信。 在本例中，172.16.1.0/24将作为Sync子网。 使用两个IP地址，子网掩码与其他内部接口一致。

NAT 配置

使用HA与多WAN时的NAT配置与使用单个WAN的HA相同。 确保只有CARP VIP用于入站流量或路由。 有关NAT配置的更多信息，请参阅相关文档。

防火墙配置

使用多WAN时，必须设置防火墙规则，以使用默认网关将流量传递到本地网络。 否则，当流量尝试到达CARP地址或从LAN到DMZ时，它将转而出去与WAN连接。

必须在所有内部接口的防火墙规则顶部添加一条规则，该规则将所有本地网络的流量引导至默认网关。 必须注意使用默认网关，而不是故障转移或负载平衡网关组之一。 此规则的目的地是本地LAN网络，或包含任何本地可达网络的别名。

具有DMZ的多WAN HA 图

由于附加的广域网和DMZ元素，这种布局的图表要复杂得多，如下图所示。

具有DMZ的多WAN HA示意图

验证故障转移功能

由于使用HA涉及高可用性，因此在将群集投入生产之前应该进行彻底的测试。 测试最重要的部分是确保HA系统在系统中断期间能够正常故障切换。

如果本节中的任何操作不能按预期正常工作，请参阅高可用性故障排除。

检查CARP 状态

在这两个系统上，导航到系统状态> CARP（故障转移）。 如果一切工作正常，主节点设备所有CARP VIP状态将显示为MASTER，辅助节点设备将显示为BACKUP。

如果其中一个显示DISABLED，请单击启用CARP按钮，然后刷新页面。

如果一个接口显示 INIT，则意味着包含CARP VIP的接口没有连接。 将接口连接到交换机，或者至少连接到其他节点。 如果该接口不使用，请从接口上移除CARP VIP，因为这会干扰正常的CARP操作。

检查配置是否正确同步

导航到辅助节点上的主要位置，例如防火墙>规则策略和防火墙> NAT（地址转换），确保在主节点上创建的规则正在同步到辅助节点。

检查DHCP故障转移状态

如果配置了DHCP故障切换，则可以在系统状态> DHCP租约中检查它的状态。 包含DHCP故障转移池状态的页面顶部将出现一个新的部分，如下图所示。

DHCP故障转移池状态

测试CARP故障切换

现在进行真正的故障转移测试。在开始之前，请确保LAN上的CARP后面的本地客户端可以连接到互联网，同时pfSense防火墙在线运行。一旦确认可以正常工作，那么现在是进行备份的好时机。

实际测试时，请从网络上拔下主节点或暂时关闭主节点。客户端将能够通过辅助节点继续从Internet加载内容。在辅助节点上再次检查状态> CARP（故障转移），它现在将报告它是LAN和WAN CARP VIP的MASTER。

现在将主节点重新联机，它将恢复为MASTER的角色，并且辅助节点系统将自己降级到BACKUP。在这个过程中的任何时候，互联网连接仍然是可以正常工作的。

在尽可能多的故障情况下测试HA。其他测试包括：

• 拔下WAN或LAN上的网线

• 拔下主电源插头

• 使用临时禁用功能和维护模式禁用主节点上的CARP

• 单独测试每个系统（关闭辅助节点电源，然后重新接通电源并关闭主电源）

• 在故障转移期间下载文件或尝试传输音频/视频流

• 在故障转移期间，向Internet主机运行连续的ICMP回应请求（ping）

提供无NAT的冗余

如前所述，只有CARP VIP为防火墙直接处理的地址提供冗余，并且它们只能与NAT或防火墙本身的服务一起使用。 冗余还可以为具有HA的路由公共IP子网提供冗余。 本节介绍这种类型的配置，这在大型网络、ISP和无线ISP网络以及数据中心环境中很常见。

公共IP分配

pfSense的WAN端至少需要一个/ 29的公共IP范围，它提供了六个可用的IP地址。 两个防火墙部署只需要三个，但这是容纳三个IP地址的最小IP子网。 每个防火墙都需要一个IP，并且WAN端至少需要一个CARP VIP。

第二个公共IP子网将通过ISP、数据中心或上游路由器路由到CARP VIP。 由于此子网路由到CARP VIP，因此路由不会依赖于单个防火墙。 对于本章中所描述的示例配置，将使用/ 24公共IP子网，并将其分成两个/ 25个子网。

网络概述

这里描述的示例网络是一个数据中心环境，由两个pfSense防火墙组成，每个防火墙有四个接口：WAN、LAN、DBDMZ和pfsync。 该网络包含许多网络和数据库服务器。 它不是基于任何真实的网络，但会有类似这样的实例部署。

WAN网络

WAN侧连接到上游网络，即ISP、数据中心或上游路由器。

WEB 网络

该网络中的网段使用“LAN”接口，但已重命名。 它包含Web服务器，所以它被命名为WEB，但可以称为DMZ，SERVERS或任何所需的东西。

DBDMZ网络

该段是一个OPT接口并包含数据库服务器。 在托管环境中，将网络和数据库服务器分隔成两个网络是很常见的。 数据库服务器通常不需要从互联网直接访问，因此不受Web服务器的危害影响。

Sync网络

此图中的同步网络用于通过XML-RPC同步pfSense配置的修改，以及pfsync同步两个防火墙之间的状态表修改。 建议使用专用接口。

网络拓扑

网络拓扑如下图所示，包括所有可路由的IP地址、WEB网络和数据库DMZ。

HA与路由IPs的关系图

注意

包含数据库服务器的网段通常不需要公开访问，因此更常用的是使用私有IP子网，但可以使用此处说明的示例，而不考虑两个内部子网的功能。

第2层冗余

本节介绍规划冗余网络时要考虑的第2层设计元素。 本章假定只部署两个系统，当然也可以根据需要扩展到更多的部署。

如果两个冗余pfSense防火墙都接入到同一台交换机任何接口上，则该交换机将成为单点故障。 为了避免这种单点故障，最好的选择为每个接口部署两个交换机（除了专用的pfsync接口）。

下图以网络为中心，未显示交换机基础结构。 具有冗余交换机的HA图图解释了该环境如何与冗余交换机基础架构配合使用。

具有冗余交换机的HA示意图

交换机配置

使用多个交换机时，交换机应互连。 只要两台交换机之间有单一连接，并且任何一台防火墙上都没有网桥，对任何类型的交换机来说都是安全的。 在使用桥接的情况下，或者在交换机之间存在多个互连的情况下，必须小心避免第2层环路。 如果是这种情况，就需要一个管理型交换机，它能够使用生成树协议（STP）来检测和阻塞会产生交换机环路的端口。 当使用STP时，如果活动链路断路，例如交换机故障，那么备份链路可以自动提交到它的位置。

pfSense还支持lagg（4）链路聚合和链路故障切换接口，允许将多个网络接口插入一个或多个交换机以提高容错能力。 有关配置链路聚合的更多信息，请参阅LAGG（链路聚合）。

主机冗余

获得防火墙内关键系统的主机冗余比较困难。 每个系统都可以使用两个网卡，使用链路聚合控制协议（LACP）或类似的供应商特定功能连接到每组交换机。 服务器也可以有多个网络连接，并且根据操作系统，可以在一组服务器上运行CARP或类似的协议，以便它们形成相互冗余。

其他单点故障

当试图设计一个完全冗余的网络时，会许多单点故障会被忽略。需要考虑的事情比简单的交换机故障要多得多。以下是一些常见的冗余示例：

• 为每个冗余段提供隔离电源。

• 为冗余系统使用单独的断路器。

• 使用多个UPS/发电机。

• 使用多个电力供应商，尽可能进入建筑物的两侧。

• 即使是多WAN配置也不能保证Internet正常运行。

• 使用多种互联网连接技术（DSL，Cable，Fiber，Wireless）。

• 如果任何两个运营商使用相同的光纤/隧道/路径，他们都可能同时被淘汰。

• 备份冷却，冗余冷水机组或便携式/应急空调。

• 考虑将第二套冗余设备放置在另一个房间，另一个楼层或另一个建筑物中。

• 在城镇或其他城市的另一部分有重复的设置。

• 我听说火星上的主机价格便宜，但延迟是杀手级的。

高可用性与桥接

高可用性目前不兼容本地桥接。

使用IP别名减少心跳流量

如果某个网段上有大量的CARP VIP，则会导致很多组播流量。 每个CARP VIP每秒发送一次心跳。 为了减少这种流量，额外的VIP可以在接口上的一个CARP VIP上“堆叠”。 首先，选择一个CARP VIP作为接口的“主要”VIP。 然后，将同一子网中的其他CARP VIP更改为IP别名类型VIP，选择“主”CARP VIP接口作为它们在VIP配置上的接口。

这不仅减少了在给定细分受众中看到的心跳，而且还会导致所有IP别名VIP与“主”CARP VIP一起更改状态，从而降低第2层问题，减少故障转移出现问题的概率。

IP别名VIP通常不会通过XML-RPC配置同步进行同步，但是，以这种方式设置为使用CARP接口的IP别名VIP将会进行同步。

接口

如果在与HA的单个接口上需要多个子网，则可以使用IP别名来完成。 与主接口IP地址一样，我们建议每个防火墙在附加子网内都有一个IP地址，每个子网总共至少有三个IP。 必须将单独的IP别名条目添加到新子网内的每个节点，以确保其子网掩码与新子网的实际子网掩码相匹配。 直接在接口上的IP别名VIP不同步，安全可以得到保证。

一旦将IP别名VIP添加到两个节点以在新子网中获得立足点，则可以使用来自新子网的IP地址添加CARP VIP。

只要不需要附加子网和两个独立HA节点之间的通信，就可以省略IP别名，并直接在另一个子网中使用CARP VIP。

故障排除

高可用性配置相对复杂，且有许多不同的方式来配置故障转移群集。在本节中，一些常见（不常见）的问题在大多数情况下讨论并有望解决。如果在咨询本节后问题仍然存在，那么在pfSense论坛上有专门的CARP / VIPs讨论区。

在继续之前，请花时间检查HA群集的所有成员以确保它们具有一致的配置。通常，这有助于通过示例设置，仔细检查所有正确的设置。在辅助节点上重复该过程，并注意辅助节点上配置不同的地方。请务必检查CARP状态（检查CARP状态），并确保所有集群成员都启用CARP。

系统状态>系统日志，系统选项卡会记录与HA有关的错误。检查涉及的每个系统上的日志，看看是否有任何与XMLRPC同步、CARP状态转换或其他相关错误的信息。

常见错误配置

有三种常见的错误配置会阻止HA正常工作。

每个CARP VIP使用不同的VHID

在给定接口或广播域上创建的每个CARP VIP上必须使用不同的VHID。 使用单个HA时，输入验证将防止重复的VHID。 不过，也不总是那么简单。 CARP是一种组播技术，因此在同一网段上使用CARP的任何内容都必须使用唯一的VHID。 VRRP也使用与CARP类似的协议，因此确保与VRRP VHID没有冲突，例如ISP或本地网络中的其他路由器正在使用VRRP。

最好的解决方法是使用一组独特的VHID。 如果正在使用已知安全的专用网络，请从1开始编号。在VRRP或CARP发生冲突的网络上，咨询该网络的管理员以查找空闲区域的VHID。

不正确的时间

检查所涉及的系统是否正确同步时间并具有有效时区，尤其是在虚拟机中运行时。 如果时间相差太大，某些同步任务（如DHCP故障切换）将无法正常工作。

不正确的子网掩码

真正的子网掩码必须用于CARP VIP，而不是/ 32。 这必须与分配CARP IP的接口上的IP地址的子网掩码相匹配。

CARP接口的IP地址

CARP VIP所在的接口在使用前必须已经在接口（VLAN，LAN，WAN，OPT）上直接定义了另一个IP。

不正确的哈希错误

如果CARP在出现此错误时无法正常工作，则可能是配置不匹配。 确保对于给定的VIP、VHID、密码和IP地址/子网掩码都匹配。

如果设置正确，并且在生成此错误消息时CARP仍不起作用，那么在同一广播域中可能会有多个CARP实例。 使用tcpdump（数据包捕获）禁用CARP并监控网络，以检查其他CARP或类似CARP的流量，并适当调整VHID。

如果CARP工作正常，并且系统启动时此消息在日志中，则可以忽略它。 只要CARP继续正常工作（主节点显示MASTER，辅助节点显示BACKUP状态），启动时就会看到此消息是正常的。

两个系统都显示为MASTER

如果辅助节点无法从主节点收到CARP广播，则会发生这种情况。 检查防火墙规则、连接、交换机配置。 同时检查系统日志是否有可能导致解决方案的相关错误信息。 如果在虚拟机（VM）产品（如ESX）中遇到此问题，请参阅虚拟机（ESX）中的问题。

主节点降级为BACKUP

在某些情况下，在系统恢复联机后，可能会在短时间内正常发生这种情况。 但是，某些硬件故障或其他错误情况可能会导致服务器默默承担240的较高优先级，以表示它仍然存在问题，并且不应成为主设备。 这可以通过GUI或通过shell或系统诊断>命令来进行检查。

在GUI中，此状态显示在系统状态> CARP的错误消息中。

当主节点被降级时CARP状态

在shell或系统诊断>命令中，运行以下命令检查降级：

#sysctl net.inet.carp.demotion
net.inet.carp.demotion: 240

如果该值大于0，则该节点已降级。

在这种情况下，隔离防火墙，检查网络连接，并执行进一步的硬件测试。

如果降级值为0，并且主节点仍然将自己降级为BACKUP或不断变化，请检查网络以确保没有第2层环路。 如果防火墙从交换机接收到自己的心跳，它也可以触发对BACKUP状态的更改。

虚拟机内部问题（ESX）

在虚拟机内部使用HA时，尤其是VMware ESX，需要一些特殊的配置：

• 在vSwitch上启用混杂模式。

• 启用“MAC地址更改”。

• 启用“伪传输”。

ESX VDS混杂模式解决方法

如果正在使用虚拟分布式交换机，则可以为启用混杂模式的防火墙接口创建端口组，并为其他主机设置单独的非混杂端口组。论坛上有用户使用这种方式来平衡让CARP功能和保护客户端端口的要求。

ESX VDS 升级问题

如果在4.0或4.1中使用VDS（虚拟分布式交换机）并将其从4.0升级到4.1或5.0，则VDS将无法正确传递CARP流量。 如果在4.1或5.0上创建了新的VDS，它可以正常工作，但升级后的VDS则不会。

可以在VDS上禁用混杂模式，然后重新启用它可以解决该问题。

ESX VDS端口镜像问题

如果在VDS上启用端口镜像，则会打破混杂模式。 要修复它，请禁用然后重新启用混杂模式。

ESX客户端端口问题

如果物理HA集群使用ESX主机（lagg组或类似设备）上的多个端口连接到交换机，并且目标VM只能访问某些设备/ IP，则端口组设置可能需要调整 ESX将基于IP设置组的负载平衡设置为基于散列，而不是始发接口。

设置不正确的副作用包括：

• 流量仅在其NIC上以混杂模式到达目标VM。

• 当主防火墙的“真实”IP地址可以到达时，无法从目标VM到达CARP VIP。

• 到目标VM的端口转发或其他入站连接从一些IP地址工作，而不是其他IP地址。

ESX物理网卡故障无法触发故障切换

CARP中的自我降级依赖于交换机端口链路的丢失。 因此，如果主防火墙实例和辅助防火墙实例位于不同的ESX单元上，并且主设备丢失了交换机端口链接并且不会将其公开给虚拟机，CARP将在其所有VIP上保留MASTER，并且次要设备也会相信它应该是MASTER。 解决这个问题的方法之一是在ESX中编写一个事件，如果物理端口丢失链接，该事件将取消VM上的交换机端口。 在ESX中也可能有其他方法。

KVM + Qemu问题

使用e1000网卡（em（4）），ed（4）网卡或CARP VIP不会离开init状态。

VirtualBox 问题

在VM的相关接口上设置“混杂模式：允许CARP在任何接口类型（桥接，主机，内部）上运行，

其他交换机和第2层问题

• 如果节点单元插入单独的交换机，请确保交换机正确中继并传递广播/多播通信。

• 一些交换机具有广播/多播过滤，限制或“风暴控制”功能，可以打破CARP。

• 某些交换机已损坏固件，导致IGMP Snooping等功能干扰CARP。

• 如果使用调制解调器/ CPE背面的开关，请尝试使用真正的开关。 这些内置交换机通常无法正确处理CARP流量。 通常将防火墙插入合适的交换机，然后上行到CPE将消除问题。

配置同步问题

• 在遇到配置同步问题时，请仔细检查以下项目：

• 所有节点上的用户名必须为admin。

• 主服务器上的配置同步设置中的密码必须与备份中的密码相匹配。

• WebGUI必须位于所有节点上的相同端口上。

• WebGUI必须在所有节点上使用相同的协议（HTTP或HTTPS）。

• 必须允许流量通过同步流量接口上的WebGUI端口。

• 必须在所有节点上启用和配置pfsync接口。

• 确认只有主同步节点启用了配置同步选项。

• 确保在辅助节点上的同步配置到IP中没有指定IP地址。

• 确保两个节点上的时间都是最新的，并且相当准确。

HA和多WAN故障排除

如果在处理多WAN时遇到CARP VIP麻烦，请仔细检查是否存在与防火墙配置中提到的规则相同的规则。

翻译自pfsense book

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。