与‘备份’有关的日志

异地备份方案(百度NAS可真坑人啊!—-续)

Poon 发表于 学习备忘录, 购物经验史 分类,标签: , , , ,
0

之前吐槽百度网盘备份的事情:https://www.mpyes.com/2024.05.14/15:54:14/3786
后来问题很多,我也就没持续记录了,如今已设置好异地备份并且稳定运行一周多了,所以再记录一下。

百度网盘正常的电脑客户端手机客户端应该比较稳定,毕竟是中国规模最大的网盘嘛,但是对第三方的支持来说,我想说百度网盘简直就是个垃圾一点也不为过!
群晖cloudsync是个很稳定的套件,但是百度故意对其限速、并且还限制最多只能使用100G(即便是SVIP也会限速限量)
百度要赚钱,无可厚非,但百度自己开发了个针对群晖的套件,然后推出NAS会员服务,开通之后就可以不限速了
因为NAS会员,我特地开通了SVIP+NAS会员(SVIP会员可以提升容量)
结果太太太太太太太太太太太太太太他妈的太太太太太太太太太太太太太太垃圾了!
1、管理页面经常卡死,无法看到状态
2、不管单向同步还是双向同步,都不能同步删除(cloudsync是可以的)
3、同步过程中,经常自我复制文件,导致NAS上面许多文件出现了副本
4、我花了三四天完成了同步,结果一看备份文件夹的参数,本地NAS与百度云端的文件总数、总大小,都不一样!
其实你就针对NAS会员放开对cloudsync的限制不好么,非要自己搞个没法用的垃圾产品出来,还他妈的照常收费!

后来我想了个办法,通过cloudsync同步到阿里云盘
1、在群晖安装阿里云盘webdav套件:https://imnks.com/3939.html
2、在cloudsync添加webdav,地址直接是127.0.0.1:port
3、设置轮询期久一点,至少10分钟以上(因为该方式的列表默认过期时间10分钟)

我主要是异地备份数据库文件的,我的设置逻辑是:
1、凌晨2点,服务器自动备份数据(自动备份)
2、凌晨3点,执行如下脚本(windows自带排程定时执行.bat批处理文件)

xcopy  D:\DBBackup\netERP_user_qsuser\*.bak  \\NAS-IP\Backup\netERP_user_qsuser
move   D:\DBBackup\netERP_user_qsuser\*.bak  D:\DBBackup\netERP_user_qsuser2
xcopy  D:\DBBackup\SZ_GBDB\*bak              \\NAS-IP\Backup\SZ_GBDB
move   D:\DBBackup\SZ_GBDB\*bak              D:\DBBackup\SZ_GBDB2

建议每周或每月执行一次如下脚本以节约服务器本地空间,windows自带排程即可,无需手动执行
del D:\DBBackup\netERP_user_qsuser2\*.bak
del D:\DBBackup\SZ_GBDB2\*.bak

3、凌晨4点,cloudsync自动同步DBBackup到阿里云盘(我是计划列表设置4~8点同步,轮续期设置7200秒)
 备份文件较大的那个大概10G,20分钟能同步完成,每秒约8.5M,速度还是很理想的(阿里云暂时还没收费)

特别注意:本文所方式实现的阿里云webdav有缓存时间限制,非实时同步,所以轮询期需要设置得长一点,否则可能出错特别是有大文件的情况下“下载失败,在传输过程中修改了远程文件”应该是上传的文件并未真正保存到云端所致。

========================

补充记录一个问题,百度官方推出的群晖nas套件,有时会导致群晖nas速度缓慢,删除掉baiduNas群晖就流畅了

百度NAS可真坑人啊!(实测数据)

Poon 发表于 购物经验史 分类,标签: , ,
0

之前多次说过个人云才是最安全的存储,我认为目前而言最适合中国人使用习惯的就是群晖NAS,特别是群晖官方提供的免费套件 Cloud Sync 可以让普通用户轻松实现所谓的“321备份法则”(三个备份,两种介质,一份异地)

上图是 Cloud Sync 支持的云存储服务商,考虑能在大陆地区稳定使用且价格不是太夸张等因素,最终收费选择可能只有百度云 跟 OneDrive(前者是中国互联网巨头百度家的,后者是国际互联网巨头微软家的)

先来说百度:

1、百度限量100G:https://kb.synology.com/zh-tw/DSM/tutorial/Cloud_Sync_Synology_Exclusive_Space
限速更变态,不只限速而且会直接断流:https://www.mpyes.com/2020.05.16/15:12:03/2382
现在我开通了百度网盘SVIP+百度网盘群晖NAS会员,似乎上传不断流了,而且速度也快了。

2、前段时间百度新出了个79元年费的网盘群晖NAS会员,于是花200多元开通了百度网盘SVIP+百度网盘群晖NAS会员,前者是为了更大的容量、后者是为了更快的速度:

公司群晖上面大概有800G的文件,开通NAS会员之后,我直接将群晖 /volume1 设置自动同步到百度网盘某文件夹
结果,等了大概20多小时任务居然一动不动,于是删除重设,然后等了大概80小时,结果依旧是一动不动……

我怀疑是不是某些文件夹过大的缘故?于是就删除同步规则,重新设置群晖上最大的文件夹同步到百度网盘,
这个文件夹217G,结果等了30多小时依旧是一动不动…… 没想到这么不成熟的产品百度就拿出来卖钱了!

再来说说微软的 OneDrive,这个是我使用多年的产品,大陆地区正规渠道的家庭版售价大概在200-250元,可以由6个人同时使用(每人1T,且完全独立)划下来等于是每年40元就能拥有1T的云存储空间,拿来做群晖的异地备份还是很好的!

 
针对目前的困境,我测试了近一周的时间,最终选择的方案是:将包括homes在内的29个文件夹,分成三份做异地备份

7个文件夹293G,使用 Cloud Sync 备份到 OneDrive (虽然我是OD车主,但不好意思强制赶人家下车)
10个文件夹53G,使用 Cloud Sync 备份到 百度云 (这种方式存储到100G百度就不给继续了)
12个文件夹428G,使用 百度网盘套件 备份到 百度云 (得过几天才能知道是否成功)

 
===========================
===========================

update 2024.05.15

经过了近20小时的备份,事实证明还是微软OneDrive更加稳定,百度网盘简直就是一塌糊涂!

上图是 OneDrive 的备份记录,没发现出错。在 OneDrive 网站查询:该文件夹已同步81.3G

上图是群晖官方 Cloud Sync 中百度云的备份记录,也没发现出错。但是在百度云app查询:该文件夹只同步了17.78G

上图是百度官方提供的群晖备份套件的备份记录,大量出错!并且差不多的时间内,该渠道只同步了11.69G

===========================

个人感觉,群晖官方 Cloud Sync 对百度网盘的支持度还是很好的,百度根本不需要自己另外再去开发套件,百度只需要对NAS会员放开对 Cloud Sync 的限速,所有问题都完美的解决了!

基于我多年的使用经验,对于群晖异地备份建议还是使用 Cloud Sync,云存储运营商的选择如下:

OneDrive:我个人群晖用了好几年了,贼稳定;这次备份公司群晖的大批量上传,实测也很稳!
阿里云OSS:我个人群晖用了好几年了,贼稳定(40G套餐只要9元/年,而且可以分区多开)
腾讯云COS:我个人群晖用了好几年了,也很稳定(我是老用户的免费50G,新用户的话价格可能较贵)
百度网盘:上面有四年前使用实测的URL,拉胯得很;如今测试百度专门针对群晖开发的NAS会员,依旧拉胯!

注:
1、国内还有其它一些免费的或者价格不高的网盘,但是并没有稳定的与群晖对接备份的方式,所以就不多做评价了。
2、上述只是说百度网盘对接NAS的拉胯。百度网盘电脑端手机端应该还是挺稳定的,算是国内性价比最高的网盘了。

===========================
===========================

update 2024.05.16 14:20

上图是 OneDrive 的备份记录,仍在正常稳定备份中。在 OneDrive 网站查询:该文件夹已同步119G

上图是群晖官方 Cloud Sync 中百度云的备份记录,可以看出断流严重
app查询该文件夹已同步了18.79G,而30个小时前是17.78G

上图是百度官方提供的群晖备份套件的备份记录,出错数量已经达到47
app查询该文件夹已同步了20.89G,而30个小时前是11.69G
该渠道没有断流,可以稳定备份,但是速度较慢、且少量报错,总体说来远不如微软OneDrive

===========================
===========================

update 2024.05.20 11:00

Cloud Sync OneDrive 已同步148G,最近四天约同步30G
Cloud Sync 百度云 已同步18.98G,最近四天约同步0.19G
百度云NAS会员 已同步128.22G,最近四天约同步107G

已取消 Cloud Sync 百度云的链接,每天0.05G的速度实在是太慢了,计划备份的50G需要三年才能备份完,太离谱了!

===========================
===========================

update 2024.05.21 09:00

百度云NAS会员 已同步145.82G,最近一天约同步18G
OneDrive 同步数量仍然是148G,最近一天几乎没变化

查询资料发现:https://support.microsoft.com/zh-cn/office/onedrive-和-sharepoint-中的限制和限制-64883a5d-228e-48f5-b3d2-eb39e07630fa

为了获得最佳性能,建议在整个云存储中同步不超过 300,000 个文件。 如果项数超过 300,000 个,即使未同步所有项,也可能会出现性能问题。

所以,应付大量文件的备份,onedrive 其实也是不可靠的。

===========================
===========================

update 2024.06.20

文件夹的异地备份,我最终选择了群晖自带的 Hyper Backup:https://www.mpyes.com/2024.06.01/00:00:00/3792

数据库的备份,则是用的阿里云盘:https://www.mpyes.com/2024.06.19/23:59:00/3796