「Harbor」- 删除仓库,释放空间

  FROM JENKINS AUTOMATION

更新日期:2019年07月10日

# TODO 存在的问题:使用Harbor的GC无效,并没有释放太多的空间

私有仓库运行一段时间后,仓库中存有大量无用的镜像,会占用太多的存储空间。因此,需要清理。

首先,在Harbor的UI中删除存储库这一操作是这是”软删除“,这可以删除整个存储库或仅删除它的标签,”软删除“后,Harbour中不再管理存储库,但是存储库的文件仍然保留在Harbour的存储中,即依旧占用存储空间。

那如何释放存储空间呢?释放存储空间需要执行GC操作,但是不同版本的Harbor操作方法不同。比如:

在v1.5.3中,需要停止Harbor服务,然后执行GC命令;
在v1.7.5中,系统提供了GC配置界面「Online Garbage Collection」,可以定时执行清理工作;

「Online Garbage Collection」是从1.7.0版本开始的。

关于GC的细节,参考「GC」手册。

Version v1.5.3-9a630207

User Guide/Delete repositories and images

#!/bin/sh

# 仓库的删除分为两步

################################################################################
# 1. 从Harbor的UI中删除仓库(软删除)
# 删除之后,仓库不再由Harbor管理
################################################################################
# 略过……

################################################################################
# 2. 使用Registry的GC删除实际的文件
# 执行GC前,先停止Harbor服务。以防止GC期间有人push镜像,因为这会导致镜像被破坏
################################################################################
# 停止服务
docker-compose stop

# 执行--dry-run查看将被删除的镜像,不会实际删除
docker run -it --name gc --rm --volumes-from registry \
    vmware/registry:2.6.2-photon garbage-collect --dry-run /etc/registry/config.yml

# 执行删除
docker run -it --name gc --rm --volumes-from registry \
    vmware/registry:2.6.2-photon garbage-collect /etc/registry/config.yml

# 启动服务
docker-compose start

# 然而并不好用,空间仍然没有回收多少……


# 系统磁盘:146G

# 计算镜像文件占用空间
du -h --max-depth=0 /data/registry/docker/registry/v2/blobs
# 125G

################################################################################
# 查看所有文件的实际大小
################################################################################
find /data/registry/docker/registry/v2/blobs/ -type f -name "data" -printf "%p, %s\n"
# 此时发现很多小于块大小的文件(最开始实在Harbor接口上发现这个问题的)

# 实际占用的空间大小
find /data/registry/docker/registry/v2/blobs/ -type f -name "data" -printf "%s\n" | paste -sd+ - | bc
# 133735716138B

################################################################################
# 计算每个文件占用的块数
################################################################################
find /data/registry/docker/registry/v2/blobs/ -type f -name "data" -printf "%s\n" \
     | xargs -I '%' -n 1 sh -c "echo % | perl -nl -MPOSIX -e 'print ceil(\$_/4096);'" > /tmp/count.txt

# 计算累计的块数
cat /tmp/count.txt | paste -sd+ - | bc
# 32655707

# 文件系统块大小
xfs_info /dev/mapper/centos-root
# bsize=4096

# 计算实际占用的磁盘空间
echo $((32655707*4096/1024/1024/1024))
# 133757775872B

################################################################################
# 浪费的空间
################################################################################
echo $((133757775872-133735716138))
# 22059734B # 22M

参考文献




文章摘要:Cloud-native_Technologies:Docker:Docker_Registry:Harbor:z.Error_List:Deleting_repositories

原文链接:「Harbor」- 删除仓库,释放空间