mirror of
				https://github.com/go-gitea/gitea.git
				synced 2025-11-04 10:44:12 +01:00 
			
		
		
		
	Move migration functions to services layer (#29497)
This commit is contained in:
		
							parent
							
								
									5e32cd6beb
								
							
						
					
					
						commit
						58ce1de994
					
				@ -5,16 +5,13 @@ package repository
 | 
				
			|||||||
 | 
					
 | 
				
			||||||
import (
 | 
					import (
 | 
				
			||||||
	"context"
 | 
						"context"
 | 
				
			||||||
	"errors"
 | 
					 | 
				
			||||||
	"fmt"
 | 
						"fmt"
 | 
				
			||||||
	"io"
 | 
						"io"
 | 
				
			||||||
	"net/http"
 | 
					 | 
				
			||||||
	"strings"
 | 
						"strings"
 | 
				
			||||||
	"time"
 | 
						"time"
 | 
				
			||||||
 | 
					
 | 
				
			||||||
	"code.gitea.io/gitea/models/db"
 | 
						"code.gitea.io/gitea/models/db"
 | 
				
			||||||
	git_model "code.gitea.io/gitea/models/git"
 | 
						git_model "code.gitea.io/gitea/models/git"
 | 
				
			||||||
	"code.gitea.io/gitea/models/organization"
 | 
					 | 
				
			||||||
	repo_model "code.gitea.io/gitea/models/repo"
 | 
						repo_model "code.gitea.io/gitea/models/repo"
 | 
				
			||||||
	user_model "code.gitea.io/gitea/models/user"
 | 
						user_model "code.gitea.io/gitea/models/user"
 | 
				
			||||||
	"code.gitea.io/gitea/modules/container"
 | 
						"code.gitea.io/gitea/modules/container"
 | 
				
			||||||
@ -22,10 +19,8 @@ import (
 | 
				
			|||||||
	"code.gitea.io/gitea/modules/gitrepo"
 | 
						"code.gitea.io/gitea/modules/gitrepo"
 | 
				
			||||||
	"code.gitea.io/gitea/modules/lfs"
 | 
						"code.gitea.io/gitea/modules/lfs"
 | 
				
			||||||
	"code.gitea.io/gitea/modules/log"
 | 
						"code.gitea.io/gitea/modules/log"
 | 
				
			||||||
	"code.gitea.io/gitea/modules/migration"
 | 
					 | 
				
			||||||
	"code.gitea.io/gitea/modules/setting"
 | 
						"code.gitea.io/gitea/modules/setting"
 | 
				
			||||||
	"code.gitea.io/gitea/modules/timeutil"
 | 
						"code.gitea.io/gitea/modules/timeutil"
 | 
				
			||||||
	"code.gitea.io/gitea/modules/util"
 | 
					 | 
				
			||||||
)
 | 
					)
 | 
				
			||||||
 | 
					
 | 
				
			||||||
/*
 | 
					/*
 | 
				
			||||||
@ -47,244 +42,6 @@ func WikiRemoteURL(ctx context.Context, remote string) string {
 | 
				
			|||||||
	return ""
 | 
						return ""
 | 
				
			||||||
}
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
// MigrateRepositoryGitData starts migrating git related data after created migrating repository
 | 
					 | 
				
			||||||
func MigrateRepositoryGitData(ctx context.Context, u *user_model.User,
 | 
					 | 
				
			||||||
	repo *repo_model.Repository, opts migration.MigrateOptions,
 | 
					 | 
				
			||||||
	httpTransport *http.Transport,
 | 
					 | 
				
			||||||
) (*repo_model.Repository, error) {
 | 
					 | 
				
			||||||
	repoPath := repo_model.RepoPath(u.Name, opts.RepoName)
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	if u.IsOrganization() {
 | 
					 | 
				
			||||||
		t, err := organization.OrgFromUser(u).GetOwnerTeam(ctx)
 | 
					 | 
				
			||||||
		if err != nil {
 | 
					 | 
				
			||||||
			return nil, err
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
		repo.NumWatches = t.NumMembers
 | 
					 | 
				
			||||||
	} else {
 | 
					 | 
				
			||||||
		repo.NumWatches = 1
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	migrateTimeout := time.Duration(setting.Git.Timeout.Migrate) * time.Second
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	var err error
 | 
					 | 
				
			||||||
	if err = util.RemoveAll(repoPath); err != nil {
 | 
					 | 
				
			||||||
		return repo, fmt.Errorf("Failed to remove %s: %w", repoPath, err)
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	if err = git.Clone(ctx, opts.CloneAddr, repoPath, git.CloneRepoOptions{
 | 
					 | 
				
			||||||
		Mirror:        true,
 | 
					 | 
				
			||||||
		Quiet:         true,
 | 
					 | 
				
			||||||
		Timeout:       migrateTimeout,
 | 
					 | 
				
			||||||
		SkipTLSVerify: setting.Migrations.SkipTLSVerify,
 | 
					 | 
				
			||||||
	}); err != nil {
 | 
					 | 
				
			||||||
		if errors.Is(err, context.DeadlineExceeded) {
 | 
					 | 
				
			||||||
			return repo, fmt.Errorf("Clone timed out. Consider increasing [git.timeout] MIGRATE in app.ini. Underlying Error: %w", err)
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
		return repo, fmt.Errorf("Clone: %w", err)
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	if err := git.WriteCommitGraph(ctx, repoPath); err != nil {
 | 
					 | 
				
			||||||
		return repo, err
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	if opts.Wiki {
 | 
					 | 
				
			||||||
		wikiPath := repo_model.WikiPath(u.Name, opts.RepoName)
 | 
					 | 
				
			||||||
		wikiRemotePath := WikiRemoteURL(ctx, opts.CloneAddr)
 | 
					 | 
				
			||||||
		if len(wikiRemotePath) > 0 {
 | 
					 | 
				
			||||||
			if err := util.RemoveAll(wikiPath); err != nil {
 | 
					 | 
				
			||||||
				return repo, fmt.Errorf("Failed to remove %s: %w", wikiPath, err)
 | 
					 | 
				
			||||||
			}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
			if err := git.Clone(ctx, wikiRemotePath, wikiPath, git.CloneRepoOptions{
 | 
					 | 
				
			||||||
				Mirror:        true,
 | 
					 | 
				
			||||||
				Quiet:         true,
 | 
					 | 
				
			||||||
				Timeout:       migrateTimeout,
 | 
					 | 
				
			||||||
				Branch:        "master",
 | 
					 | 
				
			||||||
				SkipTLSVerify: setting.Migrations.SkipTLSVerify,
 | 
					 | 
				
			||||||
			}); err != nil {
 | 
					 | 
				
			||||||
				log.Warn("Clone wiki: %v", err)
 | 
					 | 
				
			||||||
				if err := util.RemoveAll(wikiPath); err != nil {
 | 
					 | 
				
			||||||
					return repo, fmt.Errorf("Failed to remove %s: %w", wikiPath, err)
 | 
					 | 
				
			||||||
				}
 | 
					 | 
				
			||||||
			} else {
 | 
					 | 
				
			||||||
				if err := git.WriteCommitGraph(ctx, wikiPath); err != nil {
 | 
					 | 
				
			||||||
					return repo, err
 | 
					 | 
				
			||||||
				}
 | 
					 | 
				
			||||||
			}
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	if repo.OwnerID == u.ID {
 | 
					 | 
				
			||||||
		repo.Owner = u
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	if err = CheckDaemonExportOK(ctx, repo); err != nil {
 | 
					 | 
				
			||||||
		return repo, fmt.Errorf("checkDaemonExportOK: %w", err)
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	if stdout, _, err := git.NewCommand(ctx, "update-server-info").
 | 
					 | 
				
			||||||
		SetDescription(fmt.Sprintf("MigrateRepositoryGitData(git update-server-info): %s", repoPath)).
 | 
					 | 
				
			||||||
		RunStdString(&git.RunOpts{Dir: repoPath}); err != nil {
 | 
					 | 
				
			||||||
		log.Error("MigrateRepositoryGitData(git update-server-info) in %v: Stdout: %s\nError: %v", repo, stdout, err)
 | 
					 | 
				
			||||||
		return repo, fmt.Errorf("error in MigrateRepositoryGitData(git update-server-info): %w", err)
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	gitRepo, err := git.OpenRepository(ctx, repoPath)
 | 
					 | 
				
			||||||
	if err != nil {
 | 
					 | 
				
			||||||
		return repo, fmt.Errorf("OpenRepository: %w", err)
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
	defer gitRepo.Close()
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	repo.IsEmpty, err = gitRepo.IsEmpty()
 | 
					 | 
				
			||||||
	if err != nil {
 | 
					 | 
				
			||||||
		return repo, fmt.Errorf("git.IsEmpty: %w", err)
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	if !repo.IsEmpty {
 | 
					 | 
				
			||||||
		if len(repo.DefaultBranch) == 0 {
 | 
					 | 
				
			||||||
			// Try to get HEAD branch and set it as default branch.
 | 
					 | 
				
			||||||
			headBranch, err := gitRepo.GetHEADBranch()
 | 
					 | 
				
			||||||
			if err != nil {
 | 
					 | 
				
			||||||
				return repo, fmt.Errorf("GetHEADBranch: %w", err)
 | 
					 | 
				
			||||||
			}
 | 
					 | 
				
			||||||
			if headBranch != nil {
 | 
					 | 
				
			||||||
				repo.DefaultBranch = headBranch.Name
 | 
					 | 
				
			||||||
			}
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
		if _, err := SyncRepoBranchesWithRepo(ctx, repo, gitRepo, u.ID); err != nil {
 | 
					 | 
				
			||||||
			return repo, fmt.Errorf("SyncRepoBranchesWithRepo: %v", err)
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
		if !opts.Releases {
 | 
					 | 
				
			||||||
			// note: this will greatly improve release (tag) sync
 | 
					 | 
				
			||||||
			// for pull-mirrors with many tags
 | 
					 | 
				
			||||||
			repo.IsMirror = opts.Mirror
 | 
					 | 
				
			||||||
			if err = SyncReleasesWithTags(ctx, repo, gitRepo); err != nil {
 | 
					 | 
				
			||||||
				log.Error("Failed to synchronize tags to releases for repository: %v", err)
 | 
					 | 
				
			||||||
			}
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
		if opts.LFS {
 | 
					 | 
				
			||||||
			endpoint := lfs.DetermineEndpoint(opts.CloneAddr, opts.LFSEndpoint)
 | 
					 | 
				
			||||||
			lfsClient := lfs.NewClient(endpoint, httpTransport)
 | 
					 | 
				
			||||||
			if err = StoreMissingLfsObjectsInRepository(ctx, repo, gitRepo, lfsClient); err != nil {
 | 
					 | 
				
			||||||
				log.Error("Failed to store missing LFS objects for repository: %v", err)
 | 
					 | 
				
			||||||
			}
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	ctx, committer, err := db.TxContext(ctx)
 | 
					 | 
				
			||||||
	if err != nil {
 | 
					 | 
				
			||||||
		return nil, err
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
	defer committer.Close()
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	if opts.Mirror {
 | 
					 | 
				
			||||||
		remoteAddress, err := util.SanitizeURL(opts.CloneAddr)
 | 
					 | 
				
			||||||
		if err != nil {
 | 
					 | 
				
			||||||
			return repo, err
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
		mirrorModel := repo_model.Mirror{
 | 
					 | 
				
			||||||
			RepoID:         repo.ID,
 | 
					 | 
				
			||||||
			Interval:       setting.Mirror.DefaultInterval,
 | 
					 | 
				
			||||||
			EnablePrune:    true,
 | 
					 | 
				
			||||||
			NextUpdateUnix: timeutil.TimeStampNow().AddDuration(setting.Mirror.DefaultInterval),
 | 
					 | 
				
			||||||
			LFS:            opts.LFS,
 | 
					 | 
				
			||||||
			RemoteAddress:  remoteAddress,
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
		if opts.LFS {
 | 
					 | 
				
			||||||
			mirrorModel.LFSEndpoint = opts.LFSEndpoint
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
		if opts.MirrorInterval != "" {
 | 
					 | 
				
			||||||
			parsedInterval, err := time.ParseDuration(opts.MirrorInterval)
 | 
					 | 
				
			||||||
			if err != nil {
 | 
					 | 
				
			||||||
				log.Error("Failed to set Interval: %v", err)
 | 
					 | 
				
			||||||
				return repo, err
 | 
					 | 
				
			||||||
			}
 | 
					 | 
				
			||||||
			if parsedInterval == 0 {
 | 
					 | 
				
			||||||
				mirrorModel.Interval = 0
 | 
					 | 
				
			||||||
				mirrorModel.NextUpdateUnix = 0
 | 
					 | 
				
			||||||
			} else if parsedInterval < setting.Mirror.MinInterval {
 | 
					 | 
				
			||||||
				err := fmt.Errorf("interval %s is set below Minimum Interval of %s", parsedInterval, setting.Mirror.MinInterval)
 | 
					 | 
				
			||||||
				log.Error("Interval: %s is too frequent", opts.MirrorInterval)
 | 
					 | 
				
			||||||
				return repo, err
 | 
					 | 
				
			||||||
			} else {
 | 
					 | 
				
			||||||
				mirrorModel.Interval = parsedInterval
 | 
					 | 
				
			||||||
				mirrorModel.NextUpdateUnix = timeutil.TimeStampNow().AddDuration(parsedInterval)
 | 
					 | 
				
			||||||
			}
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
		if err = repo_model.InsertMirror(ctx, &mirrorModel); err != nil {
 | 
					 | 
				
			||||||
			return repo, fmt.Errorf("InsertOne: %w", err)
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
		repo.IsMirror = true
 | 
					 | 
				
			||||||
		if err = UpdateRepository(ctx, repo, false); err != nil {
 | 
					 | 
				
			||||||
			return nil, err
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
		// this is necessary for sync local tags from remote
 | 
					 | 
				
			||||||
		configName := fmt.Sprintf("remote.%s.fetch", mirrorModel.GetRemoteName())
 | 
					 | 
				
			||||||
		if stdout, _, err := git.NewCommand(ctx, "config").
 | 
					 | 
				
			||||||
			AddOptionValues("--add", configName, `+refs/tags/*:refs/tags/*`).
 | 
					 | 
				
			||||||
			RunStdString(&git.RunOpts{Dir: repoPath}); err != nil {
 | 
					 | 
				
			||||||
			log.Error("MigrateRepositoryGitData(git config --add <remote> +refs/tags/*:refs/tags/*) in %v: Stdout: %s\nError: %v", repo, stdout, err)
 | 
					 | 
				
			||||||
			return repo, fmt.Errorf("error in MigrateRepositoryGitData(git config --add <remote> +refs/tags/*:refs/tags/*): %w", err)
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
	} else {
 | 
					 | 
				
			||||||
		if err = UpdateRepoSize(ctx, repo); err != nil {
 | 
					 | 
				
			||||||
			log.Error("Failed to update size for repository: %v", err)
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
		if repo, err = CleanUpMigrateInfo(ctx, repo); err != nil {
 | 
					 | 
				
			||||||
			return nil, err
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	return repo, committer.Commit()
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
// cleanUpMigrateGitConfig removes mirror info which prevents "push --all".
 | 
					 | 
				
			||||||
// This also removes possible user credentials.
 | 
					 | 
				
			||||||
func cleanUpMigrateGitConfig(ctx context.Context, repoPath string) error {
 | 
					 | 
				
			||||||
	cmd := git.NewCommand(ctx, "remote", "rm", "origin")
 | 
					 | 
				
			||||||
	// if the origin does not exist
 | 
					 | 
				
			||||||
	_, stderr, err := cmd.RunStdString(&git.RunOpts{
 | 
					 | 
				
			||||||
		Dir: repoPath,
 | 
					 | 
				
			||||||
	})
 | 
					 | 
				
			||||||
	if err != nil && !strings.HasPrefix(stderr, "fatal: No such remote") {
 | 
					 | 
				
			||||||
		return err
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
	return nil
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
// CleanUpMigrateInfo finishes migrating repository and/or wiki with things that don't need to be done for mirrors.
 | 
					 | 
				
			||||||
func CleanUpMigrateInfo(ctx context.Context, repo *repo_model.Repository) (*repo_model.Repository, error) {
 | 
					 | 
				
			||||||
	repoPath := repo.RepoPath()
 | 
					 | 
				
			||||||
	if err := CreateDelegateHooks(repoPath); err != nil {
 | 
					 | 
				
			||||||
		return repo, fmt.Errorf("createDelegateHooks: %w", err)
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
	if repo.HasWiki() {
 | 
					 | 
				
			||||||
		if err := CreateDelegateHooks(repo.WikiPath()); err != nil {
 | 
					 | 
				
			||||||
			return repo, fmt.Errorf("createDelegateHooks.(wiki): %w", err)
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	_, _, err := git.NewCommand(ctx, "remote", "rm", "origin").RunStdString(&git.RunOpts{Dir: repoPath})
 | 
					 | 
				
			||||||
	if err != nil && !strings.HasPrefix(err.Error(), "exit status 128 - fatal: No such remote ") {
 | 
					 | 
				
			||||||
		return repo, fmt.Errorf("CleanUpMigrateInfo: %w", err)
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	if repo.HasWiki() {
 | 
					 | 
				
			||||||
		if err := cleanUpMigrateGitConfig(ctx, repo.WikiPath()); err != nil {
 | 
					 | 
				
			||||||
			return repo, fmt.Errorf("cleanUpMigrateGitConfig (wiki): %w", err)
 | 
					 | 
				
			||||||
		}
 | 
					 | 
				
			||||||
	}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
	return repo, UpdateRepository(ctx, repo, false)
 | 
					 | 
				
			||||||
}
 | 
					 | 
				
			||||||
 | 
					 | 
				
			||||||
// SyncRepoTags synchronizes releases table with repository tags
 | 
					// SyncRepoTags synchronizes releases table with repository tags
 | 
				
			||||||
func SyncRepoTags(ctx context.Context, repoID int64) error {
 | 
					func SyncRepoTags(ctx context.Context, repoID int64) error {
 | 
				
			||||||
	repo, err := repo_model.GetRepositoryByID(ctx, repoID)
 | 
						repo, err := repo_model.GetRepositoryByID(ctx, repoID)
 | 
				
			||||||
 | 
				
			|||||||
@ -23,7 +23,6 @@ import (
 | 
				
			|||||||
	"code.gitea.io/gitea/modules/indexer/stats"
 | 
						"code.gitea.io/gitea/modules/indexer/stats"
 | 
				
			||||||
	"code.gitea.io/gitea/modules/lfs"
 | 
						"code.gitea.io/gitea/modules/lfs"
 | 
				
			||||||
	"code.gitea.io/gitea/modules/log"
 | 
						"code.gitea.io/gitea/modules/log"
 | 
				
			||||||
	repo_module "code.gitea.io/gitea/modules/repository"
 | 
					 | 
				
			||||||
	"code.gitea.io/gitea/modules/setting"
 | 
						"code.gitea.io/gitea/modules/setting"
 | 
				
			||||||
	"code.gitea.io/gitea/modules/structs"
 | 
						"code.gitea.io/gitea/modules/structs"
 | 
				
			||||||
	"code.gitea.io/gitea/modules/util"
 | 
						"code.gitea.io/gitea/modules/util"
 | 
				
			||||||
@ -693,7 +692,7 @@ func SettingsPost(ctx *context.Context) {
 | 
				
			|||||||
		}
 | 
							}
 | 
				
			||||||
		repo.IsMirror = false
 | 
							repo.IsMirror = false
 | 
				
			||||||
 | 
					
 | 
				
			||||||
		if _, err := repo_module.CleanUpMigrateInfo(ctx, repo); err != nil {
 | 
							if _, err := repo_service.CleanUpMigrateInfo(ctx, repo); err != nil {
 | 
				
			||||||
			ctx.ServerError("CleanUpMigrateInfo", err)
 | 
								ctx.ServerError("CleanUpMigrateInfo", err)
 | 
				
			||||||
			return
 | 
								return
 | 
				
			||||||
		} else if err = repo_model.DeleteMirrorByRepoID(ctx, ctx.Repo.Repository.ID); err != nil {
 | 
							} else if err = repo_model.DeleteMirrorByRepoID(ctx, ctx.Repo.Repository.ID); err != nil {
 | 
				
			||||||
 | 
				
			|||||||
@ -120,7 +120,7 @@ func (g *GiteaLocalUploader) CreateRepo(repo *base.Repository, opts base.Migrate
 | 
				
			|||||||
	r.DefaultBranch = repo.DefaultBranch
 | 
						r.DefaultBranch = repo.DefaultBranch
 | 
				
			||||||
	r.Description = repo.Description
 | 
						r.Description = repo.Description
 | 
				
			||||||
 | 
					
 | 
				
			||||||
	r, err = repo_module.MigrateRepositoryGitData(g.ctx, owner, r, base.MigrateOptions{
 | 
						r, err = repo_service.MigrateRepositoryGitData(g.ctx, owner, r, base.MigrateOptions{
 | 
				
			||||||
		RepoName:       g.repoName,
 | 
							RepoName:       g.repoName,
 | 
				
			||||||
		Description:    repo.Description,
 | 
							Description:    repo.Description,
 | 
				
			||||||
		OriginalURL:    repo.OriginalURL,
 | 
							OriginalURL:    repo.OriginalURL,
 | 
				
			||||||
 | 
				
			|||||||
							
								
								
									
										264
									
								
								services/repository/migrate.go
									
									
									
									
									
										Normal file
									
								
							
							
						
						
									
										264
									
								
								services/repository/migrate.go
									
									
									
									
									
										Normal file
									
								
							@ -0,0 +1,264 @@
 | 
				
			|||||||
 | 
					// Copyright 2024 The Gitea Authors. All rights reserved.
 | 
				
			||||||
 | 
					// SPDX-License-Identifier: MIT
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					package repository
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					import (
 | 
				
			||||||
 | 
						"context"
 | 
				
			||||||
 | 
						"errors"
 | 
				
			||||||
 | 
						"fmt"
 | 
				
			||||||
 | 
						"net/http"
 | 
				
			||||||
 | 
						"strings"
 | 
				
			||||||
 | 
						"time"
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						"code.gitea.io/gitea/models/db"
 | 
				
			||||||
 | 
						"code.gitea.io/gitea/models/organization"
 | 
				
			||||||
 | 
						repo_model "code.gitea.io/gitea/models/repo"
 | 
				
			||||||
 | 
						user_model "code.gitea.io/gitea/models/user"
 | 
				
			||||||
 | 
						"code.gitea.io/gitea/modules/git"
 | 
				
			||||||
 | 
						"code.gitea.io/gitea/modules/lfs"
 | 
				
			||||||
 | 
						"code.gitea.io/gitea/modules/log"
 | 
				
			||||||
 | 
						"code.gitea.io/gitea/modules/migration"
 | 
				
			||||||
 | 
						repo_module "code.gitea.io/gitea/modules/repository"
 | 
				
			||||||
 | 
						"code.gitea.io/gitea/modules/setting"
 | 
				
			||||||
 | 
						"code.gitea.io/gitea/modules/timeutil"
 | 
				
			||||||
 | 
						"code.gitea.io/gitea/modules/util"
 | 
				
			||||||
 | 
					)
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					// MigrateRepositoryGitData starts migrating git related data after created migrating repository
 | 
				
			||||||
 | 
					func MigrateRepositoryGitData(ctx context.Context, u *user_model.User,
 | 
				
			||||||
 | 
						repo *repo_model.Repository, opts migration.MigrateOptions,
 | 
				
			||||||
 | 
						httpTransport *http.Transport,
 | 
				
			||||||
 | 
					) (*repo_model.Repository, error) {
 | 
				
			||||||
 | 
						repoPath := repo_model.RepoPath(u.Name, opts.RepoName)
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						if u.IsOrganization() {
 | 
				
			||||||
 | 
							t, err := organization.OrgFromUser(u).GetOwnerTeam(ctx)
 | 
				
			||||||
 | 
							if err != nil {
 | 
				
			||||||
 | 
								return nil, err
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
							repo.NumWatches = t.NumMembers
 | 
				
			||||||
 | 
						} else {
 | 
				
			||||||
 | 
							repo.NumWatches = 1
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						migrateTimeout := time.Duration(setting.Git.Timeout.Migrate) * time.Second
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						var err error
 | 
				
			||||||
 | 
						if err = util.RemoveAll(repoPath); err != nil {
 | 
				
			||||||
 | 
							return repo, fmt.Errorf("Failed to remove %s: %w", repoPath, err)
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						if err = git.Clone(ctx, opts.CloneAddr, repoPath, git.CloneRepoOptions{
 | 
				
			||||||
 | 
							Mirror:        true,
 | 
				
			||||||
 | 
							Quiet:         true,
 | 
				
			||||||
 | 
							Timeout:       migrateTimeout,
 | 
				
			||||||
 | 
							SkipTLSVerify: setting.Migrations.SkipTLSVerify,
 | 
				
			||||||
 | 
						}); err != nil {
 | 
				
			||||||
 | 
							if errors.Is(err, context.DeadlineExceeded) {
 | 
				
			||||||
 | 
								return repo, fmt.Errorf("Clone timed out. Consider increasing [git.timeout] MIGRATE in app.ini. Underlying Error: %w", err)
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
							return repo, fmt.Errorf("Clone: %w", err)
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						if err := git.WriteCommitGraph(ctx, repoPath); err != nil {
 | 
				
			||||||
 | 
							return repo, err
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						if opts.Wiki {
 | 
				
			||||||
 | 
							wikiPath := repo_model.WikiPath(u.Name, opts.RepoName)
 | 
				
			||||||
 | 
							wikiRemotePath := repo_module.WikiRemoteURL(ctx, opts.CloneAddr)
 | 
				
			||||||
 | 
							if len(wikiRemotePath) > 0 {
 | 
				
			||||||
 | 
								if err := util.RemoveAll(wikiPath); err != nil {
 | 
				
			||||||
 | 
									return repo, fmt.Errorf("Failed to remove %s: %w", wikiPath, err)
 | 
				
			||||||
 | 
								}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
								if err := git.Clone(ctx, wikiRemotePath, wikiPath, git.CloneRepoOptions{
 | 
				
			||||||
 | 
									Mirror:        true,
 | 
				
			||||||
 | 
									Quiet:         true,
 | 
				
			||||||
 | 
									Timeout:       migrateTimeout,
 | 
				
			||||||
 | 
									Branch:        "master",
 | 
				
			||||||
 | 
									SkipTLSVerify: setting.Migrations.SkipTLSVerify,
 | 
				
			||||||
 | 
								}); err != nil {
 | 
				
			||||||
 | 
									log.Warn("Clone wiki: %v", err)
 | 
				
			||||||
 | 
									if err := util.RemoveAll(wikiPath); err != nil {
 | 
				
			||||||
 | 
										return repo, fmt.Errorf("Failed to remove %s: %w", wikiPath, err)
 | 
				
			||||||
 | 
									}
 | 
				
			||||||
 | 
								} else {
 | 
				
			||||||
 | 
									if err := git.WriteCommitGraph(ctx, wikiPath); err != nil {
 | 
				
			||||||
 | 
										return repo, err
 | 
				
			||||||
 | 
									}
 | 
				
			||||||
 | 
								}
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						if repo.OwnerID == u.ID {
 | 
				
			||||||
 | 
							repo.Owner = u
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						if err = repo_module.CheckDaemonExportOK(ctx, repo); err != nil {
 | 
				
			||||||
 | 
							return repo, fmt.Errorf("checkDaemonExportOK: %w", err)
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						if stdout, _, err := git.NewCommand(ctx, "update-server-info").
 | 
				
			||||||
 | 
							SetDescription(fmt.Sprintf("MigrateRepositoryGitData(git update-server-info): %s", repoPath)).
 | 
				
			||||||
 | 
							RunStdString(&git.RunOpts{Dir: repoPath}); err != nil {
 | 
				
			||||||
 | 
							log.Error("MigrateRepositoryGitData(git update-server-info) in %v: Stdout: %s\nError: %v", repo, stdout, err)
 | 
				
			||||||
 | 
							return repo, fmt.Errorf("error in MigrateRepositoryGitData(git update-server-info): %w", err)
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						gitRepo, err := git.OpenRepository(ctx, repoPath)
 | 
				
			||||||
 | 
						if err != nil {
 | 
				
			||||||
 | 
							return repo, fmt.Errorf("OpenRepository: %w", err)
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
						defer gitRepo.Close()
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						repo.IsEmpty, err = gitRepo.IsEmpty()
 | 
				
			||||||
 | 
						if err != nil {
 | 
				
			||||||
 | 
							return repo, fmt.Errorf("git.IsEmpty: %w", err)
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						if !repo.IsEmpty {
 | 
				
			||||||
 | 
							if len(repo.DefaultBranch) == 0 {
 | 
				
			||||||
 | 
								// Try to get HEAD branch and set it as default branch.
 | 
				
			||||||
 | 
								headBranch, err := gitRepo.GetHEADBranch()
 | 
				
			||||||
 | 
								if err != nil {
 | 
				
			||||||
 | 
									return repo, fmt.Errorf("GetHEADBranch: %w", err)
 | 
				
			||||||
 | 
								}
 | 
				
			||||||
 | 
								if headBranch != nil {
 | 
				
			||||||
 | 
									repo.DefaultBranch = headBranch.Name
 | 
				
			||||||
 | 
								}
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
							if _, err := repo_module.SyncRepoBranchesWithRepo(ctx, repo, gitRepo, u.ID); err != nil {
 | 
				
			||||||
 | 
								return repo, fmt.Errorf("SyncRepoBranchesWithRepo: %v", err)
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
							if !opts.Releases {
 | 
				
			||||||
 | 
								// note: this will greatly improve release (tag) sync
 | 
				
			||||||
 | 
								// for pull-mirrors with many tags
 | 
				
			||||||
 | 
								repo.IsMirror = opts.Mirror
 | 
				
			||||||
 | 
								if err = repo_module.SyncReleasesWithTags(ctx, repo, gitRepo); err != nil {
 | 
				
			||||||
 | 
									log.Error("Failed to synchronize tags to releases for repository: %v", err)
 | 
				
			||||||
 | 
								}
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
							if opts.LFS {
 | 
				
			||||||
 | 
								endpoint := lfs.DetermineEndpoint(opts.CloneAddr, opts.LFSEndpoint)
 | 
				
			||||||
 | 
								lfsClient := lfs.NewClient(endpoint, httpTransport)
 | 
				
			||||||
 | 
								if err = repo_module.StoreMissingLfsObjectsInRepository(ctx, repo, gitRepo, lfsClient); err != nil {
 | 
				
			||||||
 | 
									log.Error("Failed to store missing LFS objects for repository: %v", err)
 | 
				
			||||||
 | 
								}
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						ctx, committer, err := db.TxContext(ctx)
 | 
				
			||||||
 | 
						if err != nil {
 | 
				
			||||||
 | 
							return nil, err
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
						defer committer.Close()
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						if opts.Mirror {
 | 
				
			||||||
 | 
							remoteAddress, err := util.SanitizeURL(opts.CloneAddr)
 | 
				
			||||||
 | 
							if err != nil {
 | 
				
			||||||
 | 
								return repo, err
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
							mirrorModel := repo_model.Mirror{
 | 
				
			||||||
 | 
								RepoID:         repo.ID,
 | 
				
			||||||
 | 
								Interval:       setting.Mirror.DefaultInterval,
 | 
				
			||||||
 | 
								EnablePrune:    true,
 | 
				
			||||||
 | 
								NextUpdateUnix: timeutil.TimeStampNow().AddDuration(setting.Mirror.DefaultInterval),
 | 
				
			||||||
 | 
								LFS:            opts.LFS,
 | 
				
			||||||
 | 
								RemoteAddress:  remoteAddress,
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
							if opts.LFS {
 | 
				
			||||||
 | 
								mirrorModel.LFSEndpoint = opts.LFSEndpoint
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
							if opts.MirrorInterval != "" {
 | 
				
			||||||
 | 
								parsedInterval, err := time.ParseDuration(opts.MirrorInterval)
 | 
				
			||||||
 | 
								if err != nil {
 | 
				
			||||||
 | 
									log.Error("Failed to set Interval: %v", err)
 | 
				
			||||||
 | 
									return repo, err
 | 
				
			||||||
 | 
								}
 | 
				
			||||||
 | 
								if parsedInterval == 0 {
 | 
				
			||||||
 | 
									mirrorModel.Interval = 0
 | 
				
			||||||
 | 
									mirrorModel.NextUpdateUnix = 0
 | 
				
			||||||
 | 
								} else if parsedInterval < setting.Mirror.MinInterval {
 | 
				
			||||||
 | 
									err := fmt.Errorf("interval %s is set below Minimum Interval of %s", parsedInterval, setting.Mirror.MinInterval)
 | 
				
			||||||
 | 
									log.Error("Interval: %s is too frequent", opts.MirrorInterval)
 | 
				
			||||||
 | 
									return repo, err
 | 
				
			||||||
 | 
								} else {
 | 
				
			||||||
 | 
									mirrorModel.Interval = parsedInterval
 | 
				
			||||||
 | 
									mirrorModel.NextUpdateUnix = timeutil.TimeStampNow().AddDuration(parsedInterval)
 | 
				
			||||||
 | 
								}
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
							if err = repo_model.InsertMirror(ctx, &mirrorModel); err != nil {
 | 
				
			||||||
 | 
								return repo, fmt.Errorf("InsertOne: %w", err)
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
							repo.IsMirror = true
 | 
				
			||||||
 | 
							if err = UpdateRepository(ctx, repo, false); err != nil {
 | 
				
			||||||
 | 
								return nil, err
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
							// this is necessary for sync local tags from remote
 | 
				
			||||||
 | 
							configName := fmt.Sprintf("remote.%s.fetch", mirrorModel.GetRemoteName())
 | 
				
			||||||
 | 
							if stdout, _, err := git.NewCommand(ctx, "config").
 | 
				
			||||||
 | 
								AddOptionValues("--add", configName, `+refs/tags/*:refs/tags/*`).
 | 
				
			||||||
 | 
								RunStdString(&git.RunOpts{Dir: repoPath}); err != nil {
 | 
				
			||||||
 | 
								log.Error("MigrateRepositoryGitData(git config --add <remote> +refs/tags/*:refs/tags/*) in %v: Stdout: %s\nError: %v", repo, stdout, err)
 | 
				
			||||||
 | 
								return repo, fmt.Errorf("error in MigrateRepositoryGitData(git config --add <remote> +refs/tags/*:refs/tags/*): %w", err)
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
						} else {
 | 
				
			||||||
 | 
							if err = repo_module.UpdateRepoSize(ctx, repo); err != nil {
 | 
				
			||||||
 | 
								log.Error("Failed to update size for repository: %v", err)
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
							if repo, err = CleanUpMigrateInfo(ctx, repo); err != nil {
 | 
				
			||||||
 | 
								return nil, err
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						return repo, committer.Commit()
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					// cleanUpMigrateGitConfig removes mirror info which prevents "push --all".
 | 
				
			||||||
 | 
					// This also removes possible user credentials.
 | 
				
			||||||
 | 
					func cleanUpMigrateGitConfig(ctx context.Context, repoPath string) error {
 | 
				
			||||||
 | 
						cmd := git.NewCommand(ctx, "remote", "rm", "origin")
 | 
				
			||||||
 | 
						// if the origin does not exist
 | 
				
			||||||
 | 
						_, stderr, err := cmd.RunStdString(&git.RunOpts{
 | 
				
			||||||
 | 
							Dir: repoPath,
 | 
				
			||||||
 | 
						})
 | 
				
			||||||
 | 
						if err != nil && !strings.HasPrefix(stderr, "fatal: No such remote") {
 | 
				
			||||||
 | 
							return err
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
						return nil
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					// CleanUpMigrateInfo finishes migrating repository and/or wiki with things that don't need to be done for mirrors.
 | 
				
			||||||
 | 
					func CleanUpMigrateInfo(ctx context.Context, repo *repo_model.Repository) (*repo_model.Repository, error) {
 | 
				
			||||||
 | 
						repoPath := repo.RepoPath()
 | 
				
			||||||
 | 
						if err := repo_module.CreateDelegateHooks(repoPath); err != nil {
 | 
				
			||||||
 | 
							return repo, fmt.Errorf("createDelegateHooks: %w", err)
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
						if repo.HasWiki() {
 | 
				
			||||||
 | 
							if err := repo_module.CreateDelegateHooks(repo.WikiPath()); err != nil {
 | 
				
			||||||
 | 
								return repo, fmt.Errorf("createDelegateHooks.(wiki): %w", err)
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						_, _, err := git.NewCommand(ctx, "remote", "rm", "origin").RunStdString(&git.RunOpts{Dir: repoPath})
 | 
				
			||||||
 | 
						if err != nil && !strings.HasPrefix(err.Error(), "exit status 128 - fatal: No such remote ") {
 | 
				
			||||||
 | 
							return repo, fmt.Errorf("CleanUpMigrateInfo: %w", err)
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						if repo.HasWiki() {
 | 
				
			||||||
 | 
							if err := cleanUpMigrateGitConfig(ctx, repo.WikiPath()); err != nil {
 | 
				
			||||||
 | 
								return repo, fmt.Errorf("cleanUpMigrateGitConfig (wiki): %w", err)
 | 
				
			||||||
 | 
							}
 | 
				
			||||||
 | 
						}
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
						return repo, UpdateRepository(ctx, repo, false)
 | 
				
			||||||
 | 
					}
 | 
				
			||||||
@ -14,7 +14,6 @@ import (
 | 
				
			|||||||
	"code.gitea.io/gitea/modules/git"
 | 
						"code.gitea.io/gitea/modules/git"
 | 
				
			||||||
	"code.gitea.io/gitea/modules/gitrepo"
 | 
						"code.gitea.io/gitea/modules/gitrepo"
 | 
				
			||||||
	"code.gitea.io/gitea/modules/migration"
 | 
						"code.gitea.io/gitea/modules/migration"
 | 
				
			||||||
	"code.gitea.io/gitea/modules/repository"
 | 
					 | 
				
			||||||
	mirror_service "code.gitea.io/gitea/services/mirror"
 | 
						mirror_service "code.gitea.io/gitea/services/mirror"
 | 
				
			||||||
	release_service "code.gitea.io/gitea/services/release"
 | 
						release_service "code.gitea.io/gitea/services/release"
 | 
				
			||||||
	repo_service "code.gitea.io/gitea/services/repository"
 | 
						repo_service "code.gitea.io/gitea/services/repository"
 | 
				
			||||||
@ -52,7 +51,7 @@ func TestMirrorPull(t *testing.T) {
 | 
				
			|||||||
 | 
					
 | 
				
			||||||
	ctx := context.Background()
 | 
						ctx := context.Background()
 | 
				
			||||||
 | 
					
 | 
				
			||||||
	mirror, err := repository.MigrateRepositoryGitData(ctx, user, mirrorRepo, opts, nil)
 | 
						mirror, err := repo_service.MigrateRepositoryGitData(ctx, user, mirrorRepo, opts, nil)
 | 
				
			||||||
	assert.NoError(t, err)
 | 
						assert.NoError(t, err)
 | 
				
			||||||
 | 
					
 | 
				
			||||||
	gitRepo, err := gitrepo.OpenRepository(git.DefaultContext, repo)
 | 
						gitRepo, err := gitrepo.OpenRepository(git.DefaultContext, repo)
 | 
				
			||||||
 | 
				
			|||||||
		Loading…
	
	
			
			x
			
			
		
	
		Reference in New Issue
	
	Block a user