반응형

argo workflow 6

argo workflow 배포 ( distribution )

Simple is the best 제가 생각 했을 땐 정말 운영이란 정말 Simple is the best 라고 생각 됩니다. 복잡하기만 기능들을 많아지겠지만 그에 비해 관리만 힘들어질 뿐이죠 argo workflow directory 구조 저는 디렉터리 구조를 아래 처럼 가져가고 있습니다. 이유는 적절한 추상화를 통해 최소한의 권한 분리 ( 프로젝트 별 )을 진행 하기 위해서 아래 같은 구조를 가져 갔습니다. 위 디랙터리를 가져간 이유는 ClusterWorflowTemplates의 사용에 대해서 신경 쓰지고 가져다 쓰고 싶다 였습니다. 따로 WorflowTemplates나 CronWorflow 같은 것들도 나눌 수 있지만 해당 프로젝트에서 통합적으로 관리 하면 더 편할 것 같아서 적절한 추상화를 통해 ..

argo workflow 2023.07.22

argo workflow 로 어떤 걸 만들었을까?

다양한 CI/CD 들을 만들 수 있는 툴이지만 단순 CI/CD 만 사용하기엔 정말 아까운 툴인 것 같습니다 ! 어떤 자동화 시스템을 개발하여 관리하기 위해서는 많은 인력이 투입되서 개발을 진행해야 하며, 실행하고 배포를 해야하고 또 잘 작동하는지 모니터링을 해야하는 여러 리소스들이 많이 들어갑니다. 하지만 argo workflow는 여러가지 템플릿만 개발해 두면 "개발,실행,배포"가 동시에 이뤄질 수 있다는 장점 ! 즉, 손쉽게 자동화 기능을 구현가능 합니다. 예시로 저희는 지금 devop management 란 API 서버를 개발해서 자동화를 위해 운영중입니다. 하지만 몇 백대의 devop management 란 API 서버를 어떻게 배포를 할 것인지 어떻게 상태 체크를 할 것인지 앞길이 쫌 막막하긴 ..

argo workflow 2023.07.22

argo workflow의 WorkflowTemplate 이용

WorkflowTemplate 란? WorkflowTemplate은 Argo Workflow에서 재사용 가능한 워크플로우 정의의 모음입니다. 일반 워크플로우와 비슷하지만, WorkflowTemplate은 독립적으로 실행할 수 없으며 다른 워크플로우에서 참조되어 사용됩니다. WorkflowTemplate의 주요 목적은 코드 재사용 및 모듈화로, 여러 워크플로우에서 공통적으로 사용되는 템플릿을 중앙 집중식으로 관리할 수 있습니다. WorkflowTemplate 사용의 장점은 다음과 같습니다. 코드 재사용: 워크플로우 간에 중복되는 작업을 줄이고 공통 템플릿을 통합하여 관리할 수 있습니다. 이로 인해 워크플로우 정의를 간소화하고 유지 관리를 용이하게 할 수 있습니다. 모듈화: 각 WorkflowTemplate..

argo workflow 2023.04.20

argo workflows에서 Workflow 사용

Workflow 란 ... Workflow는 일련의 작업들이 서로 연결되어 순차적, 병렬, 또는 복잡한 종속성 구조를 가진 형태로 실행되는 프로세스이며, 다음과 같은 특성을 같습니다. 자동화: 워크플로우는 일련의 작업들을 자동으로 실행할 수 있도록 구성되어 있습니다. 이를 통해 오류 가능성이 높은 수동 작업을 최소화하고, 작업의 정확성과 일관성을 높일 수 있습니다. 재사용성: 워크플로우는 재사용 가능한 작업 또는 작업 그룹을 정의할 수 있습니다. 이를 통해 코드 중복을 줄이고, 워크플로우 구성의 유지 관리를 용이하게 할 수 있습니다. 모듈화: 워크플로우는 작업을 작은, 독립적인 모듈로 나눌 수 있습니다. 이를 통해 개발 및 유지 관리에 드는 시간과 노력을 줄일 수 있으며, 각 작업의 책임을 명확하게 구분..

argo workflow 2023.04.16

argo workflows 설치 및 인증

UI를 가진 오픈 소스를 사용할 때마다 드는 생각이 아이디 발급하는 것 만큼 귀찮고 의미 없는 작업이란 생각에 해당 부분을 대부분 오픈소스들에 goolge Oauth를 적용하여 이용하는 중입니다. argocd 같은 경우 google Oauth를 이용해 이용하고 있고 argo workflows 역시 SSO 인증이 된다고 나와 있으나 이게 사알짝 BRAC와 얽혀 있어서 인증이 되고 이용하는데 있어서 설정해 줘야 할 부분들이 있기에 알아 보도록 하겠습니다. 설치는 helm을 이용하여 argocd 로 배포할 예정입니다. 참조 : https://argoproj.github.io/argo-workflows/argo-server-sso/ 아래는 helm 차트에 나와있는 SSO 적용 방법입니다. ( 필자는 다써두고 중..

argo workflow 2023.04.14

argo workflows 의 도입 여정의 시작

CI/CD 를 구축하면서 github Action 만 신경 쓰다가 결국 github가 장애가 발생하는 경우가 종종 생기곤 할 때 곤란한 부분이 있다고 생각했었고 실제로도 그런 경우를 겪기도 해서 유사시에 수동으로 빌드할 수 있는 젠킨스와 같은 중앙의 툴이 있었으면 좋겠다고 생각 했던 와중 argo workerflow 라는 툴이 눈에 들어오게 되었습니다. argo 측에서 개발 하고 있는 오픈 소스로 설명 을 읽어보니 airflow와 비슷한 기능을 수행하는 오픈소스 였으나, 여러가지 기능이 개발(argo-events)되면서 CI 뿐만 아니라 API 게이트 웨이 같은 기능도 있어 서버리스 기능 까지 구현 할 수 있지 않을까? 란 생각이 들기 시작하면서 빠지게 된 것 같습니다. 무엇보다 Dags 및 크론 같은 ..

argo workflow 2023.04.14
반응형