토고미의 잡동사니

https://always-kimkim.tistory.com/category/%EA%B0%9C%EB%B0%9C%EC%9E%90%20%EB%9D%BC%EC%9D%B4%ED%94%84/%EC%B9%B4%ED%94%84%EC%B9%B4 '개발자 라이프/카프카' 카테고리의 글 목록 카프카에 관심이 많은 개발자와 엔지니어 그 어딘가..? always-kimkim.tistory.com

pod 안의 여러개의 파일을 local 노드로 한 번에 옮기려했는데 kubectl cp는 wildcard(*)를 지원하지 않는다. kubectl cp 는 내부적으로 tar 명령어를 쓴다. kubectl exec를 통해 tar를 직접쓰면 wildcard 사용이 가능하다. kubectl exec -n -- bash -c "tar cf - /*" | tar xf - -C 예시) kubectl exec -n swlee my-pod -- bash -c "tar cf - /path/to/files/*" | tar xf - -C .

문제 링크 : https://programmers.co.kr/learn/courses/30/lessons/42839# 코딩테스트 연습 - 소수 찾기 한자리 숫자가 적힌 종이 조각이 흩어져있습니다. 흩어진 종이 조각을 붙여 소수를 몇 개 만들 수 있는지 알아내려 합니다. 각 종이 조각에 적힌 숫자가 적힌 문자열 numbers가 주어졌을 때, 종이 programmers.co.kr 코드 #include #include #include #include using namespace std; map M; bool isPrime(string num){ int n = stoi(num); if(M[n]) return false; // 이미 확인한 수라면 중복이기 때문에 false 리턴 M[n] = true; if(n =..

kafka connect란 일종의 api 서버로서, 카프카의 클라이언트를 대신하여 데이터를 브로커에게 pub/sub 한다. connect와 connector, schema registry에 관한 것은 스킵하겠다. 모르겠으면 구글링! 아니면 조만간 내가 글을 쓰고 여기에 링크를 걸든가.. 쉽게 생각하면 여러 개의 클라이언트가 난잡하게 카프카 브로커에 접근하는 것을 카프카 커넥트라는 api 서버가 통합 관리하는 것이라 생각하면 된다. 그리고 그 api 서버에 뚫려있는 api가 connector이다! ======= 이 글의 목적은 k8s 환경에서 strimzi kafka operator를 이용하여 kafka 및 kafka connect를 프로비저닝 한 뒤, 같은 k8s 환경에 존재하는 mysql로부터 post..

개념 rook-ceph 같은 모듈을 사용하지 않고, k8s 클러스터를 구성하는 노드들의 로컬 스토리지를 볼륨으로서 이용하는 방법이 있다. 바로 LocalPV이다. HostPath와 LocalPV를 헷갈릴 수 있는데, 둘의 가장 큰 차이점은 쿠버네티스 스케줄러가 PV가 어느 노드에 속한지를 알고있다는 것이다. HostPath의 경우에는 pod가 재기동 될 때, 다른 노드에 스케줄링이 될수 있기 때문에 정상 동작을 보장할 수 없다. 하지만 LocalPV는 쿠버네티스 스케줄러가 PV의 위치를 고려해서 pod의 스케줄링을 해준다. 역으로 생각하면 pod가 특정 노드에 뜨도록 강제할 수도 있다는 것이다. 물론 NodeSelector를 사용하는 방법도 있지만, statefulset 같이 pod를 개별적으로 설정하기..

Ingress는 기본적으로 L7 레이어 즉, http기반의 라우팅을 해준다. 아래 yaml 예시 처럼 path 하나가 이미 특정 서비스의 "포트"까지 바인딩 되어있다. ... spec: rules: - http: paths: - path: /togomi/ backend: serviceName: my-service servicePort: 11037 ... 하지만 port를 직접 명시하길 원하는 경우가 있을 수도 있다. 나의 경우에는 redis-cli를 이용해 클러스터링을 하는데에 필요했다. 깊게 따져보면 redis-cli의 잘못이긴 하지만, 옵션으로 넘겨주는 호스트 형식이 반드시 {IP}:{PORT}여서 L7 라우팅으로는 할 수 없었다. 아무튼 port based routing을 해보자. TCP routi..

아래와 같은 에러로 dockerhub에서 이미지를 받아오는데 실패하는 때가 있다. toomanyrequests: You have reached your pull rate limit. You may increase the limit by authenticating and upgrading: https://www.docker.com/increase-rate-limit dockerhub는 IP기반으로(정확하진 않음) pull limit을 제한 한다. 정책은 아래와 같다. 로그인하지 않거나 따로 결제를 하지 않은 계정은 6시간에 200회 제한이 있다. 어쨌든 지불한 계정이 있다고 가정하고, 로그인을 해보자. 단순하게 docker 자체만 이용하는거면 docker login 명령어를 통해서 하면 되지만, k8s의 ..

회사에서는 centOS를 사용하는데, 개인 서버에서는 우분투를 깔아놔서 설치법이 조금 달라서 애먹었다. 게다가 docker가 아닌 crio라서 조금 더 힘들었음 설치 버전 ubuntu 18.04 kubernetes 1.19.4 crio 1.19.2 아래 명령어를 통해 자신의 OS 버전 확인 가능 cat /etc/os-release 설치 순서(공통) swap 파티션 비활성화 sudo swapoff -a vi /etc/fstab /etc/fstab 파일의 swap 관련 부분을 주석처리 한다. /swapfile ~ 부분 # /etc/fstab: static file system information. # # Use 'blkid' to print the universally unique identifier fo..

개념 k8s에서 pod에는 QoS Class라는 것이 있다. Qos는 Quality of Service의 약자로서 서비스 품질이라는 뜻이며, k8s에서 pod의 스케줄링과 제거 우선순위를 판단하는데 사용되는 값이다. 종류는 세 가지뿐이다. - Guaranteed - Burstable - Best-Effort 동작 방식 노드에 가용 리소스가 부족해지면 누군가는 희생되어야 한다. 이 때, k8s 스케줄러는 QoS Class를 보고 어떤 pod를 희생시킬지 판단한다. kubelet은 Best-Effort를 가장 먼저 종료 시키고, Best-Effort가 없다면 Burstable을 강제 종료 시킨다. 간단히 설명하면 위와 같지만 정확히 설명하자면, QoS Class를 보고 판단하다기 보다는 QoS Class에 ..

redis 관련 업무를 하다가 환경변수를 secretKeyRef을 이용할 상황이 생겼다. env: - name: REDIS_PASSWORD valueFrom: secretKeyRef: name: redis-secret key: redis-password 그런데 아무리 제대로 해봐도 에러가 나는 것이다. 열심히 구글링 한 결과, 원인은 개행문자였다. 아래 두 시크릿을 만들어보자. apiVersion: v1 kind: Secret metadata: name: sample-secret type: Opaque stringData: sample-key: | sample-value --- apiVersion: v1 kind: Secret metadata: name: sample-secret2 type: Opaque..