Be Data

[파이썬 모듈] 리스트의 모든 조합 구하는 방법

bs engineer — Wed, 21 Sep 2022 12:52:28 +0900

리스트의 모든 조합 구하는 방법에는 3가지가 있음

product
permutations
combinations

하나의 리스트에서 모든 조합을 구할 때,

permutations, combinations 사용

from itertools import permutations
from itertools import combinations

items = ['a','b','c']
list(permutations(items,2)) # [('a','b'),('a','c'),('b','a'),('b','c'),('c,'a'),('c','b')]

list(combinations(items,2)) # [('a','b'),('a','c'),('b','c')]

두 개 이상의 리스트의 모든 조합 구할 때

from itertools import product

items = [['a','b'],['1'],['!','@']  
list(product(*items)) # [('a','1','!'],('a','1','@') ...]

<문자열 처리> 관련 함수들 - python

bs engineer — Tue, 20 Sep 2022 14:56:39 +0900

str = "Hello Python"

대문자, 소문자

#변경
str.upper() 
str.lower()

# 여부확인
str.isupper()
str.islower()

문자열 영어/숫자 확인

str.isalpha() # False 공백이 존재하므로!
str[:5].isalpha()# True "Hello"

#숫자 여부 확인
str.isdigit()

# 영문자, 숫자 여부 판별
str[:5].isalnum() # True

일부 변경

str.replace("Hello", "Hi") # Hello를 Hi로 변경
str.replace(" ","") # 공백 삭제

문자열 공백/특정문자 제거

str2 = "           Hello        "
str2.strip() #Hello
str2.lstrip() #Hello        .
str2.rstrip() #           Hello

str3 = "aaaaabbbbbbaaaaa"
str3.strip("a") # bbbbbb
str3.lstrip("a") #bbbbbbaaaaa

str3.strip("ab") # a또는 b가 나오지 않을 때까지 제거이므로 -> 공백 출력

str4 = "aabbccbb"
str4.strip("ab") # cc 출력됨

문자열 찾기

find : 찾는 문자열이 처음 나오는 위치 리턴, 없을 경우 -1
count : 해당 문자열의 개수 리턴
```
str.find("Py") #6 
str.count("o") #2
```

문자열 슬라이싱

str[start:end:step] : index가 start부터 (end-1)까지 step씩 slicing

str[:] # 처음부터 끝까지, Hello Python
str[1:] # 1부터 끝까지 ello Python
str[:2] # He
str[:-2] #처음부터 끝-2번째까지 Hello Pyth
str[::2] # step 2씩 HloPto
str[::-1] # 거꾸로 nohtyP olleH

문자열 분리

str.split() #['Hello', 'Python']
str.split("o") #['Hell', ' Pyth', 'n']

문자열 결합

str2 = ["abc","def"]

" ".join(str2) #abc def
",".join(str2) #abc,def
"".join(str2) #abcdef

문자열 거꾸로

str.reverse()

str = str[::-1] 
# 에러시 아래 코드로 작성
str[:]=str[::-1]

조건에 맞게 정렬

data = ['1 A', '1 B', '3 A', '4 D', '5 B']

뒤의 문자 순으로 정렬하는 방법

sort의 key인자를 사용

def func(x):
	return x.split()[1], x.split()[0]

data.sort(key=func)

data.sort(key=lambda x: (x.split()[1], x.split()[0]))

[프로그래머스 ]숫자 문자열과 영단어 : replace()

bs engineer — Wed, 14 Sep 2022 23:45:24 +0900

2021 카카오 채용연계형 인턴십 > 숫자 문자열과 영단어 문제

https://school.programmers.co.kr/learn/courses/30/lessons/81301

python의 "replace()"를 이용하면 정말 쉽다!

replace의 정말 간단한 예로는

a= "Hello, This is BS"

a.replace("Hello", "Hi")

이렇게 하면

"Hi, This is BS" 가 출력된다!

따라서,

def solution(s):
    
    en_list = ["zero","one","two","three","four","five","six","seven","eight","nine"]

    for i in range(10):
        s=s.replace(en_list[i],str(i))
        
    return int(s)

2. Data Engineer vs Data Scientists

bs engineer — Sat, 20 Aug 2022 23:00:29 +0900

Data Engineer

- 경영진의 빅데이터 전략과 데이터 작업에 필요한 Data Scientist 간의 연결 고리

- Data Scientists가 일을 수행할 수 있도록 하는 플랫폼을 구축

이러한 플랫폼은 일반적으로 네 가지 다른 방식으로 사용됨
1. 대용량 데이터의 데이터 수집 및 저장

2. Data Scientist에 의한 알고리즘 생성

3. Data Scientist의 머신 러닝 모델 및 알고리즘 자동화

4. 직원 및 고객을 위한 데이터 시각화
5. 대부분의 경우 이들은 SQL 데이터베이스, 웹 서버, SAP 설치 및 기타 "표준" 시스템과 관련된 시스템을 위한 기존 솔루션 설계자로 시작함

빅데이터 플랫폼을 만들기 위해서..

- 빅데이터 기술을 지정, 설정 및 유지 관리하는 전문가가 되어야함 (Hadoop, Spark, HBase, Cassandra, MongoDB, Kafka, Redis, 등)

- Amazon이나 Google과 같은 클라우드 인프라 또는 온프레미스 하드웨어에 시스템을 배포하는 방법에 대한 경험도 필요

Data Scientist와 Data engineer는 긴밀한 협력 관계

- Data Scientist를 전문 경주용 자동차 드라이버라 할때, Data Engineer는 운전하기에 완벽한 경주용 자동차를 제공할 사람이라 할 수 있음

→ 기업은 Spark 경험이 있는 사람을 찾음

- Spark는 Data Scientist에게 분석을 수행할 수 있는 도구를 제공하고 Data Engineer가 Data Scientist의 알고리즘을 프로덕션에 적용할 수 있도록 도와줌

[보안뉴스] 클라우드 이전 효과를 극대화할 수 있는 5가지 방법

bs engineer — Sat, 20 Aug 2022 20:55:12 +0900

[보안뉴스 문정후 기자]
새로운 집으로 이사갔을 때를 상상해 보라. 특히 상황이 좋아져 더 좋은 집으로 갔을 때를 떠올려보라. 꿈이 성취된 기분에 가까운 기쁨과 만족감을 느낄 수 있을 것이다. 다만 그 전에 할 일이 있다. 집안의 모든 물건들을 하나하나 검토해 필요한 것과 버려도 될 것을 잘 구분해야 하는데, 새 집이라는 기쁨과 설레임이 있음에도 이 과정은 쉽지 않다. 잘 쓸 것처럼 생각돼 바리바리 포장해서 왔더니 새 집과 전혀 맞지 않아 결국 버려야 하는 경우도 생기고, 상자 이름표가 뒤바뀌거나 떨어져 한 동안 필요한 걸 찾지 못하고 새 것을 구매해야 할 때도 있다. 그렇다. 예상치 못한 비용이 반드시 들어가는 게 전형적인 이사의 과정이다.

심지어 짐도 다 정리하고 무사히 정착했나 싶었는데, 옛 집과 새 집의 구조가 너무나 달라 야기되는 불편함들도 있을 수 있다. 정원이 넓어져서 좋았는데, 그만큼 잔디 깎는 데 시간을 할애해야 한다거나, 공간이 넓어 추가되는 냉난방 비용이 예상을 훌쩍 뛰어넘는다거나, 전등 스위치의 위치가 낯선 곳에 있다거나 하는 점들이 보이기 시작한다. 여기에 기쁘게 적응할 수도 있지만, 경우에 따라서 ‘이사 잘 못 왔다’는 생각을 떨치기 힘들 수도 있다.

클라우드로의 ‘이사’도 이와 비슷한 부분이 상당히 많다. 수많은 기업들이 사전 조사를 꼼꼼히 진행하고 모든 장단점들을 파악해 열띄게 내부 논의를 진행한다. 클라우드의 규모, 브랜드, 서비스 가짓수, 기능, 시장 평가, 예상 창출 가치, 취약점, 새로운 리스크가 차곡차곡 수집되고 판단된다.

클라우드로의 이사를 "클라우드 마이그레이션" 이라 한다.

- 새로운 인프라 환경으로 기존 데이터와 애플리케이션을 옮기는 것

- 주로, 기존 인프라 사용의 한계와 부담을 극복하고 디지털 혁신을 추구하며 고객에게 새로운 서비스를 제공하는 것을 목적으로 함

그리고 그 결과 대다수 기업들이 ‘불안함’을 극복하지 못한다. 그래서 기업의 극히 일부분만 클라우드로 살짝 옮겨 ‘실험적 운영’에 만족한다. 조금 사용해 보고 금방 옛 시스템으로 돌아오기도 한다. 즉 새 집에서 새로운 방식의 거주 방법을 찾지 않고 옛 집을 그리워하는 경우가 아직은 대부분이라는 것이다. 클라우드로 옮겼지만 온프레미스 체제에 대한 익숙함을 버리지 못해 이러지도 저러지도 못하는 이런 상황을 클라우드 파라독스(cloud paradox)라고 부른다.

클라우드 파라독스 (cloud paradox)

- 보통 '클라우드의 역설' 이라고 부름

- 실제로, 벤처캐피탈 업체인 안드레센 호로위츠(Andreessen Horowitz)가 '클라우드의 비용, 1조달러 패러독스(The Cost of Cloud, a Trillion Dollar Paradox)'란 보고서를 통해 상위 50개 글로벌 공공SW 기업을 분석한 결과, 클라우드 서비스 비용으로 1000억 달러 가량의 시장가치 손실이 추정됨 , 더 넓은 공개 sw 기업으로 확장 분석 시 총 5000억 달러 이상의 시장가치 손실 추정됨

클라우드 파라독스에 갇혀 있을 경우, 우리는 어떻게 해야 할까? 간단하게 말하면 속도를 조금 늦출 필요가 있다. 성급하게 생각하지 말고, 일단 현 상황을 점검하고 불필요한 것들을 파악해 제거하며, 옛 체계를 클라우드라는 환경에 맞게 바꿀 수 있는 부분이 무엇인지 알아내야 한다. 서둘러 클라우드 업체가 약속했던 가치를 창출하려고 하니 불거지는 문제들이 적지 않다.

필자는 고객들과의 대화를 상당히 많이 해야 하는 위치에 있는데, 실제 고객들은 클라우드라는 새로운 환경에 도착해 적잖은 혼란감을 느낀다. ‘너무 복잡하다’는 것이 그들의 첫 느낌일 때가 많다. 그럼에도 평균적으로 기업들은 3~5년 내에 2/3 이상의 워크로드를 클라우드로 옮길 계획을 가지고 있다. 왜? 대부분은 필요에 의해서가 아니라 남들 다 하니까 한다. 그렇기 때문에 클라우드의 잠재력을 다 알지도 못하고 끌어내지 못한다. 클라우드를 제대로 활용하기 위한 프로세스와 정책이 있는데, 이걸 뒤늦게 파악하기 시작한다.

문제가 뭐냐면 대부분 클라우드로 이주하는 것 그 자체를 목표로 두고 있다는 것이다. 이주가 최종 목적이니 그 후의 것을 준비하지도 못하고, 그럴 상상도 하지 못한다. 시선을 그 이후로 더 옮겨야 한다. 새 집에 도착하는 게 문제가 아니라 살 생각으로 이사를 하는 것 아닌가? 문간을 넘어서 거실로, 화장실로, 부엌으로, 각자의 방으로 깊숙하게 들어가 누릴 공간을 누려야 한다. 손님도 초대하고, 음식도 만들고, 뜨끈한 물에 샤워도 새롭게 하면서 집이 주는 그 모든 혜택들을 받아들이는 게 당연하다. 클라우드도 마찬가지다. 이를 위한 다섯 가지 제안을 정리하며 졸글을 마치고자 한다.

클라우드 마이그레이션 프로세스

모든 기업은 고유한 방식으로 클라우드로 전환

마이그레이션 이전

전략 정의 — 관여된 모든 이해관계자, 마이그레이션 전략, 파트너사 및 비즈니스 의도를 고려
마이그레이션 계획 — 비즈니스에 진정으로 필요한 애플리케이션, 데이터베이스 및 인프라 평가.

마이그레이션 도중

조직의 마이그레이션 준비 — 조직원들이 클라우드 기술 및 툴에 병행할 수 있도록 교육 및 훈련
클라우드 환경 도입

마이그레이션 이후

워크로드 보호 및 관리 — 단일 제어를 사용하여 관리를 간소화함으로써 기업은 하이브리드 환경 전반에서 위협을 감지하고 대응할 수 있음
클라우드 환경 관리 및 비용 최적화 — 수요에 대응하여 리소스를 늘리거나 줄여야 할 때 세분화된 수준으로 비용을 제어할 수 있음

(참고 : https://www.vmware.com/kr/topics/glossary/content/cloud-migration.html)

클라우드를 꿈의 공간으로 만드는 다섯 가지 방법
1. 클라우드가 주는 장점들을 알아보고, 그것을 활용할 방안을 연구해야 한다. 클라우드를 활용해서 할 수 있는 사업이 무엇인지, 기존 사업들 중 클라우드를 활용했을 때 효율이나 결과가 더 좋아질 수 있는 것이 무엇인지를 확인하고 실험 및 적용한다.

2. 클라우드를 중심으로 한 기업 전체의 아키텍처를 새로 마련해야 한다. 현재까지는 단일 클라우드 서비스를 활용하는 것보다 멀티클라우드나 하이브리드 클라우드 전략을 채용하는 편이 안정적이다. 공공 클라우드도 좋지만 사설 클라우드 및 개인 클라우드를 적절히 혼용하는 것도 고려하는 것을 추천한다. 한 가지 클라우드에 의존하는 것은 위험하다.

3. 데이터와 인공지능의 잠재력을 끌어낼 준비를 하라. 사실 클라우드라는 아키텍처로 굳이 옮기는 건 데이터가 가진 장점을 최대한으로 이용하기 위해서다. 그러므로 클라우드로의 이전은 데이터 활용의 극대화라는 보다 커다란 목적 아래 이뤄지는 하나의 절차라고 보면 된다. 데이터 위주의 사업 전략이 중요하다.

4. 아키텍처를 마련하는 것 못지 않게 중요한 건 그 아키텍처 안에서 업무를 보고 회사 생활을 해야 할 사람들을 훈련시키는 것이다. 당연히 환경이 바뀌면 요구되는 기술도 다르고, 따라야 할 정책도 달라진다. 하지만 충분히 훈련의 기회를 주지 않고 갑자기 같은 수준의 생산성을 요구하면 사기가 꺾어진다. 조직 차원에서 인력을 대비시키는 건 중요한 일이다.

5. 클라우드 경제를 명확히 이해해야 한다. 클라우드로 옮긴다는 건 IT 체제만 바뀌는 걸 말하지 않는다. 회사 전체의 경제 시스템도 바뀔 수밖에 없다. 6개월 동안 개발한 프로그램을 CD로 구워 오프라인 매장에 내놓는 사업 방식과, 클라우드를 활용해 고객들이 다운로드 받게 하고 추가 기능도 주기적으로 온라인에서 배포하는 사업 방식이 같은 재정 체계를 가지기는 힘들다.

꿈꾸던 집에서 살게 된다는 건 단순히 물리적 이동만을 의미하지 않는다. 정신과 삶의 방식의 변화를 동반한다. 클라우드도 그렇다. 단순히 데이터의 저장 공간이 바뀌는 게 아니라 업무와 사업 운영 자체의 개선임을 기억해야 한다.

기사 출처 : https://www.boannews.com/media/view.asp?idx=109194

데이터 엔지니어(Data Engineer, DE)란,

bs engineer — Sat, 20 Aug 2022 20:09:03 +0900

데이터 엔지니어

데이터를 활용하는 모든 사람들을 위해 데이터를 저장, 가공, 처리하는 직군
데이터 인프라를 구축하는 역할
우리가 물(=데이터)을 사용할 수 있도록 배관(=데이터 ETL 파이프라인)을 만들어주는 배관공(=데이터 엔지니어)
업무
1. Database에 저장된 데이터를 data warehouse 로 옮기는 일
2. 데이터 분석을 더 쉽게 할 수 있는 환경(인프라) 구축
  - 데이터 마트 구축
    - SQL Join 한 결과를 Batch로 Table에 저장
    - 특정 목적, 도메인에 맞는 마트 구축
  - 데이터 분석시 데이터 시각화 도구가 필요한 경우, 데이터마트와 시각화 도구를 결합하는 환경을 마련
    - Tableau
    - Redash, Superset, Metabase, 등 BI도구
3. Data Product 개발
  - AB test platform, 데이터 기반 서비스, Analytics도구, 데이터 로그 시스템, 머신러닝/딥러닝 서비스
필요 역량
- 데이터 엔지니어링 역량(대용량 데이터처리, 데이터베이스, 네트워크, 등 종합적인 역량)
- 개발 역량(Python, Java, scala, shell …)
- 클라우드, Docker, Kubernetes
- 데이터 아키텍쳐 설계 역량
- 백엔드 개발자의 필요역량과 유사
데이터 엔지니어링 관련 유명 라이브러리
- Apache Spark, Apache Kafka - 대용량 데이터 처리, 실시간
- Apache Airflow - Workflow Management → 많이 사용

용어

데이터 웨어 하우스
- 데이터 분석에 특화된 데이터베이스
- GCP의 BigQuery, AWS의 Redshift, Snowflake,등
ETL 파이프라인: Extract, Transform, Load
1. E
  - 데이터를 추출
  - 서비스의 DB, 앱/웹의 로그 데이터 추출
2. T
  - 데이터 변환
  - 데이터를 잘 활용할 수 있도록 데이터를 변환
  - ex) EXCEL → JSON
3. L
  - 데이터를 사용할 수 있도록 불러오기
  - 변환한 데이터를 사용할 수 있도록 설정
데이터 처리 방식 - 배치, 실시간
1. 배치(Batch)
  - 1시간에 1번씩, 1일에 1번씩
  - 특정 시간에 1번씩
2. 실시간(Realtime, Streaming)
  - 요청시 바로바로
  - 실시간으로 데이터 처리
→ 데이터를 어떻게 활용할지 목적에 따라 배치, 실시간 파이프라인 판단

출처) https://www.youtube.com/watch?v=1Viu7Ce632s