Code Gray

[일본 취업][IT 일본어] 함수를 호출하다

SenJ — Thu, 30 Nov 2023 16:09:44 +0900

함수를 호출하다. 함수의 인자값, 리턴… 일본어로 어떻게 표현할까요?

일본취업을 준비중이신 취준생분들을 위한 함수와 관련된 표현과 용어를 정리해보았습니다. 특히 IT, 엔지니어 직무를 목표하시는 분들에게는 반드시 알아야할 표현들 위주로 모아보았습니다. #IT일본어 #함수

1. 함수관련 용어

일반적으로 함수는 한자 그대로 関数（かんすう）를 사용합니다.

따라서 엑셀함수의 경우에도 エクセル関数 라고 표현합니다.

함수의 구성요소의 일본식 용어을 정리해보면 아래와 같습니다.

함수명 関数名（かんすうめい）
파라미터 パラメータ
실행코드 実行コード
리턴값 戻り値（もどりち）
인수 引数（ひきすう）

리턴값의 경우 リターン値 라는 표현도 사용할 수는 있지만 네이티브의 100에 99는 戻り値 라고 합니다.

인수의 경우 いんすう 라고 읽는 사람들도 간혹 있을 수도 있습니다.

2. 関数を呼び出す（よびだす）

함수를 호출하다, 불러오다는 関数を呼び出す로 표현합니다.

関数を呼び出す。함수를 호출하다

関数呼び出しの処理。함수호출처리

エクセル関数を作って確認しました。엑셀함수 만들어서 확인했습니다.

[일본 취업][IT 일본어] 배치작업 관련 표현.

SenJ — Thu, 30 Nov 2023 15:36:40 +0900

배치작업이 뻗다. 일본어로 어떻게 표현할까요?

일본취업을 준비중이신 취준생분들을 위한 배치작업 관련한 일본어 표현을 정리해보았습니다. 특히 IT, 엔지니어 직무를 목표하시는 분들에게는 반드시 알아야할 표현들 위주로 모아보았습니다. #IT일본어

1. 배치작업

배치작업을 의미하는 가장 일반적인 표현으로는

バッチ・バッチ処理・ジョブ

등이 있습니다.

배치작업을 실행하다는 뜻으로 같이 쓰이는 동사로는

動かす（うごかす）・回す（まわす）・流す（ながす）・実行する（じっこうする）

등이 있고 각 단어에 뉘앙스 차이는 있지만 거의 동일하다고 생각하시면 됩니다.

ジョブを動かす / バッチを回す / 処理を流す / バッチ処理を実行する

반대로 배치를 멈추다는

処理を止める（とめる）

로 とめる 를사용합니다.

2. 배치작업에서 에러발생시

에러는 영어 그대로 エラー 또는 障害（しょうがい） 를 사용합니다

エラーが発生して、異常終了した。에러가 발생해서 이상종료했다.

障害が発生する。장애가 발생했다

회화에서 가장 많이 사용되는 표현으로는

バッチがコケる。 배치작업이 뻗었다(?)

로 배치작업 에러가 발생하면 다음날 반드시 듣게 되는 표현이니 꼭 알아두세요!

このジョブでコケました。 이 작업이 뻗었습니다.

3. JP1

일본에서 가장 많이 사용되는 배치관리 프로그램입니다. 히타치에서 제작했으며 배치실행, 제어, 감시 등을 위해서 사용하는 프로그램입니다. 많은 일본 기업들이 사용하는 툴이기 때문에 IT프로젝트에서는 자주 만나볼 수 있습니다. 메뉴얼은 구글에서 검색하면 나오기 때문에 일하다가 막힐 때는 바로 구글링!

4. 情シス

데이터 및 배치작업을 관리하는 정보시스템부서를

情報システム部門（じょうほうしすてむぶもん）

라고 표현하고 줄여서는

情シス（じょうシス）

로 일반적으로 통용됩니다.

[일본 취업][IT 일본어] 데이터를 읽어들이다

SenJ — Thu, 30 Nov 2023 15:00:06 +0900

데이터를 때려붓다. 일본어로 어떻게 표현할까요?

일본취업을 준비중이신 취준생분들을 위한 데이터 관련한 표현을 정리해보았습니다. 특히 IT, 엔지니어 직무를 목표하시는 분들에게는 반드시 알아야할 표현들 위주로 모아보았습니다. #IT일본어

1.データを取り込む（データをとりこむ）

데이터의 단면 또는 전체 데이터를 읽어들일 때 사용하는 가장 일반적인 표현으로 회화, 서면 모두에서 많이 사용됩니다.

データを取り込む。 데이터를 읽어들이다
S3からCSVファイルを取込する。 S3로부터 CSV파일을 읽어들이다
今月の断面を取り込む。 이번달 단면을 읽어들이다

2.データを読み込む（データをよみこむ）

적은 수의 데이터셋, 단건의 레코드를 읽어들일때 변수 및 파라미터를 참조할 때 사용합니다.

レコードを読み込む。 레코드를 읽어들이다
パラメータを読込する。 파라미터를 읽다
システムからデータを読み込んでいます。 시스템으로부터 데이터를 읽는 중입니다.

3.データを放り込む（データをほうりこむ）

가지고 있는 모든 데이터를 읽어들일 때 사용합니다.

全てのデータをほ放り込んで処理しましょう。데이터 전부 읽어들여서 실행합시다
残ったデータを放り込む。남은 데이터를 모두 읽어들이다

회사내부에서 격 없는 표현으로는 ぶち込む도 사용할 수 있습니다.

全てぶち込んで結果を見てみましょう。데이터 전부 때려붓고(?) 결과를 봅시다

4.データを取得する　（データをしゅとくする）

5.データをロードする　

한국과 동일한 표현으로 데이터를 취득하다, 데이터를 로드하다라는 표현도 사용할 수 있습니다.

비교적으로는

서면에서 データ取得
회화속에서 読み込む、取り込む

를 많이 사용합니다.

[일본생활] NBA Japan game! 커리 만나고 왔습니다 (영상추가)

SenJ — Fri, 30 Sep 2022 19:48:56 +0900

골든스테이트 워리어즈가 프리시즌 경기를 위해 어제 일본에 방문했습니다. 운 좋게 티켓은 구해놓고서 바로 이번 주말이라는 사실을 실감하지 못하고 아무생각 없이 있다가 문득 이제쯤 일본에 오려나? 생각이 들어 검색해보니 딱 그시간에 나리타공항에 도착했더라구요.

트위터에서 즐기는 ゴールデンステイトウォリアーズ

“初来日となる #クレイ・トンプソン選手もファンの前に姿を現しました #ウォリアーズ #ウォリアーズ来日 #NBAJapanGames”

twitter.com

트위터에 올라온 영상을 보는데 생각보다 팬들도 많이 없고 팬서비스도 좋아서 출국장에 가기만 했어도 사인받을 수 있었을텐데후회를 하며 어제 남은시간을 보냈습니다. 그리고 오늘 무조건 도쿄 어딘가에 출몰(?)할것이므로 트위터를 지켜봤습니다. 그리고 올라온 사진이..

트위터에서 즐기는 ゴールデンステイトウォリアーズ

“東京タワーと #ウォリアーズ #ウォリアーズ来日 #NBAJapanGames”

twitter.com

도쿄타워?! 그리고 다음 올라온 영상이 연습영상.

트위터에서 즐기는 ゴールデンステイトウォリアーズ

“来日翌日にもかかわらずキレッキレの動きを見せた #ステフィン・カリー選手 #ウォリアーズ #ウォリアーズ来日 #NBAJapanGames”

twitter.com

여러 트윗들을 종합한 결과 미나토구에서 이동하고 있었고, 주변 체육관을 검색해보니 연습할만한 체육관은 미나토구스포츠센터 하나뿐인데다 영상과 사진을 비교해보니 여기다 싶어 일단은 출발했습니다.

스포츠센터에 도착하니 잘못왔나 싶을정도로 썰렁하여 이곳저곳 둘러보는데 목에 NBA RAKUTEN 줄을 걸고 돌아다니는 외국인들을 발견. 잘 왔구나 싶어서 접수처에 체육관에 입장할 수 있는지 확인해보니 비공개라 안된다고 합니다. 그래서 다시 1층으로 내려가보니 후문쪽에 사람들이 집결해있는 것을 발견하고 저도 한번 줄서봤습니다. 사람이 얼마 없어 그닥 경쟁은 없었습니다. 30분 정도 기다리니 워리어스 팀 코치들과 선수들이 차례로 나왔습니다.

가장 먼저나온 커감독님

사과를 우적우적 씹어먹으며 나와주신 커감독님

앳킨슨 코치

쿨하게 손흔들며 버스타더니 다시 내려와 사인해준 클레이 탐슨. 바로 앞에까지 왔었는데 사인을 받으려다 실패한 바람에, 결국 사진도 가까이서 못찍었네요

코앞의 조던 풀. 사인하다가 한번씩 포즈를 잡아줘서 같이 찍고싶었는데 타이밍이 안 맞아서 실패했습니다.,끝나고 옆에 사람의 이야기를 들어보니 조던 풀이 닌자를 좋아해서 닌자 젤리? 를 주니까 둘이서만 셀카를 찍어줬다고 하네요. (부럽..)

거의 마지막으로 등장한 커리. 사람들이 흥분하자 캄다운 하라며 손짓해줍니다. (이거 눈마주친거 맞죠?)

바로 코앞의 커리!! 저는 성덕입니다

루니, 그린, 와이즈먼, 쿠밍가, 무디 등등 다른 선수들도 가까이서 보고 싶었으나 연습이 끝나고 지쳐서인지 한번씩 손을 흔들어주고 탑승했습니다. 이외에도 리빙스턴도 봤는데 마른체형이라 그런지 엄청 커보였습니다.

처음으로 이렇게 사인을 받으러 나가보았는데 커리(아래)와 커감독(위)님의 사인을 수확했습니다. 다들 연습을 마치고 꽤나 지쳐있는게 눈에 보일정도였는데 웃으면서 대화도 해주고 사인도 해주다보니 팬서비스가 정말로 좋다고 느꼈고, 스타를 만나기 위해서 막무가내로 찾아가서 기다리거나 몸싸움할거라고 생각도 못해봤는데 해보니까 다들 이맛에 팬질하나 봅니다. 얼마 기다리지도 않고 정말 가까운 거리에서 선수들을 만날 수 있어서 정말 기분 좋은 하루였습니다. 내일 경기는 티비로 시청하고 일요일에는 직관하고 다시 한번 후기 남겨보도록 하겠습니다.

영상은 별거없지만 추가해볼게요. 소리주의(내 목소리 아님)

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.

[일본생활 #3] 일본에서 이사하기(2) 업계전용 사이트 알려주는 앱

SenJ — Mon, 12 Sep 2022 22:58:35 +0900

이전글에서 집을 찾는 대략적인 방법을 소개했다. 이번에는 대표적인 suumo, homes가 아닌 부동산 업계사람들만 보는 페이지에서 집을 찾아서 알려주는, 해당 페이지 접속권한을 받을 수 있는 방법에 대해서 적어보려고 한다.

앞선 글에서 설명했던 것처럼 일본에서는 매물의 정보가 1차 부동산 총합관리 사이트에 등록이 되고, 이를 모든 부동산 점포에서 조회해서 Suumo나 homes 같은 어플리케이션에 등록하는 시스템이기 때문에 어느 부동산 점포에 가던, 어플리케이션을 사용하던 볼 수 있는 정보는 크게 달라지지 않는다. 그러나 나는 열심히 검색 끝에 해당 총합관리 사이트를 알려주는 어플을 찾을 수 있었다.

해당 어플은 イエプラ 라는 어플리케이션으로 전체적인 사용방법은 suumo, homes와 크게 다르지 않지만 대화형식으로 상담원(or AI)가 원하는 조건의 방을 찾아주는 방식이다.

해당 상담원이 제안해주는 내용을 몇번 거절하다가 보면 갑자기 좋은 제안이 있다면서 부동산업자밖에 볼 수 없는 사이트를 알려주겠다고한다.

메일로 내용을 보내오는데 해당 사이트에 일정기간동안 접근할 수 있는 아이디를 같이 보내준다. 해당 사이트에 들어가보면 실제로 suumo/homes/athome등에 올라오지 않은 물건들을 확인할 수 있다. 따라서 해당 물건들을 체크해서 다시 상담원에게 이야기를 하거나, 자기가 방문하고 싶은 부동산에 가서 해당 물건을 확인해달라고 하면 남들보다 한발 앞서서 좋은 집을 구할 수 있을 것이다.

(해당 앱과 저는 아무 관계가 없습니다.)

[일본생활 #4] 라쿠텐 모바일 2년 사용후기

SenJ — Thu, 8 Sep 2022 14:33:59 +0900

지난 주말 네트워크 장애가 일어난 기념으로 라쿠텐 모바일 사용기를 남기려 글을 작성한다. 처음에는 1년 통신비 무료+기기값 할인 이벤트로 라인모바일에서 라쿠텐모바일로 통신사변경(キャリア乗り換え)을 했다. 통신료는 4G 무제한으로 3천엔+기계값 24개월 3천엔으로 계약을 시작했다. 현재는 해당 캠페인은 종료되었고, 자신의 사용량에 따라 980엔(3GB)~2980엔(무제한)의 금액이 청구되는 캠페인 중으로 보인다.

일단 장점부터 이야기하자면 당연히 통신비를 아낄 수 있다는 점이다. 소프트뱅크에서 같은 요금제/기종을 선택하면 약 1만엔 정도의 플랜을 현재 6천엔에 사용하고 있다. 게다가 4G가 무제한이기 때문에 어디서든 네트워크 사용에 부담이 없다. 그리고 라쿠텐모바일 전용 어플리케이션을 사용하면 전화통화도 무료로 할 수 있어 데이터 사용은 많고 전화는 가끔하는 요즘 사람들에게는 꽤나 적합한 플랜이다. 기타 저가형 플랜과 비교했을 때도 요금제가 세분화되어있어 비용적인 측면만 고려하면 라쿠텐 모바일은 좋은 선택이라고 생각한다.

그러나 이 모든 것을 상쇄할만한 단점이 하나가 있으니, 바로 네트워크 안정성이다.

나는 현재 도쿄에 거주하고 하면서도 이따금 불편한 상황을 마주하곤 한다. 메가 통신사(소프트뱅크나 AU 등)가 잘 안터지는 곳은 당연히 연결이 안되며, 건물 깊은 곳으로 들어가는 경우에도 네트워크 연결이 안되는 경우가 다반사이다. 카와사키에 거주할 때는 카와사키 역사내에서도 안 터져서 전철 기다리는 시간이 너무 지루했다.

그 뿐만 아니라 교외로 드라이브를 나가다보면 연결이 약해지거나 끊어지는 경우도 자주 발생한다. 최근에는 올초까지만해도 연결이 안되던 곳에서도 연결이 되는 등 처음 계약했을 때보다는 훨씬 개선이 되어가고 있는 것을 체감할 수 있지만 아무래도 지방거주자나 네트워크연결에 민감한 분들은 다른 통신사로 가는 것을 추천한다.

[파이참Pycharm 사용법] 패키지 인스톨하는 간단한 방법

SenJ — Tue, 6 Sep 2022 11:53:29 +0900

파이참 IDE를 사용하면서 패키지를 인스톨하는 방법을 소개하려고 한다. 콘솔만 사용하다 파이참을 사용하면서 애먹었던 기억이 있어 같은 고민을 하는 분들을 위해 간단한 방법을 정리해보았다.

파이썬에서 인스톨되지 않은 패키지를 사용했을때는 ModuleNotFoundError 에러가 발생한다.

ModuleNotFoundError: No module named '~'

이런 경우 해결방법은 파이참 에디터의 File -> Settings 로 들어간다.

들어가면 현재 나의 프로젝트(trendAlarm)를 확인하고 아래에 있는 Interpreter를 클릭 -> Package에서 pip 을 찾아서 더블클릭을 한다.

인스톨하고 싶은 패키지를 선택하여 아래에 Install Package 버튼을 클릭하면 인스톨 완료. 정상적으로 설치된 경우 아래 캡쳐와 같이 Package '~' installed successfully 라는 표시가 뜬다.

그리고 나서 다시 코드를 돌려보면 문제없이 코드가 실행되는 것을 확인할 수 있다.

[넷플릭스 뭐보지] 러브 이즈 블라인드 (핵불닭맛자극주의)

SenJ — Sat, 3 Sep 2022 23:15:06 +0900

넷플릭스 시리즈 러브 이즈 블라인드를 세 편 연달아서 정주행했다. 러브 이즈 블라인드는 서로의 모습을 보지 않은채 대화만으로 결혼 상대를 찾아 프로포즈하고 승낙을 받으면 서로를 처음 만나게 되며 그 후 한달 뒤 결혼식을 올리는 포맷이다. 전형적인 연애 버라이어티 포맷이겠거니 싶어서 스킵했었는데 우연찮은 기회로 일본편을 보고 다른 사람들의 연애, 그것도 결혼까지의 과정을 보는 것이 재밌어서 보다보니 미국편까지 순식간에 연달아서 시청했다.

일본, 미국편 순으로 보면서 이게 같은 프로그램이 맞나? 싶을정도로 문화적 차이를 느끼며, 유교걸, 유교보이 밈을 제대로 실감할 수 있다. 일본편은 라면사리라면 미국 시즌1은 까르보불닭볶음면, 시즌 2는 핵불닭볶음면의 맛이었다. 프로그램 포맷상 커플매칭 이전에 여러 사람들과 대화를 하다보니 삼각관계, 사각관계는 당연히 존재할 수 밖에 없지만 미국편에서 이를 풀어가는 방식이 충격의 연속이다. (이렇게 적나라하게 방송을 해도 되나?). 그리고 미국은 외적으로 잘생기거나 못생긴것을 넘어 인종의 문제도 있기에 더욱 흥미로웠다.

한국이었으면 얼굴 알리기 위해서 나온 연예기획사 소속 배우, 어디 사장이 나와서 몰입을 망쳤을 것 같은데(솔로지옥..) 다들 진심으로 이 프로그램에 참가하여 실제로 결혼까지 성공하는 커플들이 있어 몰입도를 더욱 높여준다. 전체 시리즈를 보고나서 출연자들이 계속 이야기하는 Real love, True love라는 표현이 오히려 왜곡되었다고 느껴졌다. Love is Blind 라고 하지만 외적인 모습을 사랑하는 것과 Real love가 배타적인 요소일까? 외적인 모습을 보고 사랑하는 것이 진짜 사랑이 아니라고 하는 것이 오히려 일차원적인 생각이라고 느껴졌다.

그리고 커뮤니케이션에 있어서 대화뿐만 아니라 바디랭귀지도 굉장히 중요한데 이 조차도 보지 못하는 것이 아쉬웠다. 오히려 아무것도 보지 못하고 상대방의 말로만 어떤 사람인가를 판단해야하기 때문에 서로를 속이기가 더 쉬울 거라는 생각도 들어서, 이를 이겨내고 결혼까지 이어진 커플들이 정말 대단하다고 느껴졌다.

방송을 보면서 학창시절 얼굴은 모르고 문자를 주고받던 문자친구들(?)이 기억이 떠올랐다. 지금이야 이름도 무슨 이야기를 했는지도 기억 안나지만 그렇게 대화를 이어나가면서 알이 부족해서 충전하느니 마느니 했던 생각이 났다. 만약 러브 이즈 블라인드에 나가면 대화만으로 상대방을 찾아 결혼까지 이어갈 수 있을까? 나와 잘 맞는 상대를 무엇을 물어보면 좋을까? 과연 한국에서 방송된다면 어떤 대화주제가 나올까? 상상하면서 이야기를 나눠보는 것도 이 방송을 보는 재미가 될 것 같다.

현재 넷플릭스에는 일본편, 미국편, 브라질편이 업로드되어 있으며 다가오는 9월 16일 아메리카 편의 속편이 방송될 예정이다.

[일본생활 #3] 일본에서 이사하기 (1) 마음에 드는 집 찾기 (요약有)

SenJ — Thu, 1 Sep 2022 01:14:50 +0900

요약

1. 나이켄 예약 이외에 마음에 드는 집이 있다며 메일로 정보를 보내놓기.

2. 유동인구 많은 곳의 부동산은 NG

3. 어플리케이션에서 부동산 정보 비교해보기.

4. 어느 부동산이 좋은지 모르겠으면 면허정보를 살펴보기

최근 1년 사이에 이사 3번 경험자로서 일본에서 부동산을 찾는 방법을 공유하려고 한다. 일본에서 집을 구할때는 가장 대표적인 어플리케이션으로는 Suumo / Homes 가 있다. 자신이 원하는 조건을 입력하여 해당 지역의 부동산 정보를 확인할 수 있다. 일본 부동산을 조금만 검색해봐도 알겠지만 어느 부동산 점포에 가던, 어플리케이션을 사용하던 볼 수 있는 정보는 크게 달라지지 않는다. 일본에서는 매물의 정보가 1차 부동산 총합관리 사이트에 등록이 되고, 이를 모든 부동산 점포에서 조회해서 Suumo나 homes 같은 어플리케이션에 등록하는 시스템이기 때문이다. 따라서 발품을 팔아도 정보가 크게 달라지지 않지만 그럼에도 조금의 차이는 있을 수 있기에 아래의 팁을 준비했다.

일단 가장 마음에 드는 집을 찾았으면 해당 관리점포에 연락하여 나이켄 예약을 하자. 집을 나이켄(内見)하는 것은 부동산 점포에서 - 해당 부동산 관리회사간의 확인이 다시 필요하기 때문에 시간 조정이 필요하다. 그리고 예약한 집 외에도 마음에 드는 집을 몇 개 골라서 메일로 미리 보내 놓는 것이 좋다. 아니면 부동산 점포에 도착했을 때 예약한 집을 보는 겸에 다른 집들도 한번 알아보자고 하는데 그 때 보고 온게 있다고 하면서 찜해 놓은 것들을 보여주면 시간단축이 가능하다. 그렇게 하더라도 한번 부동산 방문에 최소 한시간 반에서 두시간은 소모되기 때문에 몇군데나 보기가 힘들다.

그리고 도쿄에서 부동산을 선택할 때는 신주쿠에 위치한 부동산은 되도록이면 피하기를 권한다. 신주쿠의 부동산 두 곳을 들려봤지만 점포 분위기와 직원들의 태도가 신주쿠의 이미지에 부합한다(편견) 먼저 가본 곳은 언제든지 점포접고 뜨려면 1시간이면 정리될 듯한 분위기의 사무실 내부에, 사무실이 위치한 건물도 외진데 점포 앞 복도도 밝지 않아 꽤나 무서운 분위기를 풍겼다. 그리고 다음으로 방문한 곳은 너저분한 느낌의 내부와 어디선가 느껴지는 담배쩐내가 심하게 나서 설명 듣는 시간 내내 불편했다. 사무실 분위기는 양반인게, 두 부동산에서 만난 담당 직원을 포함하여 옆에서 상담하고 있는 직원들의 언행은 우리나라의 폰팔이들을 연상시켰다. 그리고 관심이 가는 물건의 나이켄이 가능하다고 해서 갔는데 도착해서 앉으니 말을 빙빙 둘리며 다른 물건을 계속 안내하는 등 이외에도 최악의 서비스를 경험을 했다. 더 최악은 지금 사는 집을 요청했을 때 집주인에게 전화하더니 (연기였을 가능성 있음) '지금 공무원이 예약을 걸려고(?) 생각중이고 외국인은 안된다'고 전달받았다고 하여 사무실을 나오자마자 이번에 계약한 부동산(집이랑 가까움)에 가서 요청하니 바로 계약을 할 수 있었다. 따라서 부동산을 고를 때는 신주쿠(거주인구 없이 붐비는 지역) 은 NG, 해당 부동산에 가장 가까이 위치한 부동산에서 찾아보는 것이 필요하다. 이번 부동산은 현재 집주인이 직접 관리도 맡긴지라 이전 집이랑 겹치는 시기의 월세를 깎아주는 등 일이 꽤나 수월하게 풀렸다.

그리고 취급 부동산 점포가 한 개인 경우도 있지만 여러개인 경우에는 부동산에 따라서 다소 레킨의 금액이 다른 경우가 있다. Suumo에서 찾아볼 때 아래와 같이 부동산 회사 선택을 클릭하여 한번 살펴보기를 추천한다. 보다보면 기재 사진의 수가 다른 경우도 있으니 추가 정보를 얻을 수도 있다.

만약에 다 똑같다 하면 부동산의 구글맵에서 검색하여 별점도 살펴보고, 면허정보도 살펴보자. 괄호안에 들어간 숫자는 5년에 1씩 증가하기 때문에 어느정도 오랜기간동안 운영되었는지 알 수 있다.

무엇보다도 담당해주는 직원이 중년의 아저씨라면 꽤나 신뢰도가 높아진다. 세 번 이사를 하면서 여러 직원들을 만나봤지만 결국 아저씨들이 더 친절하고 대충 조건을 이야기하면 원하는 집을 쭉쭉 찾아서 보여줬다. 이게 짬에서 나오는 바이브인가. 여기까지가 일반적으로 집을 찾는 방법으로 다음 글에서는 대표적인 어플리케이션이 아닌 꽤나 유용한 어플리케이션을 하나 소개하려고 한다.

[일본생활 #3] 일본에서 이사하기(2) 업계전용 사이트 알려주는 앱

이전글에서 집을 찾는 대략적인 방법을 소개했다. 이번에는 대표적인 suumo, homes가 아닌 부동산 업계사람들만 보는 페이지에서 집을 찾아서 알려주는, 해당 페이지 접속권한을 받을 수 있는 방법

codegray.tistory.com

[일본생활 #2] 일본 운전면허증 발급받기 (1) 영문운전면허증 공증받기 (요약有)

SenJ — Wed, 31 Aug 2022 01:13:52 +0900

2020.10 어느날 면허발급 후 쓴 글입니다.

요약

1. 영사관 방문시 발급받아야할 서류

- 한국 운전면허 번역서류 공증

- 출입국 사실증명서

- 영문운전면허증명서

2. 준비물

- 여권

- 한국운전면허증

- 재류카드

- 수수료 (약 1천엔)

- 면허증번역문 (영사관 비치)

드디어 일본에서도 운전을 할 수 있게 되었다. 공증부터 면허발급까지 유급휴가 2일에 대체휴무 1일 사용하고서야 발급받을 수 있었다. 주말동안 안 챙겨놓고 당일에 슬슬 나가려고 보니 한국운전면허증이 보이질 않아서 온 집안을 뒤지며 찾다가 하루를 날려버린 것을 생각하면 여유롭게 이틀이면 충분히 발급받을 수 있다.

영사관 가는길

공증을 위해서 여권, 한국운전면허증, 재류카드, 수수료, 면허증번역문 을 준비하여 요코하마 영사관으로 향했다. 요코하마 영사관은 모토마치/츄카가이 역에서 10분 정도 거리에 위치하고 있으며 꽤나 언덕길을 올라가야하기 때문에 날씨 좋은날이 아니고서야 걸어올라가지말고 엘레베이터를 타는 것을 추천한다. 아래 지도에서 회색선을 따라서가면 모토마치/츄카가이 역 - 아메리카야마공원을 연결하는 엘레베이터를 타고 올라갈 수 있다.

면허증번역문은 영사관에도 비치되어있기 때문에 꼭 미리 준비할 필요는 없지만 나는 프린트하여 기본적인 내용은 모두 작성을 하고 갔다. 면허증번역문에는 서명란이 있는데 사인으로도 문제가 없었다. (사스가 한국) 영사관에서 접수를 하면 번역문의 오류를 확인해주는데 나는 몇번이나 수정을 한 끝에 공증서류를 받을 수 있었다. 준비물은 당연한 것이고 가장 중요한 것은 자신이 거주하는 곳이 도쿄인 경우에는 도쿄영사관으로 가야하고, 나의 경우에는 카나가와에 거주하고 있었기 때문에 요코하마 영사관에서 처리받을 수 있다. 필요 서류 등에 관한 더 자세한 내용은 아래 영사관 홈페이지를 참고하도록 하자.

https://overseas.mofa.go.kr/jp-yokohama-ko/wpge/m_22247/contents.do - 요코하마

https://overseas.mofa.go.kr/jp-ko/wpge/m_1162/contents.do - 도쿄

공증서류를 발급받았으면 받은 서류들(면허증 번역문, 공증서류, 출입국 증명서 등)은 잘 챙겨서 운전면허센터에 갈 때 잊지 않고 챙겨가자. 운전면허센터에 갈 때 필요한 것에 대한 내용은 2부에서 확인해주세요.

[일본생활 #2] 일본 운전면허증 발급받기 (2) 운전면허증 발급받기 (요약有)

요약 1. 운전면허시험장 방문시 준비물 - 영사관에 들고 간 모든 것 - 영사관에서 받은 모든 것 - 주민표 - 증명사진 3*2.4 2장 - 수수료(최소 5000엔) 2. 가장 중요한 것!!! 아침 일찍 도착할 것!!! 공증

codegray.tistory.com

[일본생활 #2] 일본 운전면허증 발급받기 (2) 운전면허증 발급받기 (요약有)

SenJ — Wed, 31 Aug 2022 01:08:01 +0900

요약

1. 운전면허시험장 방문시 준비물

- 영사관에 들고 간 모든 것

- 영사관에서 받은 모든 것

- 주민표

- 증명사진 3*2.4 2장

- 수수료(최소 5000엔)

2. 가장 중요한 것!!!

아침 일찍 도착할 것!!!

공증서류를 받고 일주일 후 소테츠선 후타마타가와역에 위치한 카나가와 운전면허센터를 가게되었다. 이번에도 당연하게 자신의 거주지관할의 운전면허 센터를 찾아가야 한다. 카나가와 운전면허센터를 구글맵으로 검색하면 역에서부터 버스를 추천해주지만 걸어가도 금방 도착하는 거리이기 때문에 기다리지 말고 바삐 걸어가는 것을 추천한다. 그 이유는 선착순으로 10명을 오전에 처리해주고, 그 뒤에 10명은 오후에 처리하기 때문에 아차하면 하루종일 면허 시험장에 죽치고 있게 되기 때문이다.

내가 센터에 도착한 시간도 7시50분이었는데 벌써 엄청난 행렬이 꼬리에 꼬리를 물고 서있었다. 망했다 생각하며 정문쪽으로 가보니 다행히도 사람이 많은 곳은 운전면허 신규, 갱신이었고 외국면허변경은 입구를 바라봤을 때 기준으로 오른쪽에 안내판이 적혀져 있었고 벌써 몇 명의 사람들이 줄을 서있었다. 멀리서 봐도 10명정도 되어보여 호다닥 뛰어가서 줄을 서니 앞에 줄을 잘못 선 사람이 빠지고 딱 10번으로 접수할 수 있었다. 이 포스팅을 보고 요코하마면허센터를 가는 분들은 꼭 7시 50분전에 가서 낭패보는 일이 없었음 좋겠다. 내가 도착한 이후로 얼마 있지 않아 몇 명이 도착했으나 모두 오후 접수행. 예약도 가능한 것으로 알고 있는데 정확한 내용은 아래 면허시험장 웹사이트를 참조해보자.

https://www.police.pref.kanagawa.jp/mes/mes83000.htm　

이것저것 하라는 것은 많았지만 시키는대로 진행하면 되어 어렵진 않고 스무즈하게 진행이 된다. 기본면허 이외에 추가하고 싶으면(이륜차 면허, 대형 면허 등) 신청서를 작성할 때 희망하는 내용을 기입하면 된다. 대략적으로 아래 사진과 같은데 잘 모르겠으면 접수할 때 물어보면 확인해준다.

만약 보통면허 이외에 추가를 한다면 인지구입시 추가 금액이 발생한다. 모든 것들은 직원들이 안내를 해주기 때문에 아침 일찍만 도착하면 무탈하게 끝낼 수 있다. 모든 절차가 끝나고 면허증 발급시간을 알려주면 면허센터안에 있는 카페를 찾아 간단하게 허기를 채울 수 있었다. 면허증을 발급받고 운전면허센터에서 나오니 12시쯤될 정도로 기다리는 시간이 길기 때문에 보조배터리도 챙기는 것을 추천한다.

그리고 마지막으로 시간이 지나면서 달라진 내용이 생길 수 있으니 가기 전에 아래 경시청 웹사이트를 한번 읽어보고 가자.

https://www.keishicho.metro.tokyo.lg.jp/menkyo/menkyo/kokugai/kokugai05.html

[C언어 자료구조] Stack을 이용한 계산기 만들기 (infix, postfix 변환)

SenJ — Tue, 12 Apr 2022 10:42:07 +0900

컴퓨터는 순서대로 데이터를 읽기 때문에

인간이 사용하는 infix 형태의 수식에서 연산자의 우선순위를 고려한 형태의 수식인 postfix로 변환이 필요하다.

infix : 숫자(=피연산자)와 숫자(=피연산자) 사이에 연산자가 위치 ex) 1+1

postfix : 숫자(=피연산자)가 나오고 연산자가 위치

이번 포스팅에는 infix 수식을 postfix 수식으로 변환하는 과정을 통해 Stack 자료구조를 정리해보려고 한다.

메인함수에서는 수식을 입력받고 convert함수를 호출하여 입력받은 infix수식을 전달하여 postfix배열에 받아 계산결과를 출력한다.

스택은 책을 탑처럼 쌓아 올리는 것과 같은 자료구조로 가장 나중에 쌓은 책부터 치울 수 있는 Last In, First Out 의 순서를 가진다. (책을 stack으로 쌓는 아이가 공부를 못한다라는 연구가 있다..)

이를 코드로 구현하기 위해서 배열에 데이터를 저장하는 push 함수와, 데이터를 추출하는 pop 함수를 추가하였다. 데이터가 저장될 위치는 top으로 전역변수로 선언하였으며 데이터를 저장할 때는 top을 +1 증가하고 배열에 저장, 추출할 때는 데이터를 추출하고 -1을 감소시킨다.

그리고 배열의 길이는 MAXSTACK으로 TOP의 위치가 MAXSTACK-1인 경우 배열의 가장 마지막을 의미하기 때문에 STACK FULL을 출력한다.

convert 함수는 infix를 postfix로 변환함수로 반복문을 실행하기 전, postfix 저장위치를 가리킬 cnt변수를 초기화하며, stack의 끝을 알리기 위하여 EOS를 stack에 저장한다. 반복문은 infix에 더 이상 변환할 수식이 없을 동안 반복된다. ( for(int i=0; infix[i]!=0; i++) )

1. 간결한 코드를 위해 token에 infix[i]를 저장한다.

2. 숫자를 판단하는 함수인 isDigit을 선언하여 token이 숫자인지 판별한다. (다음 단락에서 함수 소개)

token이 숫자라면 token을 바로 postfix 배열에 저장하고 cnt를 증가시킨다.

3. token이 숫자가 아닌 경우 연산자들의 우선순위를 판단하여 postfix에 저장한다.

⓵token이 ‘)’인 경우, stack에 저장된 연산자 중 괄호 시작까지의 모든 연산자를 postfix 배열에 저장한다.

이는 괄호안의 연산이 가장 우선되어야 하기 때문이다 ex) 1x(2+3) -> 의 경우 2+3 계산이 선행되어야한다. 따라서 괄호 시작까지의 연산자를 모두 postfix에 넣어준다. cnt의 위치가 괄호 시작의 경우 수행할 연산이 없기 때문에 덮어쓸 수 있도록 cnt를 감소시키고 다음 token을 검사한다.

⓶token이 연산자인 경우, stack에 저장되어야 하지만 연산이 실행되어야하는 순서를 비교해가며 push할 필요가 있다.

예를 들어 2+3 x 4 에서 3 x 4 가 우선으로 실행되어야 함으로 순서대로 데이터를 읽는 postfix에는 +보다 먼저 저장되어야 한다.

따라서 stack에 저장되어있던 연산자의 우선순위와 token의 우선순위를 비교하여, stack에 저장되어 있던 연산순위가 높거나 같다면 먼저 postfix에 저장한다. (getStackPriority는 스택의 데이터 우선순위 파악, getpriority는 token의 우선순위를 파악한다, 다음단락에서 설명)

⓷위의 조건에 모두 해당하지 않는 경우 stack에 token을 저장한다.

-> 여기서 연산자가 처음으로 스택에 저장되고 다음 연산자가 나왔을 때 ⓵,⓶ 과정에서 postfix로 저장된다.

4. infix의 모든 내용이 postfix 또는 stack으로 옮겨졌을 때 반복문이 종료되고 stack에 남은 모든 연산자를 postfix 스택으로 옮겨준다. 이는 마지막으로 postfix 저장된 값이 EOS일 때까지 실행된다.

isDigit함수는 매개변수로 건네받은 데이터가 숫자인지 아닌지 알려주는 함수로 숫자라면 1을 반환하고, 숫자가 아니라면 0을 반환한다. 데이터는 char형 변수이기 때문에 아스키코드 값에 있는 문자 0에서 9사이에 있는지 확인한다.

getPriority는 infix 배열 속 연산자의 우선순위, getInStackPriority는 stack 배열 속 연산자의 우선순위를 반환한다. 한 가지 차이점은 괄호 시작 ‘(’의 우선순위가 stack안에서는 가장 낮게 변한다는 점이다. 이는 수식에 괄호가 있는 경우 괄호 안의 내용이 먼저 계산되어야 하기 때문이다.

evaluate은 postfix에 저장된 새로운 수식을 매개변수로 받아 연산을 실행하여 계산결과를 반환한다.

반복문은 postfix에 더 이상 계산할 내용이 없을 때 종료된다.

1. 간결한 계산을 위해 token에 postfix[i]값을 저장한다.

2. token이 숫자인 경우( if(isDigit(token)), stack에 token을 숫자형으로 변환하여 저장한다. *****

token-‘0’ 의 연산은 문자로 저장된 숫자를 숫자로 변환하는 것으로 stack에는 정수형 숫자가 저장된다.

3. token이 연산자인 경우( else ), 현재 위치 이전의 두개의 피연산자를 불러와 token값으로 연산을 실행, 다시 stack에 저장한다.

먼저 pop함수를 호출한 것이 op1이기 때문에 op1이 나중에 stack에 저장된 숫자라는 것을 알 수 있다. 따라서 연산자에 따라 op2에서 op1을 계산하고 이를 다시 stack에 저장한다.

ex) infix 3-2 -> postfix에서는 3 2 - , 이를 다시 stack에 push하여(*****분기에 따라) 2 3 로 저장됨

이 경우 token : - , op1=2, op2=3 이 된다.

4. postfix에 더 이상 계산할 내용이 없을 때 반복문이 종료된다. 모든 계산 결과 값은 stack에 저장되어 있을 것이므로 마지막으로 저장된 결과를 pop함수 호출 통해 반환한다.

postfix를 통해 스택과, 컴퓨터의 연산과정에 대하여 이해할 수 있었다. 현재는 한 자리 숫자에 대한 연산만이 가능했다. 만약 두 자리, 세 자리 숫자 연산은 어떻게 할 수 있을까?

[C언어 자료구조] 선택정렬, 이진탐색 (술자리 게임처럼 간단하게 이해하기)

SenJ — Mon, 11 Apr 2022 12:32:03 +0900

이진탐색은 리스트에 저장된 내용을 탐색하는 방법 중 하나로 쉽게 설명을 하면 대학교 술자리 게임인 병뚜껑 up/down게임을 생각하면 이해가 쉽다. 맥주병 뚜껑에 쓰여있는 1-50 사이의 숫자를 맞추기 위해서는 25, 12, 6, .. 또는 25, 37, 45, .. 으로 이어가는 것이 가장 합리적이란 것을 알고 있다. ( 술자리에서는 합리성이 사라지지만.. )

1. 리스트의 시작을 left, 끝을 right으로 지정하여 리스트에 탐색할 정수가 남아 있는지를 체크,

(병뚜껑의 숫자가 50임으로 left 1, right 50)

2. 찾는 값과 중간 값(middle)을 비교하며 같은 경우 반환,

(찾는 값과 중간값인 25를 비교하여 정답이면 폭탄주)

3. middle 보다 작은 경우 left와 middle-1 사이의 리스트를 탐색,

(25보다 작은 경우에는 left는 그대로 1 right은 24, 중간 값을 12로 하여 1,2를 반복)

반대로 middle보다 큰 경우 middle+1과 right 사이의 리스트를 탐색

(25보다 큰 경우에는 left는 26, right은 그대로 50, 중간 값을 37로 하여 1,2를 반복)

하는 과정을 반복한다.

따라서 이진탐색을 구현하기 위해서는 반드시 배열에 저장된 데이터가 정렬되어 있어야 한다. 이번 자료구조에서는 선택정렬을 통하여 정렬을 수행하였다.

이진탐색의 장점으로는 순차탐색(가장 앞에서부터 하나씩 비교)에 비하여 비교연산 횟수가 현저히 줄어든다는 점이다.

이진탐색은 리스트를 1/2씩 줄여가며 비교연산을 진행하기 때문에 logN번 비교를 진행한다.

따라서 이진탐색의 성능은 O(logN) 이다.

main 함수에서 이진탐색을 위하여 정렬을 먼저 수행한다.

1. 사용자가 원하는 만큼 난수를 생성하여 배열에 저장하고 list[i] = (int)((rand() % 1000) + 1)

2. sort 함수를 난수를 저장한 리스트와 리스트의 길이를 통해 호출한다. sort(list, n)

sort함수는 선택정렬을 수행한다.

선택정렬이란 제자리 정렬 알고리즘 중 하나로

정렬되지 않은 정수들 중에서 가장 작은 값을 찾아서 정렬된 리스트 다음 자리에 놓는다.

1. 리스트의 가장 첫번째 인덱스를 min으로 세팅

2. 리스트의 마지막까지 탐색하며 min보다 작은 값이 있으면 min 변수에 해당 인덱스를 저장하고 계속 진행.

3. 리스트의 첫 번째 데이터와 가장 작은 수의 데이터를 swap한다.

비교횟수는 매우 많지만 자리 교환이 매우 적게 일어나기 때문에 매우 안정적이며 교환의 횟수가 적은 정렬에 적합하다. 따라서 내림차순 정렬을 오름차순으로 정렬할 때 최적이며, 이미 정렬되어 있는 배열에 데이터를 추가하여 재정렬할 때 최악의 성능을 보인다.

자료가 총 n개일 때 (n-1)..(n-2)...1만큼 비교하게 되어 n(n-2)/2 번 비교를 하게 되고 교환은 n번 추가적으로 수행한다.

따라서 n(n-2)/2+n으로 O(n^2)의 성능을 보인다.

다시 메인함수로 돌아와서 선택정렬이 완료된 후 찾고 싶은 숫자를 입력받는다.

binsearch 함수는 배열에 찾고자하는 숫자가 있을 때 해당 인덱스를 반환하며, 없을 경우 –1을 반환한다.

위치 값이 반환된 경우 이는 배열의 인덱스이기 때문에 실제로 사용자에게 출력되는 위치는 result+1이다.

binsearch함수는 정렬된 리스트, 찾고 싶은 숫자(main 함수의 search), 배열의 시작과 끝(0, n-1)을 매개변수로 받는다.

1. 리스트의 범위가 left, right으로 설정된다.

2. 연산은 right이 left와 같거나 클 때 동안 반복한다.

3. 현재 리스트(=검색범위)의 중간 인덱스를 계산한다. middle=(left+right)/2

4. compare함수를 통하여 list[middle]과 찾고자하는 값(searchnum)을 비교한다.

⓵list[middle]보다 searchnum이 큰 경우, left에 middle+1을 저장하여 탐색범위를 줄인다.

⓶list[middle]과 searchnum이 같은 경우, 찾고자 하는 값의 인덱스인 middle을 main함수로 반환한다.

⓷searchnum이 작은 경우, right에 middle-1을 저장하여 탐색범위를 줄인다.

5. 반복

6.left와 right의 위치가 바뀔 때까지 searchnum을 발견하지 못하면 반복문에서 빠져나온다. 그리고 –1을 메인함수로 반환한다.

AWS Certified Solutions Architect Associate 합격 후기 +시험에 많이 나오는 유형 정리

SenJ — Wed, 23 Mar 2022 19:33:28 +0900

AWS Practitioner 시험이 끝난 후 정확히 한달을 준비해서 AWS Solutions Architect Associate 자격증을 통과했다. Practitioner을 끝내고 아무런 준비없이 SAA Udemy의 덤프를 하나 풀어보는데 생각보다 새로운 내용은 거의 없었고 점수도 67%가 나와서 어라? 이거 할만한데 라는 느낌을 받아 기왕 시작한 거 머릿속에 남아있을 때 이어나가려는 마음으로 시작했다. Udemy 코스를 하나 등록을 하여 새로운 개념에 대해서만 시청을 하고 나머지는 슬라이드를 훑는 방식으로 준비를 하는데, 시작했을 때 느낌과 다르게 새로운 개념들이 하나하나 늘어날 때마다 복잡해지는 느낌에 그 후에 몇번이고 덤프를 풀었을 때 계속 아슬아슬 72%를 넘지 못했다. 결국 시험 전날까지도 총 덤프 중에 합격선을 넘은건 몇 개 없었기에 조금은 불안한 마음으로 시험에 임했다. 온라인 시험과정에서 신분증 인증이 제대로 되지않아 시험시간이 30분 이상 늦어지면서 기분도 안 좋고 3시간 빌린 공유오피스 시간도 점점 압박이 되어 떨어지겠구나 싶었는데 결과는 놀랍게도 822점으로 생각이상으로 여유롭게 통과를 했다.

시험은 Practitioner과는 꽤나 다른 유형으로

Practitioner에서는 A의 기능을 하는 서비스는? 또는 해당 서비스의 특징은? 과 같이 서비스의 특징 및 개념을 묻는 문제들과 특정 상황을 해결하기 위한 한 가지 서비스를 고르는 문제 등이 주어졌던 것에 반해

SAA에서는 특정 상황이 주어지고 해당 상황을 해결하기 위해서는 "어떤 서비스의 조합을 통해서 해결"할 수 있는지에 대한 문제가 대부분이었다.

따라서 서비스 하나가 어떤 특징을 가지고 있는지 아는 것도 중요하지만 해당 서비스가 다른 서비스와 어떻게 활용될 수 있는지에 대한 이해가 필요하다. 그리고 주어지는 상황이 어느정도 정해져있기에 해당 상황에 어떤 서비스의 조합을 이용할 수 있는지 알아두면 좋을 것으로 느껴졌다. Udemy에서 스테판이 제공하는 SAA강의 중 예시를 들어가며 전체적인 서비스 플로우를 만들어가는 과정에 대한 내용이 꽤나 도움이 많이 되었다. 아래의 여섯가지 큰 틀에서 각각의 서비스의 특징을 공부해서 시험장에 들어가면 생각보다 어렵지 않게 통과를 할 수 있다. (나도 822점이나 받을 줄 몰랐다)

1. Serverless Architecture

기업이 인프라 관리없이 고객에게 서비스를 제공하고 싶다는 문제가 나오면 일단 API Gateway, Lambda, S3, Cloudfront, DynamoDB 등을 머릿속에 그려가면서 풀면 좋다. 특히 글로벌로 제공하고 싶다고 하면 거의 대부분이 Cloudfront와 DynamoDB와 관련이 있었다.

ex1) 컨텐츠의 Global 제공 : static 파일의 경우 Cloudfront의 OAI로 S3를 설정, dynamic 파일의 경우 API Gateway 통하여 DynamoDB Global Table을 조회한다.

ex2) 컨텐츠 업로드 후속작업 : S3 transfer Accerlerator, Cloudfront, API Gateway 등을 통해 S3에 업로드. S3 이벤트 통해 Lambda 서비스 invoke 또는 SNS, SQS 통해 다른 작업으로 연결

2. High Availability

High Availability를 달성하기 위한 방법을 묻는 질문으로 ELB, ASG, EC2, RDS, Aurora 등을 묶어서 연상을 해야한다. 주어지는 상황에 따라 Application LB 또는 Network LB를 고르는 문제, 비용적인 측면을 고려해 EC2의 인스턴스 타입을 고르는 문제, RDS 또는 Aurora의 기능을 고르는 문제 등이 있다.

ex1) 글로벌 서버의 응답이 지연되고 있음, read가 많음 : Aurora global DB, 또는 RDS read replica

ex2) 싱글 AZ의 EC2를 HA로 바꾸려고 함, HTTPs내용 검사 필요 : Application LB사용하고 ASG Multi-AZ기능 통해 달성

ex3) Business hour에 EC2 지연이 발생함 : ASG를 Scheduled action으로 Business hour에 늘릴 수 있으며 평소에 필요한 양은 reserved instance로 추가적으로 필요한 내용은 Spot instance로 사용함

3. VPC

VPC가 어떻게 구성이 되며 외부와 인터넷을 통해/통하지 않고 어떻게 연결할 수 있는지에 대한 이해가 필요하다.

ex1) Private subnet에서 인터넷으로 연결하려고 함. 어떻게 가능? Nat Gateway를 Public subnet에 설정하고 라우팅 테이블에 Nat gateway와 Internet Gateway를 연결해준다.

ex2) 인터넷을 이용하지 않고 온프레미스로 연결하려고 함 : VPN Gateway 와 Customer Gateway 설정

ex3) 인터넷을 이용하지 않고 아마존 서비스로 연결하려고 함 : VPC interface endpoint 또는 Gateway endpoint(S3, DynamoDB 만)

ex4) VPC와 VPC, 온프레미스를 연결하려면? : VPC peering(1대1), VPC transit(스타형으로 연결), VPC Cloudhub(여러 온프레미스 서버와 VPC), VPC Direct Connect(여러 VPC와 하나의 온프레미스) 등

4. Hybrid Cloud, Migration

온프레미스의 데이터를 AWS에 마이그레이션 또는 하이브리드 클라우딩을 통해 서버 확장을 하고 싶다는 문제가 많이 나왔다. 이 때 단어를 잘 살펴봐야하는게 move, migrate 을 이야기할 때는 Snow family, DataSync, Direct Connect, Site to Site 연결 등을 데이터 전송량을 기준으로 살펴봐야한다. 반면 AWS의 하이브리드에 관한 문제는 Storage gateway를 통한 file/volume/tape gateway를 떠올려야한다. 그리고 온프레미스에서 사용하던 스토리지 시스템을 기준으로 AWS에서의 저장소를 고를 수 있어야한다.

ex1) 80TB의 데이터를 마이그레이션하고 싶다? Snowball edge compute optimize

ex2) 온프레미스 NDFS를 AWS로 확장하고 싶다? Storage gateway 통해서 file gateway 사용

ex3) 온프레미스 윈도우 파일시스템에 AD서비스를 마이그레이션 하고 싶다? DataSync로 데이터 마이그레이션 후 FSx for Window Fileserver

5. Decoupling

상황에 맞는 디커플링 서비스를 고를 수 있어야 한다. 단순히 특정 상황에 맞는 디커플링 서비스에 대한 내용도 있지만 다른 서비스와 엮여서 사용하는 방법에 대해서도 문제가 있었다.

ex1) 빅데이터 기업이 데이터를 S3에 저장하려고 함 : Kinesis DataStream -> Kinesis Firehose -> S3

ex2) 어플리케이션에서 들어오는 데이터 양이 많아서 Lambda가 처리를 못함, Ordering/De-redundancy 필요 : SQS FIFO

6. S3

상황에 맞는 S3 Storage Class에 대해 복수의 문제가 출제되었으며, 전반적인 서비스 기능에 대한 내용은 다른 서비스와 엮여서 많이 출제되었다.

ex1) S3 업로드된 파일이 한달 후 부터는 어세스가 줄어듬. 이후에는 5년간 보관을 해야됨 : 라이프사이클을 통해서 Glacier로 보내야함

ex2) 컴플라이언스 관계로 10년간 데이터를 변경 없는 상태로 보관해야함 : S3 Object lock으로 보관

ex3) API Gateway를 통해 업로드된 데이터의 썸네일을 만들어야됨 : S3 event로 lambda를 invoke하여 작업 후 다시 S3로 보관

이외에도 DNS, NACL/Security Group, IAM Permission, 기타 Database 종류들, Failover Strategy 등 Udemy 강의에서 다루고 있는 수준의 내용에서 문제가 많이 출제되었으나 다른 서비스와 깊이 연동된 문제가 나오지는 않았기에 그 자체의 개념만 충실히 알고 있다면 문제를 푸는데에 지장이 없었다. 그 외에 Guardduty, Inspector, Cloudtrail, Well Architectured Framework 등에 관련해서는 따로 신경써서 보지 않았지만 Practitioner 공부했을 때 그 정도의 깊이면 충분히 알 수 있는 내용이 주어졌다. (자세한 내용은 개별 포스팅 참조)

지금 왜 자격증을 따려고 하는지에 대한 질문을 스스로에게 던져보면 정확히는 잘 모르겠다. 회사에서 Professional을 따면 10만엔 보상이 주어진다는 것 때문만은 아니고 클라우드 자격증을 따서 지금 당장 어디에다가 써먹을 수 있는 것도 아니다. 그저 지금의 환경이 만족스럽지 않기에 어떻게해서든 벗어나보려는 몸부림에 가까움인 것 같다. 이 자격증 하나 통과한다고 엄청난 일이 생길 것이라고 기대하지도 않지만 내가 바뀌지 않으면 아무것도 달라지지 않는다는 것을 알기에 일단은 또 다음 목표를 향해 나아가보려고 한다. 다음에는 AWS Developer를 준비해서 한달 뒤에 다시 후기 남기는 걸로!

[AWS Certified Solutions Architect] Decoupling(SQS/SNS/Kinesis)

SenJ — Tue, 22 Mar 2022 10:58:24 +0900

Decoupling applications : can scale independently from our application

SQS

- Umlimited throughput, Unlimited number of messages in queue

- Default retention of messages : 4 days(max14 days)

- Limitation of 256kb per message sent

- Producing messages : Using SDK

- Consuming Messages : Poll SQS for messages (receive up to 10 messages at a time) > Process the messages > Delete the messages

- Encryption : In-flight: HTTPS API / At-rest : KMS

- Access Controls : IAM policies

- SQS Access Policies : cross account access, allowing other services..

Message Visibility Timeout : After a message is polled by a consumer, it becomes invisible to other consumers

- by default 30 secs = the message has 30 seconds to be proccessed > after timeout is over the message will be visible in SQS

Dead Letter Queue : Set a threshold of how many times a message can go back to the queue, After the MaximumReceives threshold is exceeded, the message goes into a dead letter queue (DLQ)

Delay Queue : Delay a message up to 15 mins(default 0), consumers don't see during the period

Long Polling : wait for messages to arrive if ther are none in the queue

- decreases the number of API calls made to SQS= increasing the efficiency and low-latency

- can be 1~20 seconds

FIFO Queue : 300msg/s without batching, 3000msg/s with batching

- messages are processed in order by the consumer

- group ID

**메세지를 여러 work node가 선점해가면서 처리하게 하는 서비스. 메세지 수에 제한이 없음. FIFO를 사용하여 선입선출 및 원하는 work node에게 처리를 맡길 수 있음

SNS : publisher and subscribers

- each subscriber to the topic will get all the messages

- up to 10,000,000 subscriptions per topic, 100,000 topics limit

- subscriber : SQS, HTTP/HTTPS, Lambda, Emails, SMS, Mobile notifications

- Encryption : In-flight: HTTPS API / At-rest : KMS

- Access Controls : IAM policies

- SQS Access Policies : cross account access, allowing other services..

SNS + SQS : Fan out : send same messages to all consumer to process different ways

SNS FIFO Topic : only SQS FIFO queues can be a subscriber

SNS Message fitering : JSON policy used to filter messages sent to SNS topic's subscriptions

**한번에 여러 worknode에게 메세지를 전달하는 서비스. 유튜브 구독을 하면 새 영상이 올라올때 알람이 오는 것과 같음. 최대 메세지 수의 제한이 있으며 CloudWatch alarm과 같이 묶임. Fan-out을 통해 같은 메세지를 여러 큐에서(=여러 worknode) 에서 각각 다르게 처리할 수 있음.

Kinesis : collect, process, analyze streaming data in real-time

-Kinesis Data Streams: capture, process, and store data streams

billing per shard provisioned, retention between 1~365days, ability to reprocess(replay) data, data that shares the same partition goes to the same shard

-Kinesis Data Firehose: load data streams into AWS data stores

auto scaling, serverless, pay for data going through Firehose, Near Real-time, no data storage, send to 3rd-party/AWS S3, Redshift, Amazon ElasticSearch/ HTTPs

-Kinesis Data Analytics: analyze data streams with SQL or Apache Flink

real-time analytics on Kinesis Streams using SQL, auto scaling,

-Kinesis Video Streams: capture, process, and store video streams

** 빅데이터 실시간 처리. Datastream은 흐름 제어를 해주는 서비스로 shard의 프로비져닝을 필요로 하며 데이터를 1년까지 보관할 수 있다. Firehose는 데이터를 저장소에 보관할 수 있도록 해주며 데이터 보관기능은 없다. DataAnalytics 는 Kineses에서 받은 데이터를 sql로 정제하여 다시 Kinesis로 보낼 수 있음.

출처 : Udemy Ultimate AWS Certified Solution Architecture Associate 2022

[AWS Certified Solutions Architect] VPC

SenJ — Mon, 21 Mar 2022 08:57:09 +0900

요약

** VPC는 Region에 여러개 설정할 수 있으며 여러 AZ에 걸쳐서 설정할 수 있다

** Private Subnet을 외부 인터넷으로 연결하기 위해서는 Bation Hosts/NAT Instance/NAT Gateway를 Public subnet에 설정하고 라우팅테이블을 통해 이들을 Internet Gateway로 연결해주어야함. Bation Hosts/NAT Instance는 인스턴스를 통한 외부연결이기 때문에 Security Group 설정이 필요함. NAT Gateway는 Security Group 설정이 필요없으며 AWS에 의해 관리되고 HA를 지원함.

** Private Subnet을 인터넷을 통하지 않고 AWS서비스에 연결하기 위해서는 Interface Endpoint / Gateway Endpoint(S3, DynamoDB)

PrivateLink란 Endpoint를 통해 자신의 account 및 다른 account에 VPC를 공개하는 것.

** VPC간의 연결 : VPC Peering(1대1), Transit Gateway(Star형 연결)

** VPC를 온프레미스에 연결하가 위해서는 VPN Site to Site(Virtual Priate Gateway, Customer Gateway 설정필요) / Direct Connection이 있음. 전송량은 Direct Connection이 많지만 설정에 한 달정도 걸림. Site to Site의 키워드로는 IPsec이 있음

**다수의 온프레미스 서버를 VPC로 묶을 때는 Cloudhub, 다수의 AWS VPC를 온프레미스로 묶을 때는 Transit Gateway를 Direct Connection Gateway를 통해 연결

Private IP

-Big networks :10.0.0.0 – 10.255.255.255 (10.0.0.0/8)

-AWS default VPC range : 172.16.0.0 ~ 172.31.255.255 (172.16.0.0/12)

-Home network : 192.168.0.0 – 192.168.255.255 (192.168.0.0/16)

VPC : Virtual Private Cloud, can have multiple VPCs in an AWS region

Default : All new AWS accounts have a default VPC, New EC2 instances are launched into the default VPC if no subnet is

specified, have public IPv4 addresses

Subnet : AWS reserves 5 IP addresses (first 4 & last 1) in each subnet

Internet Gateway : allows resources in a VPC connect to the Internet, scalse horizontally, must be created seperately from VPC, One VPC can only be attached to one IGW and vice versa, route table must be edited

Bastion Hosts : bastion is in the public subnet which is then connected to all other private subnets to SSH into our private EC2 instances. only has port 22 traffic from the IP address you need, Security Group must be tightened

NAT instance : allows EC2 instances in private subnets to connect to the internet, must be launched in a public subnet, must disable EC2 setting( Source/dstination Check ), must have Elastic IP attached to it, Internet traffic bandwidth depends on EC2 instance type

NAT gateway : managed NAT, higher bandwidth, H/A, created in a specific AZ, uses an Elastic IP, Requires Internet GW(Private subnet -> NAT GW -> IGW), Pay per hour for usage and bandwidth, 5~45 Gbps bandwidths, no Security Groups needed

-NAT GW is resilient within a single AZ, must create multiple NAT GW in multi-AZ

DNS Resolution : DNS service in VPC

** Private VPC는 Private IP를 사용하며 이는 서브넷 내부에서 자동으로 부여된다(해제 불가능) 이를 외부환경과 연결하기 위한 방법으로

Bastion Hosts : Public VPC의 인스턴스로 SSH 연결허용. Securiy Group 설정이 중요함

NAT Instance : Public VPC의 인스턴스로 인터넷 연결허용. Source/dstination Check 해제, Elastic IP 설정 필요, Bandwidth는 인스턴스성능을 따름

NAT Gateway : H/A를 지원하며 사용량 및 Bandwidth에 따라 시간당 요금이 과금됨

이 있으며 인터넷 연결은 NAT을 Internet Gateway로 연결함으로 외부접근이 허용된다. (이 때 route table 설정이 필요함)

NACL : control traffic from and to subnets, One NACL per subnet, new subnets are assigned the Default NACL

- NACL rules : rules have a number and higher precedence with a lower number, first rule match will drive the decision, last rule is an * and denies a request in case of no rule match, newly created NACLs will deny everything

Stateless: return traffic must be explicitly allowed by rules (think of ephemeral ports)

Supports allow rules and deny rules

Ephemeral Ports : response to client port which has been defined when it connects

** NACL은 Security Group 과 비교해서 가장 큰 차이점은

1. Subnet level : Security Group 은 Instance level

2. Stateless : 간단하게 설명하면 상태를 기억하지 않는 다는 것으로 Inbound를 허용하여도 해당 정보를 기억하지 않기 때문에 같은 정보를Outbound에서 허용되도록 설정해줘야한다. (Ephemeral Ports) 웹어플리케이션의 경우 Request/Response를 하기 때문에 Inbound(Outbound)가 허용된다면 Outbound(Inbound)는 자동으로 허용된다.(Security Group)

3. Allow/Deny : Stateless의 특징으로 Allow/Deny 설정이 모두 필요함

Reachability Analyzer : network diagnostics tool that troubleshoots network connectivity between two endpoints in VPCs

Connection in the AWS

VPC peering : Privately connect two VPCs using AWS' network, not transitive, must be establish for each VPC that need to communicate with one another, must update route table in each VPC subnets

VPC endpoints : allows you to connect to AWS services using a private network instead of using the public internet

- Interface : provision an ENI as an entry point, supports most AWS services

- Gateway : Provision a gateway, support S3 and DynamoDB

** VPC peering 은 VPC간 1대1 연결을 하며 다시 사용이 불가능함. Endpoints는 기타 AWS서비스와의 연결. Endpoints Gateway는 S3와 DynamoDB 와 연결하며 나머지 서비스들은 Interface로 연결

Connection between the AWS and On-premises

Site-to-Site VPN : Virtual Private Gateway & Customer Gateway, enable Route Propagation

VPN CloudHub : Provides secure communication between multiple sites(VPN connections), connect multiple VPN connections on the same VGW

Direct Connect : dedicated private connection from a remote network to your VPC, access public resources(S3), and private EC2 on same connection

- Dedicated connections : 1 Gbps~10Gbps / Hosted Connections : 50Mbps, 500Mbps capacity can be added or removed on demand

- Data in transit is not encrypted but is private

AWS PrivateLink : most secure&scalable way to expose a service to 1000s of VPCs, required NLB and ENI or GWLB

Transit Gateway : transitive peering between thousands of VPC and on-premises, hub-and-spoke (star) connection, IP multicast

VPC Flow Logs : Capture information about IP traffic going into interfaces -> can go to S3/ CloudWatch Logs, Query VPC flows using Athena on S3 or CloudWatch logs insight

Traffic Mirroring : capture and inspect network traffic in your VPC

IPv6 : IPv4 cannot be disabled for your VPC and subnets, you can enable IPv6 to operate in dual-stack mode

- if you cannot launch an EC2 instance ->create new IPv4 CIDR in your subnet

출처 : Udemy Ultimate AWS Certified Solution Architecture Associate 2022

[AWS Certified Solutions Architect] Database, Storage

SenJ — Sun, 20 Mar 2022 22:55:26 +0900

RDS : managed RDBMS

- Automated provisioning, OS patching

- Continuous backups and restore to specific timestamp : transaction logs are backed-up by every 5mins,ability to restore to any point in time, 7 days retentions- Monitoring dashboards

- Read replicas for improved read performance : up to 5 read replicas, replication is ASYNC, must update connection string, free for same-region, pay fee for cross-region

- Multi AZ setup for DR : SYNC replication, Increase availability, Multi-AZ replication is free, by clicking modify

- Scaling capability : must set Maximum storgae Threshold

- Storge backed by EBS(gp2 or io1)

RDS Encryption

-At rest AWS KMS, if the master is not encrypted the read replicas cannot be encrypted

-In-flight : SSL certificates, Provide SSL options

-Access Management : IAM policies, IAM authentication with MySQL and PostgreSQL(no needs of password, just obtaining authentication token)

Amazon Aurora : AWS cloud optimized RDB with PostgresSQL and MySQL

- 15 replicas, H/A native

- Support Cross region replication

- Security : similrar to RDS

Aurora Custom Endpoints : Endpoints are pointing DB, reader endpoint is generally not used after defining custom endpoints

Aurora Serverless : No capacity planning needed, pay per second,

Aurora Multi-Master : High Availability

Aurora CRRR : Cross Region Read Replicas, useful for disaster recovery

Aurora Global DB : 1 primary region(read/write), up to 5 secondory regions(read-only), up to 16 read replicas per region, decreasing latency

*** RDS / Aurora : managed RDB 서비스로 공통적으로 OS patching / Provisioning / Monitoring / Read Replicas / Multi-AZ / Auto Scaling 등을 지원한다. Aurora는 AWS 네이티브로 RDS보다 나은 성능을 보장한다.

Encryption 관련해서는 At-rest : AWS KMS, In-transit : SSL, Access : IAM based 로 비슷하다.

ElastiCache : Redis, Memcached - needs heavy application code changes, can make your app stateless

- user session store : user logs into any of the apps(instance), app(instance) writes the session data into ElastiCache

- REDIS : Multi AZ, Read Replicas(H/A), Backup and restore features

- MEMCACHED : No H/A(replication), non persistent, no backup and restore

- Security : Do not upport IAM authentication, REDIS(password/token, support SSL), MEMCACHED(SASL based)

Patterns for ElastiCache :

- Lazy loading : all the read data is cached, data can become stale in cache

- Write Through : Adds or update data in the cache when written to a DB

- Session Store : store temporary session data in a cache

DynamoDB : serverless, NoSQL DB, HA/Multi-AZ by default, IAM authorization/KMSSSL

Athena : used to query data in S3, pay per query, output results back to S3, IAM+S3 security

Redshift : OLAP(Analytics/BI/DWH), NO MULTI-AZ(need to snapshot and restore a snapshot into a new cluster, can be automated)

- Kinesis Data Firehose, S3 using COPY command, EC2 instance JDBC driver

Glue : ETL, serverless

Neptune : graph db, suits for SNS systems or Wikipedia

ElasticSearch : search any field of NoSQL, searching and indexing

Snow Family

- Data migration : Snowcone, Snowball Edge, Snowmobile

- Edge computing(limited connectivity/bandwidth,high network cost,,) : Snowcone, Snowball Edge

Snowcone : smallest, 8TBs

Snowball edges : storage optimized(80TB), Compute Optimized(42TB), cannot import to Glacier directly (Snoball->S3-> lifecyle policy)

Snowmobile : 100PB, Better than Snowball if you transfer more than 10 PB

OpsHub : software to manage Snow Family Device

Amazon FSx for Window : Window File system share drive, Multi-AZ, backed up daily to S3

Amazon FSx for Lustre : linux cluster, High performance computing

FSx option : Scratch FS(temporary storage, no replication), Persistent FS(long term storage, replicated within same AZ)

Hybrid Cloud for Storage: Block (EBS,EC2) / FILE (EFS, FXs) / Object(S3, Glacier)

Storage gateway : Bridge between on-premises data and cloud data in S3, File/Volume/Tape

- HW appliance : no on-premises virtualization

File Gateway : NFS and SMB protocol, supports S3 standard/S3 IA/S3 One Zone IA, most recently used data is cached in the file gateway, Integrated with AD for user authentication

Volume Gateway : backed by EBS snapshots, Cached volumes / Stored volumes

Tape Gateway : backup to Virtual Tape Library(VTL)

출처 : Udemy Ultimate AWS Certified Solution Architecture Associate 2022

[AWS Certified Solutions Architect] S3

SenJ — Sun, 13 Mar 2022 11:17:29 +0900

요약

**CloudFront는 S3를 OAI로 설정하여 static file 제공에 특화되어있음. 문제에서 글로벌/Static 파일에 대한 지문이 주어지는 경우 반드시 CloudFront/S3조합을 떠올릴 것

**업로드의 경우 1GB미만의 파일은 CloudFront에 업로드하여 S3로 보냄, 1GB를 초과할 경우 Multi-Part upload와 Transfer Acceleration 을 사용하여 직접 S3로 보내는 것이 좋음

** 글로벌/Dynamic File 처리는 CRR을 통해 (consistently syncronized) 여러 region에 복사를 하고 Global Accelerator를 사용

** S3에 업로드된 데이터의 후속작업이 필요한 경우 S3 event를 사용 Lambda/SNS/SQS 사용 가능

** S3의 Security를 위해서 직접적인 외부접근은 Bucket policy로 제한. 외부사용자의 접근이 필요한 경우 Pre-signed URL사용. CloudFront를 사용한 경우 CloudFront Signed URL/Cookie사용 및 CloudFront를 WAF(웹, IP rules), Shield(DDoS) 통해서 제어

S3 : Objects & Buckets

- Buckets : Need globally unique name, Defined at the region level

- Objects : a key which is the FULL path(= prefix + object name), Max size is 5tb, To upload more than 5GB, must use multi-part upload

Versioning : Enabled at the bucket level, Protect against unintended deletes, Easy rollback

- Any file that is not versioned prior to enabling versioning will hae version 'null'

** Versioning이 필요한 기능 MFA-delete, S3 replication, Lifecycle Configuration

Encryption

- SSE-S3 : Encryption using keys handeled & managed by AmazonS3 / object is encrypted server side / AES-256 encryption / Must set header: “x-amz-server-side-encryption": "AES256"

- SSE-KMS : encryption using keys handled & managed by KMS(other AWS service, full control over the rotation policy of the encryption key) / object is encrypted server side / Must set header “x-amz-server-side-encryption": ”aws:kms"

- SSE-C : server-side encryption using data keys fully managed by the customer outside of AWS / HTTPS must be used

- Client Side encryption : client must encrypt/decrypt data themselves before sending to S3 / when retrieving from S3

Encryption in transit(SSL/TLS) HTTPS is recommended

** SSE 는 ServerSide Encryption 으로 암호화를 하는 키가 다름

CSE는 클라이언트 사이드에서 암호화를 하기 때문에 클라이언트가 직접 암호화/복호화가 필요함

S3 Security

- User based : IAM policies

- Resource Based : Bucket Policies

Block public and cross-account access to buckets and objects through any public bucket or access point policies

- Networking : VPC endpoints

- Logging and Audit : S3 Access logs -> other S3 bucket / API calls -> AWS CloudTrail

- User Security :

• MFA-delete(need to enable Versioning on the S3 bucket)- permanently delete an object version, suspend versioning on the bucket, only the bucket owner(root account) can enable/disable MFA-delete by CLI

• Pre-Signed URLs - can generate pre-signed URLs using SDK or CLI for up/download, valid for a default of 3600 secs(can change timeout with TIME_BY_SECONDS argument)

S3 Websites : host static websites can be accessbile on the www , 403 error(forbidden) -> check bucket policy

CORS : Request to other S3 buckets contents / need to enable correct CORS headers

S3 Replication :

- CRR / SRR must enable versioning, can be in different accounts, need proper IAM permissions

- After activating, only new objects are replicated

- Can replicate delete markers from source to target(optional)

- Deletions with a version ID are not replicated

- No chaining

Storage Class

S3 Standard / Intelligent Tiering / S3 standard-IA / S3 One Zone-IA / S3 glacier / S3 Glacier Deep archive

S3 Standard, Intelligent Tiering : No retrieval fee, No minimum capacity charge per object

S3 One Zone-IA : Lowest availability

Glacier : Expedited 1~5mins /standard >12hours /bulk >48hours <-> Deep Archive : Standard >12hours / Bulk >48hours

** S3 Standard, Intelligent Tiering / S3 standard-IA, S3 One Zone-IA / S3 glacier, S3 Glacier Deep archive 으로 묶어서 비슷한 특징이 있지만 세부 내용의 차이를 알아둘 필요가 있음

Lifecycle Configuration rule : trasit objects between storage class

- Transision Actions : defines when objects are transitioned to another storage

ex) Move objects to Standard IA class 60 days after creation

Move to Glacier for archiving after 6 months

- Expiration Actions : configure objects to expire after some time

ex) Access log files can be set to delete after a 365 days

Can be used to delete old versions of files (if versioning is enabled)

Can be used to delete incomplete multi-part uploads

- S3 analytics : help to determine when to trasition objects from Standard to Standard_IA (*NOT WORK FOR ONEZONE_IA or GLACIER )

** Object의 접근빈도에 따라서 자동으로 다른 클래스의 Bucket으로 이동시킬 수 있음.

Standard -> IA -> Intelligent Tiering -> One-zone IA -> Glacier -> Deep Archive

S3 Select & Glacier Select : retrieve less data using SQL by performing SERVER SIDE FILERTING *Rows&Columns

S3 Event Notifications : Can create as many S3 events as desired -> trigger SNS/SQS/LAMBDA

ex) Generate thumbnails of images uploaded to S3

Amazon Athena: Serverless query service to perform analytics against S3 objects

S3 Baseline Performance : your app can achieve at least 3,500 PUT/COPY/POST/DELETEs, 5,500 get/head requests per second per prefix in a bucket

S3 Byte-Range Fetches : parallelize GETs by requesting specific byte ranges

AWS CloudFront : Content Delivery Network (CDN)

- Improves read performance, content is cached at the edge

- DDoS protection, integration with Shield, AWS Web Application Firewall

- You can reduce the number of edge locations for cost reduction , Price Class All/Price Class 200/Price Class 100

**Origin으로 부터 데이터를 미리 Edge location에 캐싱하여 지연을 낮춘다.

CloudFront Origins

- S3 Bucket : enhanced security with CloudFront OAI , CloudFront can be used as an ingress(to upload files to S3)

- Custom Origin(HTTP) : ALB, EC2, S3 website (Allow Public IP of Edge Locations)

- Multiple Origin : To route to different kind of origins based on the content type (ex. S3 & EC2)

Request Based on path patterns like /images/* , /api/*, /*

– Origin Groups : To increase high-availability and do failover, Group two same type of origins (ex. S3 & S3, one primary and one secondary origin)

CloudFront Geo Restriction : restrict who can access your distribution, The “country” is determined using a 3rd party Geo-IP database

CloudFront : Global Edge network / Great for static content that must be available everywhere

S3 CRR : Must be setup for each region you want replication to happen / Great for dynamic content that needs to be available at low-latency in few regions

CloudFront Signed URL / Cookie : distribute paid shared content(private content) to premium users over the world

- Signed URL : access to individual files (one signed URL per file)

- Signed Cookies : access to multiple files (one signed cookie for many files)

AWS Global Accelerator : 2 Anycast IP are created for your application,

- The Anycast IP send traffic directly to Edge Locations / The Edge locations send the traffic to your application

- Works with Elastic IP, EC2 instances, ALB, NLB, public or private

- Consistent Performance / Health Checks / Security

**Anycast IP를 사용하여 요청이 들어왔을 때 지연이 낮은 서버를 통해 어플리케이션에 접근을 빠르게 한다.

AWS CloudFront : Improves performance for both cacheable content / Dynamic content / Content is served at the edge

Global Accelerator : Improves performance for a wide range of applications over TCP or UDP / Good fit for non-HTTP use cases, such as gaming (UDP), IoT (MQTT), or Voice over IP, Good for HTTP use cases that require static IP addresses

출처 : Udemy Ultimate AWS Certified Solution Architecture Associate 2022

[AWS Certified Solutions Architect] EC2, EBS, EFS, ELB

SenJ — Fri, 11 Mar 2022 09:19:16 +0900

Public IP : machine can be identified in WWW, must be unique across the whole web

Private IP : machine can only be identified on a private network, must be unique across the private network

Elastic IP : fixed public IP for instnace

Placement Groups : control over the EC2 instance placement strategy

- Cluster : clusters instances into a low-latency group in a single AZ

Pros : Great network(10Gbps bandwidth) Cons : if the rack fails, all instances fails at the same time

- Spread : spreads instances across underlying HW (max 7 instances per group per AZ)

Pros : span across AZ, reduced risk, EC2 instances are on different physical HW Cons : limited to 7 instances per AZ per placement group

ex) APP that needs to maximaize high availability

- Partition : spreads instances across many different partitions (rely on different sets of racks) within AZ, scales to 100s of EC2 per group, A partition failure can affect many EC2 but won’t affect other partitions

Up to 7 partitions per AZ, Each partition do not share racks with the instances in the oter partitions

** Cluster 는 여러 인스턴스를 하나의 rack에 묶음, Spread는 최대7개의 인스턴스를 여러 AZ에서 묶음, Partition 은 다수의 인스턴스를 하나의 rack에 묶음(해당 파티션은 AZ별로 7개까지 가능), 하나의 rack에 묶으면 통신속도 및 성능이 높아지지만 failure에 대한 리스크가 있음

ENI : Elastic Network Interface

- Virtual network card bound to a specific AZ

EC2 Hibernate : Preserves in-memory(RAM)state, RAM state is written to a file in the root EBS volume, available for On-demand and reserved instnaces, The root EBS volume must be encrypted, instance cannot be hibernated more than 60 days

ex) long-running processing, services that take time to initialize..

EC2 Nitro : Underlying Platform with better network options, higher speed EBS

EC2 vCPU : Thread per CPU * CPU

EBS Volume : network volume which is bound to a specific AZ

- get billed for all the provisioned capacity (size in GBs, IOPS)

- preserve root volume when instance is terminated ( root volume will be terminated with instance is terminated )

Snapshots : make a backup of your EBS volume -> can copy across AZ or Region

AMI : cusomizaion of an EC2 instance, built for specific region

Instance Store : high-performance HW , lose their storage if they're stopped, very high IOPS

EBS volume types : characterized in Size / Thoughput /IOPS

gp2/gp3 : general purpose SSD, cost effective storage, 1GiB-16TiB, 3000 iops

io1/io2 : highst performance SSD, great for databases workload 16000 IOPS~64000 IOPS(io2 Block Express 256000 IOPS), 4GiB~16TiB ( io2 Block Express 4GiB-64TiB) - support EBS multi attach(same AZ)

st1/sc1 : low cost HDD, cannot be a boot volume, 125MiB-16TiB

EBS Encryption : Data at rest is encrypted inside the volume, Data in transit between the instance and the volume is encrypted, All snapshots are encrypted, All volumes created from the snapshot are encrypted

- Leverage key from KMS(AES-256)

- Copying un-encrypted snapshot allows encryption

- Snapshots of encrypted volumes are encrypted

** EBS는 네트워크 볼륨으로 AZ안에서 활용할 수 있음. 기본 하나의 EBS는 하나의 EC2에 연결할 수 있지만 io1/io2는 동일 AZ속 여러개의 EC2에 연결할 수 있다. 다른 AZ 및 region으로 옮기기 위해서는 스냅샷 필요. 암호화는 KMS를 사용하며 스냅샷을 만들어 암호화를 설정할 수 있다.

EFS : Managed NFS that can be mounted on many EC2 in multi-AZ, pay per use, use security group to control access to EFS, Compatible with Linux based AMI, encryption at rest using KMS

**여러 AZ의 인스턴스에 연결할 수 있는 파일시스템. EBS에 비하면 비용이 들지만 EFS-IA를 통해 절감할 수 있음

EBS : can be attaced to only one instance at a time, locked at the AZ level, snapshot is needed when migrates EBS across AZ

EFS : Mounting 100s of instances across AZ, can leverage EFS-IA

ELB : managed load balancer, health checks(200 is OK response)

- Classic LB : supports layer4 and layer7, fixed hostname, health checks are TCP or HTTP based

- Application LB : Layer7, load balancing to multiple HTTP app across machines, load balancing to multiple applications on the same machine, support for HTTP/2 and Web Socket

Routing based on path in URL / hostname in URL / Query String, Headers

Great fit for micro services & container based app

Target groups : EC2 instances / ECS tasks / Lambda functions / IP adresses

- Network LB : Layer4, forward TCP&UDP traffic to your instances, has one static IP per AZ and supports assigning Elastic IP

Target groups : EC2 instacnes / IP addresses / Application LB

- Gateway LB : Operates at layer3, transparent Network Gateway, GENEVE protocol on port 6081

Target groups : EC2 instances / IP Addresses

**ELB는 타겟 그룹에 대한 접근을 적절히 분산시켜줌, ALB는 Layer7이기 때문에 HTTP요청내용을 보고 분산시킬 수 있음. NLB는 Layer4로 요청내용 내부까지는 볼 수 없다. ElasticIP를 부여할 수 있다. GWLB는 들어오는 요청을 타겟그룹을 거친 후에 다시 돌아오도록 할 수 있음.

Sticky Sessions : Application-based Cookies : Custom cookies, Application cookies

/ Duration-Based Cookies : generated by the LB

Cross-Zone LB : each load balancer instance ditributes evenly across all registered instances in all AZ

ALB : Always on / NLB : disabled by default, charges for inter AZ / CLB : disabled by default, no charge for inter AZ

SSL/TLS : allows traffic to be encrypted in transit

SNI : multiple SSL certificates onto one web server

ALB, NLB : support multiple listeners with multiple SSL certificates, use SNI / CLB : support only one SSL certificates

ASG : scale in/out response to match load, across multiple AZ

ASG alarms : scale an ASG based on CloudWatch alarms -> make scale in/out policies

- Simple/step Scaling : when a CloudWatch alarm is triggered, then...

- Target Tracking Scaling : set-up target usage

- Scheduled Actions : scaling based on knwon usage pattern

- Predictive scaling : ML based

Good metrics to scale on : CPU utilization / Request Count per target / Average Network in, out / Any custom metric

Scaling Cooldowns : after a scaling activity happens, you are in the cooldown period(default 300 secs) ASG will not launch or terminate additional instances -> use ready-to-use AMI

** HA를 구현시켜주는 자동 스케일링 서비스. CloudWatch Alarm을 통해 현재 트래픽, 사용량 등을 파악하여 policy를 만들수 있음.

ASG Default termination policy : Find AZ which has the most number of instances -> Delete the one with the oldest launch config

ASG launch configuration, launch template : Launch configuration must be re-create everytime -> Launch template can have multiple versions, Provision using both on-demand & Spot Instance

출처 : Udemy Ultimate AWS Certified Solution Architecture Associate 2022

[타베로그 #8] 고독한 미식가 출연 맛집, 샤브타츠

SenJ — Thu, 10 Mar 2022 13:36:33 +0900

고독한미식가에 나온 식당에 다녀왔다.시즌 5 최종화로 토시마쿠 니시스가모의 스키야키집 으로 방송된 내용으로 일본 넷플릭스에는 있는데 한국 넷플릭스에는 없는것으로 보인다(이게 AWS의 DNS geolocation설정?)

스키야키란 한국의 불고기전골에 해당하는 음식으로 낮은 냄비에 고기, 야채, 두부, 버섯 등을 양념장에 졸여가며 먹는 음식이다. 가게는 니시스가모역에서 A2출구로 나오면 바로 앞의 골목에 위치하고 있으며 외관은 특별한 느낌은 아니다.

가게 안으로 들어서면 방송에서 나왔던 장소로 혼자 스키야키를 먹을 수 있는 공간이 있다. 나는 편하게 먹을수 있도록 2층으로 안내를 받았다.

메뉴는 크게 스키야키와 샤브샤브로 나뉘어져있는데 처음인만큼 스키야키정식을 선택했다. 최상급고기는 2500엔, 일반 고기는 종류별로 1100엔이었다. 이날은 1100엔짜리 소고기 안심, 돼지고기 삼겹살을 1인분씩 시켜서 먹었다.

결론부터 얘기하자면 맛있었다. 고기가 부드럽고 간도 짭짤하니 맥주가 간절해지는 맛이었다. 일요일 낮에 무리하고 싶지않아 간신히 참았지만 만약 집가까이에 있는 가게였다면 퇴근길에 매번 들렸을 것 같다.

더욱 좋았던 점은 양이 매우 푸짐하다는 것인데 고기와 아채는 물론 밥, 미소시루 무한리필에 달걀도 두개까지 먹을 수 있다. 플러스 마지막에 우동사리까지 주어지니 1100엔이라는 가격에 이정도가 가능하단건 혜자중에 혜자.

한가지 아쉬웠던 점은 마지막에 우동을 먹을 때 추가로 넣었던 와리시타(장국)의 간이 진해서 마지막 맛이 짰다는 것이다. 근데 또 우동사리를 졸이면서 위에 계란을 풀었으면 어땠을까 싶다.

식당 주변에는 특별히 가볼만한 곳은 없지만 시간이 남는다면 가까이 있는 노상전철 아라카와센을 타보는 것도 괜찮아보인다. 나는 이리저리 산책을 하며 여러 고양이들을 만나서 인사하머 구루메를 마무리했다.

AWS Certified Cloud Practitioner 합격후기+공부법

SenJ — Fri, 4 Mar 2022 11:09:39 +0900

AWS 가장 기초 자격증 AWS Certified Cloud Practitioner 에 합격했다 ! 자랑할 정도 난이도의 시험은 아니지만 그래도 한달정도 열심히 공부해서 딴 자격증이기도 하고 뭔가 이때까지와 결이 다른 영역에 발을 딛는 느낌이라 기분은 좋다. 이 기세를 몰아서 Solution Architecture Associate을 도전해보려고 한다. 목표는 3월말 취득.

연습문제에서도 시험에서 많이 나왔던 내용을 정리 겸 팁?을 공유하자면 워낙 내용이 광범위한 탓에 외워야할 양은 꽤 많지만 깊이 있는 내용의 문제는 많지 않았다. 절반정도는 특정상황에 사용할 수 있는 서비스를 고르는 문제로 눈에 익으면 쉽게 풀 수 있는 문제였다. 그 밖에 특징으로는 아래에 적은 7가지의 주제에서 꽤 많은 문제가 나왔고 상세하게 특징을 알아야할 필요가 있었다.

1. 클라우드 컴퓨팅의 개념 및 특징

-특정 상황에서 클라우드 컴퓨팅을 도입할 때 클라우드 컴퓨팅의 특징(확장성, 탄력성, 신속성, 가용성 등) 중 어떤 면이 도움이 되는지.

ex) A회사가 글로벌 서비스를 도입하는데 사용자에게 low-latency로 제공하기 위해 클라우드 서비스 사용한다. 이에 맞는 클라우드 컴퓨팅의 특징은?

-특정 서비스는 클라우드 컴퓨팅의 어떤 특징을 나타내는지

ex) ELB는 클라우드 컴퓨팅의 어떤 특징을 활용한 서비스인가?

2. AWS에서 Shared Responsibility

- 주어진 행동은 누구의 책임소재인지에 대한 문제

ex) RDS 사용시 고객의 responsibility는 무엇인가, 보기 중에 AWS와 고객 모두에게 필요한 responsibility는?

3. S3 티어별 특징

- 특정 상황에 사용해야할 S3 tier를 고르는 문제

ex) 10년이상 보존할 데이터는 어느 tier를 선택해야하는지

4. AWS support plan 별 특징

- 특정상황에서 선택해야할 support plan에 대한 문제, support 내용에 따라 어떤 plan인지 선택

ex) 24/7 대응을 받고싶은 경우는 어떤 plan? / TAM 지원을 받을 수 있는 plan은?

5. AWS Security, Monitoring

- 특정상황에 대해서 사용해야할 security, monitoring 서비스 및 대책

6. Well Architecture Framework

- 해당 개념은 어떤 pillar에 해당하는가

ex) 코드로 인프라를 관리하는건 어떤 pillar인가.

7. Global service, Region scope, AZ scope

- 특정 서비스의 특징을 물어보는 보기중에 항상 들어가있음

ex) 직원이 해외 여러군데에서 AWS에 접근을 해야하는 경우 IAM서비스에 필요한 작업은?

위에 나열한 7가지 영역에서 꽤 많은 문제가 나왔고, 문제 자체가 아니더라도 보기로 포함하는 경우도 많았기 때문에 여러번 보는 것을 추천한다. 어렵지는 않지만 꽤나 지엽적인 문제들이 많아서 닥치고 외워야하는 시험을 질색하는 사람은 좀 스트레스 받을만한 시험이었다.

공부 방법으로는 Udemy의 AWS 인기강사 스테판의 강의를 한번 완주 후, 같은 사람의 덤프강의를 신청하여 6set를 풀고 오답을 다시 보는 방식으로 한달 반정도 공부를 했다. 각 잡고 외운다면 더 짧은 시간에도 딸 수 있을 것 같지만 대단한 동기부여가 되어있지 않았기 때문에 틀린 거 또 틀려가면서 널널히 공부를 했다.

https://www.udemy.com/course/aws-certified-cloud-practitioner-new/

Practitioner은 AWS에 대해 아무것도 모르는 상태의 초심자용이기 때문에 강의를 가볍게 듣는다는 셈으로 완주를 하고, 해당 강의의 마지막에 한 세트 주어지는 덤프를 한 번 풀어본 후에 모르는 부분이 어느부분인지, 어느 영역에서 출제가 많이 되고 있는지 확인하고 나서 해당 내용을 집중적으로 공부하는 것이 좋은 방법으로 느껴진다.

[AWS Certified Cloud Practitioner] 08. Other compute services

SenJ — Fri, 4 Feb 2022 09:23:16 +0900

Dockers : 어플리케이션을 배포하기 위한 소프트웨어 플랫폼. 도커를 통해 어플리케이션은 Containers 에 패키지화되어 어떤 OS에서도 실행가능하게 됨, Docker images 는 Docker repositories 에 저장됨

ECS : Elastic Container Service, Docker Container를 AWS에서 실행시킴, 인프라에 대한 유지관리 및 예측이 필요함, AWS는 컨테이너의 실행/중지를 관리함

Fargate : Docker Container를 AWS에서 실행시킴, 인프라에 대한 관리 및 예측이 필요없음, 서버리스이며 AWS는 CPU/RAM 필요량에 따라 컨테이너를 실행한다.

ECR : Elastic Container Registry, Private Docker Image Registry, ECS 또는 Fargate에서 실행시킬 도커 이미지를 보관하는 곳

AWS Lambda : 가상 함수, 다양한 프로그래밍 언어로 작성된 함수를 서버없이 실행시켜줌. 모든 AWS 기능들과 함께 사용 가능하며 AWS Cloudwatch로 모니터링이 가능하다. 호출 건수 및 지연시간 당 비용이 발생한다.

AWS API Gateway : Lambda 함수를 HTTP API를 통해 외부로 공개한다.

AWS Batch : 어느 규모의 배치작업(시작과 끝이 있는 작업)도 처리 가능. 자동으로 EC2 인스턴스 혹은 Spot 인스턴스를 기동한다. 배치작업은 도커 이미지로 정의되어 ECS에서 기동된다.

Batch vs Lambda

배치는 시간, 런타임 제한이 없으며 도커이미지로 패키지화된다.

람다는 시간, 런타임에 제한이 있으며 디스크공간도 임시로 사용하며 서버리스 서비스이다.

Amazon Lightsail : 가상서버/스토리지/데이터베이스/네트워크 가 구성된 형태의 패키지로 제공하는 서비스. 클라우드 경험이 적은 사람에게 추천됨, 가용성은 좋지만 auto-scaling은 지원하지 않는다.

출처 : Udemy Ultimate AWS Certified Cloud Practitioner - 2022

[AWS Certified Cloud Practitioner] 07. Database

SenJ — Thu, 3 Feb 2022 09:51:39 +0900

DB 종류 : Relational DBMS, NoSQL, Serial DB etc..

NoSQL : 유연한 스키마를 가져 확장성이 좋다. 특정 데이터모델에 대해서는 좋은 성능을 보인다

AWS에서는 다양한 DB를 지원하며 빠른 자원할당 및 고가용성, 확장성, 자동백업, OS패치, 모니터링등의 강점이 있다.

AWS RDS : Relational Database, uses SQL Query

-다양한 DB지원 : PostgreSQL, MySQL, MariaDB, Oracle, MS SQL Server, Aurora

- SSH로 인스턴스 접근 불가능

Amazon Aurora : 아마존 소유의 기술로 PostgreSQL, MySQL 지원

- 클라우드 최적화로 RDS에서의 MySQL 보다 5배, RDS에서 PostgresSQL보다 3배의 성능을 보임

- 저장소가 자동으로 10GB까지 확장되며 최대는 64TBs

- RDS보다는 20% 비쌈

RDS Deployments

- Read replicas : 5개의 read replicas 만들 수 있으며 읽기 부하를 확장시킴. 쓰기 작업은 메인 DB에서만 가능

- Multi-AZ : AZ에 문제발생을 대비한 배포작업으로 메인 이외 다른 1개의 AZ에만 배포가능

- Multi-Region : 리젼에 재난상황 발생을 대비한 배포, 글로벌읽기 작업에 같은 지역 퍼포먼스를 보임, 복제에 비용소요

Amazon ElastiCache : 자주 사용하는 읽기 작업을 일부 인메모리에 저장하여 DB 부하를 줄여줄 수 있음. 고성능&저지연

DynamoDB : Serverless Database, NoSQL Database로 key/value DB, 큰 부하가 들어와도 확장가능, 3개의 AZ에 복제됨, Integrated with IAM for security

DynamoDB Accelerator : DynamoDB만을 위한 in-memory cache, 10배정도 성능 향상, DynamoDB 테이블을 여러 리젼에서 접근 가능하도록함, Active-Active replication(read/write to any AWS region)

Redshift : based on PostgreSQL, used for OLAP = DW에 사용, 데이터 로드는 시간에 한번 실시, 컬럼베이스 DB, 병행작업에 성능이 좋음, 인스턴스 확보에 따라 지불하는 시스템, SQL인터페이스 제공, BI 툴과 같이 사용됨(AWS Quicksight, Tableau)

Amazon EMR : 하둡 클러스터링 등 빅데이터 프로세싱에 사용됨, 수백개의 EC2 인스턴스 클러스터링 가능

Amazon Athena : serverless query service to perform analytics against S3 objects

Amazon Quicksight : serverless machine learning-powered BI service to create interactive dashboards, 세션별 과금

Document DB : MongoDB와 동일 JSON데이터를 저장, 쿼리, 인덱싱함

Amazon Neptunes : Graph Database, 소셜 네트워크 같은 느낌

Amazon QLDB : Quantum Ledger Database, 금융거래를 저장하며 저장후에는 변경이 없음, 탈중앙화 아님

Amazon Managed Blockchain : Hyperledger Fabric & Ethereum 프레임워크와 상호호환

DMS (Database Migration Service) : 마이그레이션 중에도 DB사용가능, 이종/동종 마이그레이션 모두 지원

AWS Glue : serverless ETL Service 로 OLAP 데이터를 준비할 때 유용함

출처 : Udemy Ultimate AWS Certified Cloud Practitioner - 2022

[AWS Certified Cloud Practitioner] 06. S3

SenJ — Mon, 31 Jan 2022 09:36:18 +0900

AWS S3 : Simple Storage Service 의 약자로 파일서버의 역할을 하는 서비스

- Object(=파일)를 Bucket(=디렉토리)에 저장할 수 있도록 한다

- Buckets은 글로벌로 유니크한 이름을 가진다. (모든 리젼 모든 계정) -> 글로벌 서비스로 보이지만 리젼단위로 생성된다.

- Backup and storage / Disaster recovery / Archive / Hybrid cloud storage / App hosting/ Media hosting / Data lakes & Big data analytics / Software delivery / Static website

- 네이밍 규칙 : 대문자 x, 언더바 x, 3-63 캐릭터, IP 주소 x, 소문자 또는 숫자로 시작해야함

Objects : 저장된 객체 (=파일), 키는 하나의 경로로서 prefix+객체명으로 이루어진다. (슬래시도 포함됨)

- Buckets은 디렉토리와 닮아있지만 디렉토리로서의 개념은 아님

- 객체는 최대 5TBs 의 body를 가지며 5GB이상 업로드를 하기 위해서는 multi-part upload 를 해야함

- Metadata : key/value pair 시스템 또는 사용자의 메타데이터임

- Tags (Unicode key /value pair - up to 10) 보안과 라이프사이클에 유용

- Version ID

S3 Security

- User based : IAM policies – API 호출은 IAM console상에서 특정사용자 허용이 필요함

- Resource Based

1. Bucket policies – Bucket wide rules from the S3 console, 모든 계정에 대한 권한 부여

2. Object Access Control List(ACL) – finer grain

3. Bucket Access Control list(ACL) - 일반적이지 않음

- IAM Principal 가 S3 object 접근 가능한 경우 : 사용자 IAM permissions 허용하는 경우 또는 resource policy 가 허용하는 경우, 그리고 DENY 명시적으로 설정되어있지 않은 경우

- Encryption : 암호화된 객체는 Encryption keys 를 사용

접근주체별 시큐리티 설정

- Anonymous -> S3 bucket(S3 bucket policy)

- IAM user (IAM policy) -> S3 bucket

- EC2 instance ( EC2 instance role, IAM permissions) -> S3 bucket

- IAM user other AWS account -> S3 bucket(S3 bucket policy)

S3 Bucket policies

- JSON 문서

- S3 Bucket policy 를 통해 퍼블릭 어세스 허용, 파일 업로드시 암호화를 강제하며 다른 계정에게도 어세스 허용

S3 Websites

- Static websites 를 호스팅하여 www상에서 접근가능

- 403(Forbidden) error의 경우 Bucket policy 의 public reads 확인 필요

S3 Versioning

- Amazon S3 의 객체의 버젼을 설정할 수 있음

- Bucket 단계에서 설정가능

- 같은 키에서 1,2,3 .. 순으로 버젼관리

- 롤백이 필요한 경우 유용하게 사용가능

- 이전에 버젼설정이 되지 않은 경우 새버젼이 생기면 버젼번호가 “null”로 설정됨

- Versioning을 제거하더라도 이전 버젼이 삭제되지 않음

S3 Access logs : S3 buckets의 모든 계정에서 모든 종류의 접근을 로그로 남길 수 있음 -> 또 다른 S3 bucket으로 남김

S3 Replication (CRR&SRR) : 해당 소스와 목적지에 Versioning 설정이 필수. 다른 계정으로도 가능, 비동시적인 복사가 일어남, 적절한 IAM permissions 이 필요함

- Cross Region Replication(CRR):compliance, lower latency access, replication across accounts

- Same Region Replication(SRR): log aggregation, live replication between production and test account

S3 Storage Classes

- Amazon S3 Standard - General purpose : 99.99% 가용성, 데이터에 빈번한 접근이 있을 경우 사용, 저지연 고처리율, Sustain 2 concurrent facility failures, ex) big data analytics, mobile&gaming applications, content distribution

- Amazon S3 Standard - Infrequent Access(IA) : 접근이 적지만 필요시 빠르게 접근이 필요한 데이터에 알맞음, 99.99% 가용성, Genral purpose에 비해 비용이 저렴하지만 Retrieval fee 가 있음, sustain 2 concurrent facility failures, ex) data store for disaster recovery, backups

- Amazon S3 One Zone -Infrequent Access(IA) : Standard IA와 동일하지만 하나의 AZ에 보존된다, 99.5%의 가용성, 저지연 고처리율, Standard IA 에 비해 20%정도 저렴, ex) storing secondary backup copies of on-premise data or storing data you can recreate

- Amazon S3 Intelligent Tiering : 99.9% 가용성, 저지연 고처리율, 사용패턴에 의거해 자동적으로 오브젝트를 FA/IA 로 구분하여 비용최적화됨, AZ에 발생하는 문제에 대해 회복력이 좋음

- Amazon S3 Glacier & Glacier Deep Archive : 저비용 스토리지 (in GB/month ) Archiving / Backup 에 유용, 긴 기간 보존, 다양한 Retieval 옵션(시간 + Retrieval fee)

Glacier : cheap, expedited(1~5mins), standard(3~5 hours, bulk(5~12 hours)

Glacier Deep Archive : cheapest, standard(12 hours), bulk(48 hours)

- Amazon S3 Reduced Redundancy Storage

Durability and Availability

- Durability : high durability of objects across multiple AZ, same for all storage classes

- Availability : measures how readily available a service is, varies depending on objects

S3 Object lock

- WORM 모델(Write Once Read Many), 오브젝트 버젼 삭제를 일정기간 블락함

Glacier Vault lock

- WORM 모델(Write Once Read Many), 미래의 수정에 대해서 락을 걸어둠, 컴플라이언스 및 데이터 유지에 유용

S3 encryption

- No encryption / Server-side Encryption / Client-side encryption

Responsibility

-AWS : infra, configuration and vulnerability analysis, compliance validation

-User :S3 versioning, S3 bucket policies, S3 replication setup, logging and monitoring, S3 storage classes, data encryption at rest and in transit, 사용 서비스의 정보보호 및 관리

AWS Snow Family : 고보안, 물리적 디바이스로 어떠한 네트워크 환경에서도 데이터를 수집 및 프로세싱할 수 있음, 이후 AWS 마이그레이션 가능

- Data migration : Snowcone, Snowball edge, Snowmobile

- Edge computing : Snowcone, Snowball edge

- AWS Snow Family 사용 순서

1. Request snowball devices from the aws console for delivery

2. Install the snowball client /AWS opshub on your servers

3. Connect the snowball to your servers and copy files using the clients

4. Ship back the device when you’re done

5. Data will loaded into an S3bucket

6. Snowball is completely wiped

Snowball Edge(for data transfers)

- 물리적 데이터 전송 장치 : AWS-장치간 TBs ~ PBs 데이터 이동

- 네트워크 없이 데이터 전송할 수 있는 대안, 전송작업별로 비용지불

- Block storage, Amazon S3-compatible object storage 제공

- Snowball Edge Storage Optimized : 80TB of HDD capacity for block volume and S3 compatible object storage

- Snowball Edge Compute Optimized : 42TB of HDD capacity

- ex) large data cloud migrations, DC decommission ,disaster recovery

AWS Snowcone

- 작고 휴대성이 편리(4.5punds)하며 어느환경에서도 버틸 수 있음

- Edge computing, storage and data transfer

- 8TBs of usable storage

- Snowball을 사용할 수 없는 환경에 사용하기 좋음

- 직접 배터리 / 케이블 소지해야함

- AWS offline으로 전송 및 온라인상에서 데이터 싱크를 맞출 수 있음

Snowmobile (트럭같은 거임)

- 엑사바이트 데이터 전송( 1 EB = 1000PB, 1000000TBs)

- 각 Snowmobile 은 100PB 의 용량이 있으며 병렬로 사용가능

- 보안성이 높고 온도 조절, GPS, 보안카메라 등이 탑재됨

- 10PBs 이상을 전송 및 사용할 때 Snowball 보다 좋음

Edge Computing : 제한된 환경에서의 데이터 프로세싱 등, 네트워크 접속이 원할하지 않은 경우 해당 장비들을 사용하여 데이터 프로세싱 후 AWS에 마이그레이션 가능, EC2 인스턴스 구동 및 AWS lambda 기능사용가능 (using AWS IoT Greengrass), 장기계약의 경우 할인옵션이 있음

ex) preprocess data, machine learning at the edge, transcoding media streams

Snowcone (smaller)

- 2CPUs, 4GB of memory, wired or wireless access, USB-C power

Snowball Edge - Compute optimized

- 52 vCPUs, 208 GiB of Ram, optional GPU(useful for video processing or machine learning), 42TB usable storage

Snowball Edge - Storage optimized

- Up to 40 vCPUs, 80 GiB of RAM, object storage clustering available

AWS OpsHub : 과거에는 CLI -> 현재는 AWS OpsHub

AWS Storage Cloud Native Options

-Block : Amazon EBS, EC2 Instance store

-File : Amazon EFS

-Object :Amazon S3, Glacier

AWS S3 Gateway : 하이브리드 클라우드 구축을 위한 온프레미스-오프프레미스 연결허브

출처 : Udemy Ultimate AWS Certified Cloud Practitioner - 2022

[AWS Certified Cloud Practitioner] 05. ELB

SenJ — Tue, 25 Jan 2022 20:04:49 +0900

요약 : ELB는 인스턴스의 부하를 나눠주는 로드발란서이며 AWS에서는 Layer4단계 7단계에서의 로드발란싱을 제공한다. 사용자의 필요에 맞는 옵션을 다양하게 설정할 수 있을 뿐 아니라 자동으로 최적화를 해주는 옵션이 있다.

Scalability(확장성) : 하드웨어 확장(수직/수평)을 통해 어플리케이션 및 시스템에서 추가 부하를 수용할 수 있는 능력, 가용성과는 다른 개념

- Vertical Scalability : 인스턴스의 사이즈를 늘리는 것ex) t2.micro -> t2.largem, 일반적으로 중앙집중 시스템에 활용되며 보통 확장에 제한(such as H/W limit)이 있다.

- Horizontal Scalability : 인스턴스 및 시스템의 수를 늘리는 , 일반적으로 분산시스템에 적용되며 최근의 어플리케이션등에서 활용됨

ex) auto scaling group, load balancer

High Availability : 어플리케이션과 시스템을 최고 2곳의 AZ에서 운용. 목표는 어떠한 상황에서도 시스템을 지속적으로 운용하는 것에 있음

Elasticity : Scalability를 확보했을 때 부하에 따라서 시스템의 사이즈를 조절하는 탄력성(유연성) “auto-scaling” 클라우드 컴퓨팅의 목적을 달성하게 해줌Pay-per-use, match demand, optimize costs

Agility : IT자원을 신속하게 확보하여 개발시간을 단축

Elastic Load balancing (ELB) : 하나의 점을 공개(DNS)하고 해당점으로 들어온 네트워크 트래픽을 복수의 서버로 분산시켜주는 기능, 복수의 AZ로 분산가능, 하드웨어 fail의 경우를 대비할 수 있음, 정기적인 health check, SSL termination 제공, 고가용성 확보

- AWS 가 로드발란싱 자체를 보증함 = 직접구축하는 것 보다 비용이 들 수 있지만 공수를 축소시킬 수 있음

AWS가 제공하는 Load Balancer

- Application load balancer (HTTP/HTTPS only) -layer 7

- Network Load Balancer (ultra-high performance, allows for TCP) – layer 4 (high-performance)

- Classic load balancer – layer 4& 7

Auto Scaling Group(ASG) : 부하의 증감에 따라서 자동적으로 EC2 인스턴스를 확장 및 축소하는 기능, 최소/최대기동의 인스턴스 수를 보장함, unhealthy 인스턴스 대체도 자동적으로 가능

Scaling Strategies

- Manual Scaling : 수동 Scaling

- Dynamic Scaling : 수요에 따라서 Scaling

ex) simple/step scaling : when a Cloudwatch alarm is triggered (ex CPU>70%) then add 2 units

-Target tracking Scaling : 목표치를 유지하도록 Scaling

ex) The average ASG CPU to stay at around 40 %

-Scheduled Scaling : 인스턴스 사용패턴을 알고 있을경우 해당 패턴에 맞추어 Scaling

ex) increase the minimum capacity to 10 at 5pm on Fridays

-Predictive scaling : 머신러닝을 통해 예측 Scaling

출처 : Udemy Ultimate AWS Certified Cloud Practitioner - 2022

[AWS Certified Cloud Practitioner] 04. EBS Volume

SenJ — Mon, 24 Jan 2022 23:03:17 +0900

EBS(Elastic Block Store) Volume : 인스턴스에 연결 가능한 네트워크 드라이브

- 네트워크 드라이브이기 때문에 조금의 지연이 발생할 수 있음

- 인스턴스가 제거되어도 데이터 보존가능

- 한번에 하나의 인스턴스에만 연결가능(복수의 인스턴스에 연결하는 EBS는 따로 있음)

- 같은 AZ에서만 연결가능 : ua-east-la 의 EBS Volume은 us-east-lb에 연결 불가능 -> 이를 위해서는 snapshot 해서 이동시킴

- GB 단위로 제공됨 / 증량 가능

- 디폴트로 EC2 인스턴스가 제거되면 root EBS Volume 도 같이 제거됨, root 이외에는 제거 안됨

- Free tier :30GB of free EBS storage of type General Purpose or magnetic per month

EBS Snapshot : EBS Volume일정시점의 백업을 만든다

- Snapshot을 위해 EBS Volume 연결해제를 할 필요는 없지만 권고됨

- 만들어진 snapshot은 다른 AZ또는 리젼으로 복사가 가능하다.

AMI : Amazon Machine Image, EC2를 커스터마이징한것

- EC2의 자신의 소프트웨어 / 설정 / 운영체제 등을 추가하여 커스터마이징을 한다.

- 따로 설정이 필요하지 않기 때문에 빠르게 구축가능

- 특정 리젼에 만들어지지만 다른 리젼에서도 복사가능

- Public AMI(AWS 제공), Own AMI, AWS marketplace AMI(제 3자가 만들어서 제공/판매)

EC2 image Builder : 가상서버 또는 컨테이너를 만드는 자동화 시스템

- EC2 AMI의 creation/maintain/validate/test 자동화

- 스케쥴링 가능함

- 기본은 무료 서비스(only pay for the underlying resources)

EC2 Instance Store

- EBS volumes 은 네트워크 드라이브이기에 성능에 제한이 있음

- 더 성능좋은 하드웨어가 필요할때 EC2 Instance Store 사용가능 (= I/O 성능향상)

- 그러나 기동중지가 되면 데이터가 소실된다 -> 해당 리스크관리 필요 *백업 및 복사해야함

- 버퍼/캐쉬/임시데이터 사용에 유용

EFS : Elastic File System

- 회사의 공용폴더와 같은 기능으로 다수의 EC2에 연결가능

- Linux EC2 instances 는 멀티-AZ로 연결가능

- 사용성/확장성 등에 강점이 있음 -> 사용에 따른 과금

EBS : 하나의 EC2에 다수의 EBS 연결가능

EFS : 다수의 EC2에 하나의 EFS 연결 가능

EFS infrequent Access (EFS-IA)

- 사용빈도가 떨어지는 데이터를 별도보관함

- 최대 92% 저비용으로 EFS사용가능

- EFS 가 파일의 마지막 접근일을 기준으로 자동적으로EFS-IA 로 이동시킴 *lifecycle 정책의 일환으로 사용 가능

- Ex) move files that are not accessed for 60 days to EFS-IA

- 어플리케이션에서 EFS 접근할 때 영향도 없음

책임소재

AWS : 인프라, replication for data for EBS volumes & EFS drives, 하드웨어관리, 개인정보보호 관리

사용자 : 백업 및 스냅샷, 데이터암호화, 데이터 자체, EC2 instance store의 리스크

Amazon FSx : 제3자의 파일시스템을 AWS에 연결하여 사용

- Windows : fully managed, highly reliable, and scalable window native shared file system /built on windows file server, supports SMB protocol & Windows NTFS / integrated with Microsoft Active Directory

- For Lustre : fully managed, high-performance, scalable file storage for high performance computing(HPC) / Linux + cluster / Machine learing, Analytics, Video Processing, Financial modeling, scales up to 100s GB/s millions of IOPS, sub-ms latencies

출처 : Udemy Ultimate AWS Certified Cloud Practitioner - 2022

[AWS Certified Cloud Practitional] 03. EC2

SenJ — Fri, 21 Jan 2022 09:48:46 +0900

요약 : EC2란 가상화된 서버로 사용자의 목적에 맞게 옵션을 선택가능하다. 해당 서버의 보안정책은 Security groups 에서 관리한다.

EC2 : Elastic Compute Cloud 단어 그대로 컴퓨팅자원을 탄력적으로 사용하는 서비스 (Iaas)

클라우드에서 호스팅되는 가상화된 서버를 Instance라고 한다.

- 가상머신을 대여 (EC2)

- 가상의 스토리지에 데이터를 저장 (EBS)

- 분산로딩 (ELB)

- 오토스케일링을 통한 서비스 사이즈를 변환 (ASG)

EC2 Instance 설정가능한 옵션: AMI(OS) + 인스턴스 사이즈(CPU+RAM) + 스토리지 + Security groups + EC2 User data

- OS

- 컴퓨팅 파워 & CPU

- RAM갯수

- 스토리지 크기 : 네트워크 사용(EBS&EFS), 하드웨어(EC2 instance store)

- 네트워크 카드

- 방화벽 설정 : security group

- 부트스트랩 스크립트 : EC2 user data(=인스턴스 "실행시" 한번 수행되는 스크립트로 루트 계정으로 실행됨. 실행과 동시에 업데이트, 다운로드 등 가능)

EC2 Instance Type

- General purpose : 다양한 상황의 작업에 적합. 컴퓨팅/메모리/네트워크 자원의 발란스가 좋음 ex) 일반 웹서버, 코드 저장소 등

- Compute optimized : 고성능 컴퓨팅이 필요한 경우에 적합, ex)배치작업, 빅데이터분석, 머신러닝 등

- Memory optimized : 메모리에서 큰 데이터를 처리하는 경우에 적합 ex) 관계형/비관계형 DB, 인메모리 db, BI, 실시간 비정형데이터 처리

- Storage optimized : 대량의 순차적 읽기&쓰기 작업을 하는 경우에 적합 ex) 관계형/비관계형 DB, DWH 어플리케이션 등

Security Groups (=방화벽 역할)

- AWS 보안의 기본으로 EC2 인스턴스의 트래픽을 관리

- Allow 룰만 가지고 있기 때문에 적용되지 않은 내용은 기본 Deny

- 포트 / IPv4, IPv6 / 인,아웃바운드 를 제어함 ( 인바운드 트래픽은 전체 deny / 아웃바운드 트래픽은 전체 allow 가 디폴트 )

- 여러 인스턴스에 적용 가능

- 인스턴스 밖에 존재하기 때문에 인스턴스에서는 트래픽확인 불가능

- SSH 접근은 별도의 Security Group 으로 설정하는 것이 좋음

- 인스턴스 접근시 타임아웃 에러가 나는 경우는 Security group 확인 필요 ( Connection refused 인 경우네는 어플리케이션 확인 필요)

EC2 구매옵션

- On-demand : 사용에 따라 지불 (linux/windows 경우 첫 1분 이후 초당과금, 이외에는 시간당과금), 비싸지만 후불

ex) 짧은 기간 및 독립적인 작업, 어플리케이션을 얼마나 유지할지 모를때에 적합

- Reserved Instance : 최소 1년 또는 3년의 약정, 인스턴스의 변경가능, 스케쥴링 가능, On-demand에 비해 최대75% 비용절감, 선불/일부선불/후불로 가능하며 선불의 경우 비용절감가능,

ex) 지속적으로 사용하는 어플리케이션에 적합. 데이터베이스 등

- Spot Instance : 작은 부하, 저비용, 인스턴스 동작 종료될 수 있음, On-demand에 비해 70~90%비용 절감, 비용절감에 효율적이지만 인스턴스 기동실패가 허용되는 작업에 사용할 것.

ex) 배치작업, 이미지 프로세싱, 분산작업 등

Dedicated .. 은 물리적 하드웨어를 대여한다는 점에서 공통점을 가지고 있음

- Dedicated Hosts : 전용호스트 약정을 해제하기 전까지 계속 동일한 하드웨어를 임대, 컨플라이언스 규칙 및 소프트웨어 라이센스 등을 준수하고자 할때 유용. 3년 주기로 임대. 비쌈.

- Dedicated Instance : 인스턴스 단위로 하드웨어를 임대하게 됨.(=인스턴스를 해제/기동하는 경우에 하드웨어 장비가 변경될 수 있음=사용하는 동안에는 하드웨어 점유), 동일한 AWS계정의 다른 인스턴스와 하드웨어 공유

EC2 책임소재

AWS : 인프라, 물리서버 독립성, 하드웨어 메인터넌스, 컴플라이언스

사용자 : Security groups 룰, OS 업데이트, 인스턴스의 소프트웨어 및 기능, IAM 관리

출처 : Udemy Ultimate AWS Certified Cloud Practitioner - 2022

**ETC**

PORT

22 - SSH ( 리눅스 접근)

21 - FTP ( 파일 송수신 )

22 - SFTP ( Secure FTP)

80 - HTTP

443 - HTTPs (secured websites)

3389 - RDP (remote desktop)

[AWS Certified Cloud Practitional] 02. IAM

SenJ — Mon, 17 Jan 2022 00:08:53 +0900

요약 : 터미널에서 /etc/passwd, /etc/shadow, user add 등으로 조작하던 계정관리의 내용을 웹브라우저상에서 설정할 수 있는 서비스

사용자 계정과 관련한 모든 설정이 가능하며 사용자별/서비스별 보안규칙을 설정/적용/모니터링 가능하다.

IAM : Idendity and Access Management

계정관리기능을 뜻하며 글로벌 서비스이다.

관리할 수 있는 기능은 아래와 같다

1. 사용자 : 생성가능, 그룹에 포함시킬수도 있음, 물리적인 유저는 AWS 콘솔 비밀번호를 가진다

2. 그룹 : 유저만을 포함할 수 있음

3. 루트 : 디폴트로 생성됨, 특별한 경우를 제외하고 사용x

4. 규정(policies) : 유저와 그룹의 권한, JSON 문서로 작성되어 있다. 큰 틀에서 Version / ID / Statement 로 구성되어있다.

Statement는 다시 Sid (시리얼번호), Effect (허용/거부), Principal (어떤 계정에 적용할지), Action, Resource(어떤 자원에 Action적용), Condition으로 이루어져있다.

5. 비밀번호 규정

- 비밀번호 규칙을 정할 수 있다. ex) 8자리이상, 최소 1개의 대문자, 1개의 특수문자 포함 등

- 2차인증을 설정할 수 있다 password & MFA(physical device)

device로는 virtual MFA device(google authenticator) / U2F (yubikey) / otp 등이 있다.

6. 역할 (roles) : 서비스에 권한 부여

Common rules : EC2 Instance Roles / Lambda function roles / Roles for cloudformation

AWS에 접근하는 방법

1. AWS management console : 웹에서 접근 pw + MFA 로 보호

2. AWS command line interface (CLI) : 커맨드창. access키로 보호 (웹에서도 클라우드CLI가 있음)

3. AWS S/W developer kit (SKD) : 개발자용 도구. 개발언어별 API로 구성됨. access키로 보호

Access키는 AWS console에서 생성 가능하며 보안필수이다.

IAM 보안 모니터링

1. IAM credential report (account-level) : 모든 계정의 사용자의 암호화 상태를 확인가능

2. IAM access advisor (user-level) : 사용자에게 부여된 권한이 언제 사용되었는지 확인가능

출처 : Udemy Ultimate AWS Certified Cloud Practitioner - 2022

[AWS Certified Cloud Practitional] 01. 클라우드 컴퓨팅

SenJ — Sun, 9 Jan 2022 19:40:51 +0900

요약 : 클라우드 컴퓨팅은 사용량만큼 지불하는 시스템이기 때문에 시간/돈 등의 비용을 줄이고 자원을 효율적으로 사용가능하게 함

전통적인 서버구축 방법은 서버구입 -> 데이터센터/서버룸 설치 -> 사무실에서 관리

- 문제점 : 데이터센터 구축/대여 비용, 서버 유지비, 하드웨어 추가에 시간이 소요, 확장성에 한계가 있음, 모니터링 인건비 증가

클라우드 컴퓨팅은 수요에 맞추어 컴퓨팅 파워, DB, 어플리케이션 및 다른 IT자원을 사용가능하다. = 사용한만큼 지불 (pay-as-you-go pricing)

=> 필요한 컴퓨터 자원을 정확하게 공급가능 / 필요한 때 즉시 필요한 자원을 사용 가능 / 간단하게 서버,저장소,어플리케이션에 접근가능

특징

- On-demand self service : 제공자와의 의사소통 없이 필요한만큼 자원사용 가능

- Broad network access : 전세계에서 다양한 플랫폼에서 접근가능

- Multi-tenancy and resource pooling

- Rapid elasticity and scalability : 필요할때 필요한만큼 즉시 자원취득 가능

- Measured service : 사용량이 측정되고, 사용자는 사용량만큼만 지불

장점

- 자본지출을 운영지출로 바꿔줌 : H/W를 소유하지 않음

- 규모의 경제에서 이득을 볼수 있음

- 사용가능량 추정하지 않아도 됨

- 속도 상승

- 데이터센터 유지비용 절감

- 글로벌 네트워크 사용 가능

해결된 전통적 서버의 문제점

- Flexiblity : 필요할 때 자원변경 가능

- Cost-effectiveness : 사용한만큼만 지불

- Scalability : 더 큰 부하를 받을 수 있음

- Elasticity : 사용량 줄이거나 늘릴 수 있음

- High-availablity and fault-tolerance

- Agility : 빠르게 개발 가능

IaaS : 인프라를 서비스

- 네트워크, 저장소, 인프라를 서비스함, 해당 인프라위에서 구동되는 미들웨어, OS 등부터 관리

PaaS: 플랫폼을 서비스

- 인프라측면을 모두 맡기고 서비스 개발에 중점을 둠 (구축된 서버에서 개발부터 비즈니스까지 함)

SaaS : 소프트웨어를 서비스

- 완성된 제품까지 맡김 = 운영적인 부분만 중점을 둠 (개발된 제품으로 비즈니스만 함)

AWS 가격측정 = pay-as-you-go pricing

- Compute : 컴퓨팅 시간

- Storage : 저장된 양

- Data transfer OUT of Cloud : 밖으로 나가는 데이터

글로벌 기반

- AWS Regions :

- AWS Availablilty Zones : 각 region에는 여러개의 사용 가능한 zone 이 있다. (평균 3개, 최소 2, 최대 6), 각각 독립되어 재해발생시 보호됨

- AWS Data Centers

- AWS edge locations/Points of presence

글로벌 서비스 : IAM, DNS, CDN, WAF

지역범위 : EC2, Elastic Beanstalk, lanbda, recognition

AWS 는 클라우드의 보안에 책임이 있음

AWS사용자는 클라우드 내부에서 보안에 책임이 있음

출처 : Udemy Ultimate AWS Certified Cloud Practitioner - 2022

[타베로그 #6] 도쿄 경양식 , 키친ABC

SenJ — Sun, 9 Jan 2022 18:31:31 +0900

이번에는 토시마쿠의 프랜차이즈 경양식 키친ABC를 소개하려고한다. 가게 느낌은 시간이 조금 흐른 일본 경양식집이다. 대표메뉴는 오리엔탈라이스로 돼지고기에 양파, 부추 등을 간장과 같이 볶아 밥위에 올려주는데 맛이 없을래야 없을수가 없다.

나는 이 날따라 카레가 먹고싶어서 카레반반으로 주문을 했는데 일반 일본식 카레가 아닌 검은 카레가 담겨나왔다. 그리고 오리엔탈라이스는 뭐 예상대로 맛있었고 의외로 치킨카츠가 정말 맛있었다. 엄청 얇은데 고기는 고기대로 씹히고 바삭바삭한 맛.

가격은 메인메뉴+사이드 뭘추가해도 천엔정도. 엄청 맛집으로 소개하기에는 무리가 있지만 오늘 뭐먹지? 에 딱 맞는 집이다. 그만큼 가격이 저렴하고 메뉴가 이것저것 다양해 일단 자리 앉아서 메뉴판에서 골라먹으면 된다. 주말에 일어나서 점심으로 가기에 딱 좋다.

[기초통계학] 확률변수

SenJ — Wed, 1 Dec 2021 14:39:19 +0900

확률변수란 확률 실험을 통해 얻어지는 기본결과 각각에 수치를 대응시킨 것을 말한다.

따라서 표본공간 S에서 정의된 실함수는 X:S->R 이다.

확률변수의 종류

1. 이산확률변수: 취할 수 있는 가능한 값이 유한개이거나 셀 수 있는 확률변수

-이산확률분포: X가 취할 수 있는 서로 다른 수치를 그것에 대응하는 확률과 함께 적어 놓은 것

ex) 동전던지기 확률분포

x	H	F
f(x)	1/2	1/2

-확률질량함수: x의 값을 매개변수로 하여 해당하는 확률 값을 계산하는 함수로써 f(x)=P(X=x) 로 정의된다.

-기댓값:

으로 정의되며 위표에서 앞면이 한번 나올 확률은 0 x 1/2 +1 x 1/2 = 1/2 로 계산된다.

기댓값은 임의의 상수에 대하여 E(ax+b)= aE(x)+b 로 분리된다.

또한 E(X+Y) = E(X) + E(Y)로 분리할 수 있다

-분산과 표준편차:

, 그리고

이산확률분포에서 분산은 제곱의 평균 - 평균의 제곱으로 간단히 계산가능하다.

분산은 임의의 상수에 대하여 Var(aX+b) = a^2Var(X), 표준편차는 sd(aX+b)=|a|sd(X)를 만족한다.

분산과 표준편차는 항상 양의 값을 가지며 상수의 분산은 항상 0이다.

1)베르누이 분포: 계속적으로 반복되어 진행되는 실험을 시행이라고 할 때, 각 시행에서 얻어질 수 있는 기본결과가 단 두 개이면 이러한 시행을 베르누이 실행이라고 한다. 다시 말해 이산확률분포 중 항이 두 개 밖에 없는 것을 의미한다. 따라서 결과는 오직 성공(S)과 실패(F)로 나타난다.

베르누이 확률변수란 베르누이 실행으로 정의된 X(s)=1, X(f)=0인 확률변수 X를 말한다.

위에서 표로 작성한 동전을 한 번 던지는 실험도 베르누이 실행이라고 할 수 있다.

ex) 대학합격/불합격, 불량품/양품,

베르누이 분포는 베르누이 확률변수의 확률 분포를 베르누이 분포라고 할 수 있다.

x	0	1
p(x)	1-p	p

베르누이 분포는 X~B(1, p) 또는 X~B(p)로 표기한다.

베르누이 분포의 평균 E(X) = p (n=시행횟수)로 계산되며 분산 Var = p(1-p) 이다.

2)이항확률변수

베르누이 분포에서 더 나아가 각 시행에서 성공확률이 p인 베르누이 실행을 n번 독립적으로 반복할 때 얻어지는 성공의 횟수 X가 이항분포를 따를 때 X는 이항확률변수라고 부르고 X~B(n,p)으로 표기한다.

확률질량함수는 아래와 같이 계산할 수 있다. n회 시행에서 p확률을 가지는 결과가 x번 등장했으며, 그렇지 않은 결과는 n-x등장했음을 구한다.

(n x) 는 수학에서 조합을 뜻하며 n개의 표본에서 x를 고르는 조합의 수를 모두 계산한다.

따라서 nCx(=n! / x!(n-x)! 을 구하면 된다.

기대값은 E(X)=np, 분산은 Var(X)=np(1-p)로 정의된다.

예를 들어 동전을 100번 던져서 앞면이 나오는 횟수가 X일 때, X의 기댓값은 100 x 0.5 = 50 이며 분산은 25가 된다.

확률 P(X=x)를 계산할 때는 누적이항확률표를 보고 구할 수 있다. P(x>5) 는 1-(P(x<=4)를 계산하면 된다.

3)기하확률변수: 각 시행에서 성공할 확률이 p인 베르누이 시행을 독립적으로 반복시행할 때 첫 성공을 얻기까지 시행을 하는 횟수를 기하확률변수 X라고 했을 때, X는 기하분포를 따른다.

기하확률분포는 성공이 발생할 때까지는 시행을 계쏙하기 때문에 성공이 일어나기 매우 드문 경우의 발생 비율을 추정할 때 주로 사용한다. 예를 들어 희귀병을 조사하기 위해 마을에서 표본을 추출해서 검사를 했는데 아무도 그 병에 걸린 사람이 없다고 하면 이러한 방법은 효과적이지 못하기 때문에 나타날때까지 검사를 계속하는 것이 바람직하다.

기하분포의 표기는 X~Geo(p)로 하며 확률량함수는

과 같이 계산한다.

성공이 되기전까지의 시행(1-p)을 x번 이전까지 찾을 확률과, 찾을 확률의 곱으로 계산된다.

2. 연속확률변수: 연속적인 구간의 모든 값을 가질 수 있는 확률변수

-연속확률변수는 이산확률변수와 달리 표의 형태로 나타내기 어렵기 때문에 구간으로 나누어 히스토그램으로 그릴 수 있다. 이와같이 도수를 증가시키고, 계급을 무한대로 잘게 나눠가면서 점점 세분화하면 곡선의 그래프가 나타날 것이다.

이러한 곡선을 연속확률변수 X의 확률밀도곡선이라 한다. 그리고 이 곡선을 나타내는 수학적인 함수 f(x)를 연속확률변수 X의 확률밀도함수라 한다.

히스토그램의 특성상 각 상대도수로 이루어진 면적의 총 합은 1이며 음의 확률을 가질 수 없기 때문에,

확률밀도곡선 f(x)은 모든 x에 대해 f(x)>=0 이며, 확률밀도곡선 아래의 면적은 1을 만족한다.

또한 a<X<b사이의 확률은 a~b범위에서 f(x)를 x에 대해 미분한 값이다.

-정규분포: 과거에 모든 통계학 자료는 종 모양의 대칭 형태를 나타내는 것을 발견하여 이를 normal distribution 이라고 명했다.

정규분포는 X~N(μ,∂²)으로 표기한다.

정규분포의 분산은 밀도함수의 모양을 결정하고, 평균은 중심위치를 나타낸다.

표본평균의 경험적 확률과 동일하게 μ±∂ 에 자료의 약 68%를 포함하고, μ±2∂에 약 95%, μ±3∂에 약 99%가 포함된다.

표준 정규분포는 X가 평균이 0, 분산이 1인 정규분포를 따르며, 이를 따르는 확률변수를 주로 Z로 표기한다. Z~N(0,1)

정규분포에서 표준정규분포로 표준화는 다음 관계식을 통해 표준정규분포로 대응시켜서 확률 값을 계산한다.

이러한 정규분포의 성질을 이용하면 일반 정규확률변수 X에 대한 확률문제를 표준정규확률 변수 Z의 확률문제로 바꿀 수 있다.

이렇게 계산된 범위는 표준정규분포표를 이용하여 확률을 구한다.

-이항분포의 정규근사: 이항분포의 n이 충분히 크고 p가 0.5에 가까운 경우,

이항확률변수 X는 평균이 np이고 표준편차가 √np(1-p) 인 정규분포에 매우 잘 근사함이 알려져 있다.

이는 근사적으로 표준정규분포를 따른다는 것으로 이 사실을 이용하여 이항확률변수 X에 대한 확률을 표준정규분포를 이용하여 계산할 수 있다.

이 때 주의할 점은 근사 확률을 계산할 때 이산형의 확률 값을 연속형의 표준정규분포로 근사시키는 것이기 때문에 연속성의 수정을 하여야 정밀도를 높일 수 있다. 연속성의 수정이란 이산확률변수 X에 대한 확률 P[X=x]를

P[X=x]=P[x-1/2≤X≤x+1/2]

로 수정하여 계산하는 것을 의미한다. 연속확률변수의 경우 한 값을 취할 확률이 항상 0이기 때문에 이산확률변수의 확률을 얻기 위해서는 1/2를 더하고 빼주어 구간의 형태로 수정한 후 연속확률변수에 대한 확률로 근사시킨다.

이 후에는 평균이 np이고 표준편차가 √np(1-p) 인 사실을 이용하여 정규화를 시켜 표준정규분포표에서 확률 값을 구한다.

[EXCEL] 데이터를 연결해주는 VLOOKUP 함수 기초

SenJ — Wed, 1 Dec 2021 09:38:33 +0900

데이터를 관리/운용하는 업무를 하면서 SQL을 메인 기술로 다루고 있다. SQL자체는 어렵지 않지만 역시 진입문턱이 있으며 사용할 수 있는 환경이 한정적이다. 그러나 회사원이라면 IT관리자 외에도 모든 사람이 데이터를 다룬다. 이를 다룰 때 가장 강력한 툴은 역시 EXCEL이다. 오히려 SQL을 짜는 것보다 EXCEL의 기능을 활용하는 것이 훨씬 효과적인 경우가 있다. 이전에 소개했던 글 중에서 ROLLUP/GROUPING의 경우 오히려 EXCEL의 피벗테이블을 사용하는 게 편할 수 있는 것처럼. 그런 생각을 한김에 업무중에 가장 많이 사용한 EXCEL 함수도 소개를 해보려고 한다.

그 중 가장 많이 사용한 함수는 VLOOKUP 함수로 정해진 범위속에서 기준 데이터와 일치하는 값을 찾아 원하는 열을 반환하는 함수이다. 회사에서 사용하는 ERP, 사내시스템에는 여러 화면이 있고 해당 화면에서 데이터를 출력할 수 있을 것이다. 그 때 이곳저곳에서 받아온 데이터를 연결하고 싶을 때 사용할 때 매우 유용하다. 아래와 같이 나는 사원의 부서정보의 데이터, 사원의 실적정보를 각각 가지고 있어 이를 연결하고 싶다고 가정해보자.

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.

0:29

VLOOKUP( 기준데이터, 찾을 범위, 범위의 몇번째 열에 위치하는지, 완전일치)

=>VLOOKUP( 사원번호 , 실적데이터테이블, 실적 열은 두번째 열, 완전일치)

당연히 데이터에 따라서 다르겠지만 일반적인 경우에 가장 중요하다고 생각하는 것은

1. 찾을 범위를 선택할 때 범위 고정

하지 않는 경우 새로 만든 열에서 드래그를 할 경우 범위가 변경된다.

2. 찾을 범위안에서 기준데이터(사원번호)는 가장 왼쪽에 두기

왼쪽에서부터 몇변째 열에 위치하는 지를 적어준다.

0:49

만약 찾는 데이터가 없는 경우 (사원번호 2는 우측 데이터에 없다 ) 에러가 출력된다. 이를 방지하기 위해서는 IFERROR 함수로 감싸주면 깔끔하게 처리가 된다.

IFERROR( VLOOKUP(), "넣고싶은 내용") 으로 처리를하면 에러의 경우 "" 에 입력한 내용이 출력된다

한 가지 유의해야할 점은 찾을 범위 중 가장 먼저 발견되는 데이터를 가져온다는 점이다.

따라서 우측 5번 사원번호가 1번으로 변경된다고 하더라도 VLOOKUP데이터로 끌고온 데이터에는 변화가 없다.

[비트코인 트레이딩 프로그램 #2] 5분봉 3틱룰 추상화

SenJ — Tue, 30 Nov 2021 09:13:06 +0900

암호화폐 트레이딩 프로그램을 만든다고 일단 포스팅은 했는데..그래서 어떻게? 코린이에 약심장이라 단타치려고 하면 손이 벌벌 떨리는 내가 대체 어떤 알고리즘을 적용할까 둘러보던 도중 승률이 좋다고 하는 '5분봉 3틱룰' 을 접했다. 나씨라는 분이 해당 방법으로 500만원에서 31억까지 돈을 불렸다고 하는데(진짜인지는 몰라도) 다른 코인 커뮤티니를 보아도 승률이 좋고 간단한 방법이라고 하여 유튜브를 몇번이고 돌려보고 차트도 시간날때마다 열어보고 있다.

1. 5분봉 3틱룰이란?

상승이 온 뒤 조정이 왔을 때 바닥을 찾는 방법

2. 응용. 음봉 중 어디가 바닥일까?

5분이 다 지나서 다음봉이 갱신되기 직전에 차트모양을 보고 진입여부를 판단한다

3. 몇분 차트 사용?

5분봉과 15분봉을 사용. 추세가 더 길게 흐르는 경우는 30분봉도 가능

4. 1틱 인정기준?

매일매일 변동성을 확인하고 판단함

5. 음봉사이에 양봉이 뜨는 경우

양봉이 추세를 무너트릴정도인 경우 초기화

이전의 음봉과 큰 차이가 없으면 같이 묶어서 1틱으로 잡음

위 내용을 간략하게 프로그래밍 코드로 작성해보면 아래와 같지 않을까.

while (
    if (시작가 - 마감가) < 0               // 음봉전환 체크
        count++;
        ticStart <- 현마감가;              // 직전마감가를 기준으로 잡아둔다.

    if (count = 2 )
        if (시작가 - 마감가) >= 일정금액 
            tic <- 1;

    if (count > 2 )                       // 음봉전환 후 두번째 음봉부터 틱을 카운트 시작
        if (ticStart - 마감가) >= 일정금액 // 틱을 카운트하는 경우 
            tic++;
            ticStart <- 현마감가          // 틱 카운트시에 마감가를 기준으로 다음틱을 추정한다

    if (tic == 3) break;
)
암호화폐 매수

응용의 내용 및 진입시점의 내용은 다음번에 추가해보도록 하자.

**만약 로직에 문제점을 발견한다면 언제든 댓글로 태클 부탁드립니다.

[비트코인 트레이딩 프로그램 #1] 업비트 API 신청

SenJ — Mon, 29 Nov 2021 09:43:13 +0900

암호화폐를 투자를 시작하면서 쥐꼬리 같은 수익을 얻으며 안 잃은게 어디야 자위하고 있지만 블로그를 돌아다니며 돈 잘버는 분들을 보면서 매일 부러워하고 있다. 그 분들은 당연히 나보다 공부도 많이 하고 더욱 열과 성을 다해 투자를 하고 있으니 많은 돈을 버는게 당연하지만 그렇다고 입만 떡벌리고 대다나다..하며 지켜만 볼 수 없는 노릇이니 조금의 정보라도 얻으며 나만의 투자방식을 만들어가고 있다. 그러던 중 내가 그나마 투자고수들 보다 할 수 있는게 무엇이 있을까 생각하던중.. 아 나 개발자였지? 라는 생각과 함께 암호화폐 자동 트레이딩 프로그램을 짜보려고 한다.

사실 개발자라고 해봤자 남이 짠 코드를 읽고 해석하는 정도의 실력이라 대단한 프로그램이 나올 가능성은 0에 수렴하겠지만, 좋은 코드를 잘 이어붙여 성공률이 좋은 트레이딩 로직을 구현해보고 테스트에서 승률 51%를 기록하는게 내 목표이다. 앞으로 시간날때마다 차트공부와 트레이딩기법에 대해서 익혀가며 간단한 코드를 짜보려고 한다.

기본적으로 참고할 웹사이트는 아래 보이는대로 업비트 API가이드와 파이썬 트레이딩 위키독스이다.

https://docs.upbit.com/docs

업비트 개발자 센터

업비트 Open API 사용을 위한 개발 문서를 제공 합니다.업비트 Open API 사용하여 다양한 앱과 프로그램을 제작해보세요.

docs.upbit.com

https://wikidocs.net/31063

08-1 업비트(Upbit)

업비트는 두나무 주식회사에서 운영 중인 가상화폐 거래소입니다. 카카오 계정만 있으면 쉽게 가입할 수 있고 UI가 편리해서 많은 사람이 사용하고 있습니다. 회원 가입 방법에 ...

wikidocs.net

1. 업비트 웹사이트 하단의 OPEN API 버튼을 눌러 API 페이지로 이동

2. 자신이 사용하고 싶은 API기능을 선택하고 발급받기

3. 실제로 돈이 움직이는 거래는 특정IP설정 필수 (추가도 가능하니 일단 등록시 IP를 추가해도 된다)

4. Access / Secret 키는 따로 잘 보관하기

아직은 키를 이용하여 접근하는 작업까진 하지 않겠지만 일단은 잘 보관해두기로 한다.

[타베로그 #5] 도쿄 소바 맛집, 왜 소바에 라유를 넣을까? (나제 소바니 라유오 이레루노카)

SenJ — Sun, 28 Nov 2021 22:01:57 +0900

이름이 참 이상한 소바 가게가 있다. "왜 소바에 라유를 넣는걸까" 라는 가게로 도쿄 전역에 위치한 소바 체인점이다. 라유는 우리말로 고추기름으로 한국에서는 볶음밥에만 주로 넣어서 먹었었는데 일본에서는 면과 함께 먹는 경우가 꽤 있는 것 같다. (지난 타베로그 아부라소바에도 라유와 스(고추기름과 식초)를 넣어서 먹도록 추천하고 있었다.) 본점은 이케부쿠로에 위치하고 있으며 나는 이케부쿠로에서 야마노테선을 타고 한 정거장 떨어진 오오츠카역에 있는 점포에 들렸다. 역에서 나오면 바로 눈에 들어오는 건물의 모퉁이에 위치하고 있어 접근성은 매우 좋았다.

가게의 이름이 신기하게도 문어체로 되어있다.

우리나라 음식으로 비교하면 아마 왜 삼겹살을 초장에 찍어먹을까 정도가 되려나. 외관도 그렇고 내부도 면요리집치고 매우 깔끔하게 되어있으며 혼자 먹기에도 부담없는 분위기다.

메뉴를 못찍어서 구글지도에서 퍼옴..

먼저 식권을 사서 주문을 하는 방식으로 츠케소바를 기본으로 그 위에 뭐를 얹어서 먹는지 고르면 된다. 츠케소바는 면을 집어 스프에 찍어먹는 형태의 음식으로 보통 국물라면이나 소바보다는 담백하게 먹을 수 있다. 나는 기본의 니쿠소바(고기소바) 250g으로 선택했다. 면의 양은 소/중/대 각각 200/250/350g이지만 양을 바꿔도 가격은 그대로다.

잠시 기다리니 엄청난 양의 소바가 나왔다. 왼쪽이 라유스프로 소바를 한젓가락씩 집어 찍어먹는다. 면이 생각 이상으로 두껍고 탱글탱글하여 씹히는 맛이 좋다. 그리고 라유를 왜넣냐고? 그냥 맛있음..

뜨끈뜨끈한 느낌의 음식은 아니기때문에 날씨가 추울때보다는 따듯하거나 더울 때 많이 생각날 맛이다.

한가지 좋은 점은 날달걀과 소바유를 마음껏 먹을 수 있다는 것이다(셀프). 스프가 좀 짜다고 느껴질 때 날달걀을 스프에 풀어서 먹으면 고소한 맛이 또 별미다. 처음에는 좀 거부감이 들어서 그냥 먹다가 반쯤 먹고나서 넣었더니 딱 좋았다. 추운날에는 소바유까지 스프에 추가하여 마시면 딱 좋을 것 같다.

전체적으로 맛있지만 250g만해도 양이 어마어마해서 배고플 때 가서 먹었음에도 넘치게 느껴졌다. 내가 여행객이라면 반드시 200g을 먹고 맛있는 디저트를 찾아서 먹을 것 같다. 특색있는 면요리를 먹고싶을 때 추천. 때때로 가서 먹고싶어지는 맛임에는 분명하다.

[SQL] RANK / DENSE_RANK /ROW_NUMBER (순위함수 그리고 최신데이터 출력 방법)

SenJ — Mon, 22 Nov 2021 10:13:40 +0900

RANK(), DENSE_RANK(), ROW_NUMBER()

각각 순위/순서를 반환하는 함수이지만 결과는 조금씩 다르다.

RANK는 동점자의 있는 경우 동일 순번을 리턴, 다음 순위는 다음 숫자를 하나를 건너뛴다. (1, 2, 2, 4, 4, 6, .. )

DENSE_RANK는 동점자의 경우에 동일한 순번을 리턴, 다음 순위는 다음 숫자부터 진행이 된다 (1, 2, 2, 3, 3, 4, .. )

ROW_NUMBER의 경우 동점자가 있는 경우에 정렬이 된 순서대로 순서를 반환한다. (1, 2, 3, 4, 5, 6, 7, ...)

아래와 같은 데이터가 있다고 가정해보자.

고객	판매금액
1	24000
2	17000
3	17000
4	14000
5	13500
6	13500
7	13000

SELECT 고객, 
       RANK() OVER (ORDER BY 판매금액 DESC) RANK_EX,
       DENSE_RANK() OVER (ORDER BY 판매금액 DESC) DENSE_RANK_EX,
       ROW_NUMBER() OVER (ORDER BY 판매금액 DESC) ROW_NUMBER_EX
FROM DUAL

쿼리의 결과는 아래와 같다

고객	판매금액	RANK_EX	DENSE_RANK_EX	ROW_NUMBER_EX
1	24000	1	1	1
2	17000	2	2	2
3	17000	2	2	3
4	14000	4	3	4
5	13500	5	4	5
6	13500	5	4	6
7	13000	7	5	7

순위를 산정할때에 RANK 또는 DENSE_RANK를 사용하면 유용하다. 그러나 업무중에서 가장 많이 사용했던 함수는 ROW_NUMBER 함수이다.

'PK값(기준값)의 시리얼 데이터 중 가장 최신인 데이터를 가져오고 싶다' 등의 경우 사용하기에 가장 좋은 문법이다.

아래와 같은 데이터가 있다고 가정하자.

고객	시리얼번호	판매금액
1	1	24000
1	2	17000
1	3	17000
2	1	14000
2	2	13500
2	3	13500
2	4	13000

SELECT *
FROM (
    SELECT 고객, 시리얼번호, 판매금액,
           ROW_NUMBER() OVER(PARTITION BY 고객 ORDER BY 시리얼번호 DESC) SEQ
    FROM DUAL
)
WHERE SEQ=1

결과값은 아래와 같다.

고객	시리얼번호	판매금액	SEQ
1	3	17000	1
2	4	13000	1

위 쿼리를 통해 기준값(고객)의 시리얼 데이터(순서를 매기고 싶은 값) 중 가장 마지막 데이터(처음이든 마지막이든..) 를 가져올 수 있다.

[SQL] SUBSTR / INSTR / CONCAT / TRIM / LPAD&RPAD / REPLACE (한 눈에 보는 문자열 함수 모음집)

SenJ — Sat, 20 Nov 2021 16:30:53 +0900

언제든지 한 눈에 볼 수 있는 문자열을 다루는 SQL 기본 함수 모음집.

1. SUBSTR(컬럼, 시작위치, 문자수) : 컬럼에서 필요한만큼 문자수를 잘라서 가져옴

SELECT SUBSTR('쿼리로 문자열 다루기' , 5, 3) FROM DUAL
> 문자열

SELECT SUBSTR('쿼리로 문자열 다루기' , 5) FROM DUAL
> 문자열 다루기

SELECT SUBSTR('쿼리로 문자열 다루기' , -3, 2) FROM DUAL
> 다루

정규표현식도 사용이 가능하다.

SELECT REGEXP_SUBSTR('문자열', '찾을내용 정규식', 시작위치, 몇번째) FROM DUAL;

예를 들어 컬럼가장 처음부터 IP주소를 찾아서 가장 먼제나오는 내용을 리턴하는 경우

SELECT REGEXP_SUBSTR(COL1, '[1-9]*[0-9]*[0-9]*\.[0-9]*[0-9]*[0-9]*\.[0-9]*[0-9]*[0-9]*\.[0-9]*[0-9]*[0-9]*', 1, 1) 
FROM DUAL;

0~9의 범위 사이에 숫자가 1개 있거나 없는 경우가 세번반복 후 . 을 찍고 동일한 패턴을 찾는다.

2. INSTR(컬럼, '찾을문자', 시작위치, 몇번째) : 시작위치에서부터 지정한 문자를 찾는다

SELECT INSTR('Unbelievable', 'e', 1) FROM DUAL;
> 4

SELECT INSTR('Unbelievable', 'e', 5) FROM DUAL;
> 7

SELECT INSTR('Unbelievable', 'E', 1) FROM DUAL;
> 0

SELECT INSTR('Unbelievable', 'E', 1, 1) FROM DUAL;
> 4

SELECT INSTR('Unbelievable', 'E', 1, 2) FROM DUAL;
> 7

SELECT INSTR('Unbelievable', 'E', 1, 3) FROM DUAL;
> 12

INSTR과 SUBSTR을 혼합하여 사용하면 필요한 문자열 출력이 가능하다.

SELECT SUBSTR(컬럼1, INSTR(컬럼1, '찾을 문자', 시작위치')) 를 통해 '컬럼1에서 찾을 문자로부터 뒷 내용 모두 출력이 가능하다.

-- SUBSTR('쿼리로 문자열 다루기', 5) 
SELECT SUBSTR('쿼리로 문자열 다루기' , INSTR('쿼리로 문자열 다루기', '문',1) ) FROM DUAL
> 문자열 다루기

3. CONCAT('컬럼1','컬럼2') : 문자열 연결

SELECT CONCAT('Unbelievable','Shot') FROM DUAL;
> UnbelievableShot

--아래와 같이도 가능
SELECT 'Unbelievable'||' '||'Shot' FROM DUAL;
> Unbelievable Shot

4. INITCAP, UPPER, LOWER : 대소문자 변환

--구분자를 기준으로 대문자 변환을 한다
SELECT INITCAP('ase zed d') FROM DUAL;
> Ase Zed D

SELECT UPPER('ase zed d') FROM DUAL;
> ASE ZED D

SELECT LOWER('ASE ZED D') FROM DUAL;
> ase zed d

5. LPAD , RPAD 문자열채우기

SELECT LPAD('Shot', 10) FROM DUAL;
> 'Shot '

SELECT LPAD('Shot', 10, '!') FROM DUAL;
> '!!!!!!Shot'

SELECT RPAD('Shot', 10, '?') FROM DUAL;
> 'Shot??????'

--한글의 경우는 2BYTE 차지하여 10->5문자로 인식 '진짜'=4BYTE, '?'*6
SELECT RPAD('진짜', 10, '?') FROM DUAL;
> '진짜??????'

6. LTRIM, RTRIM : 좌/우측에서부터 문자열 제거

SELECT LTRIM('1234567') FROM DUAL;
> '1234567'

SELECT LTRIM('1234567', ' ') FROM DUAL;
> '1234567'

SELECT LTRIM('1234567', '12') FROM DUAL;
> '34567'
--12로 시작하기 때문에TRIM 안됨
SELECT LTRIM('1234567', '34') FROM DUAL;
> '1234567'

7. REPLACE('문자열', 'Search Char', 'Replace Char') : 문자열 대체

--결과 동일
SELECT REPLACE('Unbelievable', 'Un', '') FROM DUAL;
SELECT REPLACE('Unbelievable', 'Un') FROM DUAL;
SELECT REPLACE('Unbelievable', 'Un', NULL) FROM DUAL;
> believable

8. LOB데이터 다루기 : 4000바이트 이상의 컬럼인 경우 CLOB 또는 BLOB 타입으로 저장할 수 있는데 SELECT에서 그대로 출력을 할수가 없다. 단순 SELECT를 통해서 확인을 하고 싶은경우 DBMS_LOB.SUBSTR(컬럼, 문자열길이, 시작위치) 로 가져올 수 있다.

LOB데이터 관련해서는 차후 다른 포스팅으로 다뤄볼 예정이다.

[SQL] ROLLUP/GROUPING 깔끔한 소계/합계 보고서만들기

SenJ — Fri, 19 Nov 2021 14:21:59 +0900

업무중에 재밌었던 쿼리를 하나 정리하려고 한다. 기초쿼리이긴 하지만 처음봤을 때는 뭔가 싶었던 쿼리문이다. 먼저 ROLLUP을 이해하는 것이 필요하다. ROLLUP은 함수에서 묶인 컬럼을 기준으로 소계/합계를 구할 수 있도록 도와준다.(컬럼순서중요)

SELECT COL1, COL2,
       SUM(COL3)
FROM TABLE
GROUP BY ROLLUP(COL1,COL2)

위 쿼리는 아래와 같이 합계를 출력할 것이다.

A-1 합계, A-2 합계, A 전체합계

B-1 합계, B-2 합계, B 전체합계

A,B 전체합계

COL1	COL2	SUM(COL3)
A	1	500
A	2	600
A		1100
B	1	300
B	2	200
B		500
		1600

ROLLUP함수는 GROUPING 함수와 함께 사용하여 깔끔하게 합계/소계 결과를 출력할 수 있다.

GROUPING 함수는 NULL여부만 체크하여 0과 1을 리턴,

GROUPING_ID 함수는 GROUPING_ID(COL1,COL2, ...) 의 NULL여부에 따라 0,1,2,3 ... 을 리턴한다.

(컬럼이 NULL의 경우 1, NULL이 아닌 경우는 0으로 표현하여 이진수값을 리턴, 두 개의 컬럼인 경우 00 01 11 )

SELECT COL1, COL2,
       SUM(COL3), GROUPING_ID(COL1, COL2)
FROM TABLE
GROUP BY ROLLUP(COL1,COL2)

COL1	COL2	SUM(COL3)	GROUPING_ID(COL1, COL2)
A	1	500	0
A	2	600	0
A		1100	1
B	1	300	0
B	2	200	0
B		500	1
		1600	3

DECODE 함수를 활용하면 마지막 컬럼의 값을 아래의 결과처럼 출력할 수 있다.

SELECT DECODE(GROUPING_ID(COL1, COL2), 1, 'SUBTOTAL', 3, 'TOTAL') AS "KUBUN",
       COL1, COL2,
       SUM(COL3), GROUPING_ID(COL1, COL2)
FROM TABLE
GROUP BY ROLLUP(COL1,COL2)

KUBUN	COL1	COL2	SUM(COL3)	GROUPING_ID(COL1, COL2)
	A	1	500	0
	A	2	600	0
SUBTOTAL	A		1100	1
	B	1	300	0
	B	2	200	0
SUBTOTAL	B		500	1
TOTAL			1600	3

NVL함수를 사용하여 조금 더 깔끔하게 출력형식을 만들 수 있다.

SELECT NVL(DECODE(GROUPING_ID(COL1, COL2), 0, COL1, 1, 'SUBTOTAL', 3, 'TOTAL'), COL1) AS "KUBUN",
       COL2,
       SUM(COL3)
FROM TABLE
GROUP BY ROLLUP(COL1,COL2)

KUBUN	COL2	SUM(COL3)
A	1	500
A	2	600
SUBTOTAL		1100
B	1	300
B	2	200
SUBTOTAL		500
TOTAL		1600

쿼리 정리 끝

[기초통계학] 확률 / 조건부 확률

SenJ — Fri, 19 Nov 2021 10:42:39 +0900

확률이란 어떤 일이 일어날 가능성의 정도를 수치로 나타낸 것을 의미한다.

확률은 표본을 바탕으로 모집단에 대한 결론을 이끌어내는 데 논리적인 근거가 된다.

실험이란 두 가지로 나눌 수 있다.

1) 결정적 시험: 실험 조건이 똑같으면 항상 같은 결과가 나오는 실험

2) 확률적 실험: 실험 조건을 똑같이 하여도 매번 결과가 달라지는 실험 -> 여기서 얻어지는 각 결과들에 대한 가능성을 확률을 통해 설명

확률에서 중요 용어

-표본공간(S): 확률실험에 의하여 나타날 수 있는 모든 결과들의 집합, 개개의 결과들을 표본 공간의 기본 결과 또는 원소라고 한다.

ex) 주사위를 던져셔 나올 수 있는 수의 표본공간 S={1,2,3,4,5,6}

-사건: 특정한 성질을 지닌 기본결과들로 이루어진 모임으로 서 표본공간의 부분집합에 해당된다

ex)사건 A는 주사위를 던져서 나오는 수가 짝수, A={2,4,6}

-상호배반: 서로 다른 사건 A, B의 교사건이 A∩B=0 인 경우 두 사건 A와 B는 상호배반인 사건이라고 한다.

ex) 사건 B는 주사위를 던져서 나오는 수가 홀수, 이 때 사건 A와 B는 상호배반

확률의 정의

1) 고전적 정의: 표본공간에 속하는 모든 기본결과들의 발생 가능성이 동일한 경우 사건 A가 발생할 확률 P(A)

P(A)=사건 A에 속하는 기본결과들의 수 / 표본공간 S에 속하는 기본결과들의 수

ex) P(A) = 3/6 = 1/2

- 균일하지 않은 표본공간, 원소의 개수가 무한한 표본공간에서는 확률을 고전적 정의로 정의할 수 없다.

2) 경험적 확률: 윷놀이와 같이 기본결과들의 발생 가능성이 동일하지 않은 경우 실험을 직접 여러번 반복해서 실행한 후, 그 중에 그 사건이 발생하는 횟수를 관측한다.

N을 실험을 시행한 횟수라고 하고, N(A)는 N번의 시행에서 사건 A가 일어난 횟수라고 하면 P(A)= N(A)/N

이는 N이 증가함에 따라 처음에는 들쑥날쑥하게 변하지만, N이 증가하면 점점 안정되어 어떤 값에 수렴하게 된다.

-그러나 동일한 극한값으로 수렴할 수 있는지에 대한 의문을 증명할 수는 없다.

3) 공리적 확률:P(A)는 다음 세 가지 공리를 만족하는 실수 값이다.

1. 0<P(A)<1

2.표본공간 S의 확률 P(S) =1

3.상호배반 사건들의 합은 그들 확률의 합과 동일하다.

조건부 확률이란 관련된 다른 사건이 이미 발생했다는 정보가 주어지면 기존 사건의 발생확률을 재조정해야하는 경우를 의미한다.

사건 B가 주어졌을 때, 사건 A가 일어날 확률은 다음과 같이 정의한다.

조건을 분모로 두고 조건과 구하고자하는 사건의 확률의 교집합을 분모로하여 계산한다.

이때 조건부확률을 쉽게 구할 수 있고, A와 B의 교집합이 궁금할 때는 확률의 곱셈법칙을 이용하여 쉽게 계산할 수 있다.

, P(B)>0

B를 조건으로 사건 A가 일어날 확률뿐 아니라, A를 조건으로 사건 B가 일어날 확률을 활용한다면 A의 확률로도 접근할 수 있다.

, P(A)>0

조건부 확률에 반하는 독립 사건도 존재한다.

독립사건이란 사건 A의 발생이 사건 B가 일어날 확률에 아무런 영향을 미치지 않을 때, 두 사건을 서로 독립이라고 한다.

다시 말해서 사건 A가 일어났을 때에도, 사건 B의 확률은 변화가 없다는 것을 의미한다.

위 공식을 조건부확률 공식과 함께 활용하면, 사건 A와 B가 독립일 때는

이 성립한다.

조건부확률을 반대로 적용하여 B가 주어질 때 A의 확률을 활용하여 다음과 같이 A가 주어질 때 B의 확률로 정리할 수 있다.

마지막으로 총확률의 법칙은 사건 A가 발생할 확률을 상호배반인 두 개의 사건인 B와 B의 여집합의 부분으로 구별하여 각각의 확률을 구한 뒤 더해서 총 확률을 구하는 것이다.

예를 들어, 우리나라 사람 인구의 1%가 병에 걸린 경우, 병에 걸린사람을 정확히 진단할 확률 98%, 병에 걸리지 않은 사람을 정확히 진단할 확률이 70%라고 가정했을 때, 인구 중 한명을 검사했을 때 병에 걸렸다고 진단할 확률은

으로 나누어서 계산할 수 있다.

이를 일반화 하면

사건 B1, B2...Bn이 상호 배반이고 모두 더했을 때 표본공간 S로 나타낼 수 있을 때,

로 계산할 수 있다.

이 식을 활용했을 때 베이즈의 법칙을 적용할 수 있다.

위 예에서 병에 걸렸다고 진단한 사람이 실제로 병에 걸린 인구인 확률은

위 식에서 계산된 확률을 분모로 두고, 병에 걸린 인구 x 병 걸린 인구를 정확히 진단할 확률을 분자로 계산하면 된다.

[타베로그 #4] 도쿄 함박 스테이크 맛집, Grill K

SenJ — Thu, 18 Nov 2021 16:56:31 +0900

일본의 함바그 가게들은 각자만의 특색이 있어 재미있다. 그럼에도 함바그의 기본은 역시 촉촉함에 있지 않나 생각한다. 이러한 기준을 두고 봤을 때 Grill K는 기본에도 충실한, 그리고 기호에 따라 다양한 맛을 즐길 수 있는 맛있는 함바그 가게다. 동글동글한 함바그와 다르게 무심하게 반죽을 익힌듯한 모양이다. 함바그와 함께 한가지 소스를 고를 수 있는데 데미그라스, 그리고 마늘간장은 역시 잘 어우러졌다. 살짝 짭쪼름하다 싶을때 같이 나오는 야채를 한입먹으니 한끼가 순식간이었다. 가격은 퀸사이즈(260g)가 1800엔정도 이며 이 정도는 먹어야 잘 먹었다는 느낌이 들 정도의 양이다. 그리고 여름에 방문했을 때는 함바그 이전에 냉스프를 주는데 이게 또 별미다. 식사의 전체적인 발란스가 좋아서 한끼 뚝딱할 수 있는 곳.

자리는 10자리도 안되는 카운터석에 꽤 인기가 많은 곳이기 때문에 식사시간대에는 항상 대기를 할 생각으로 가야한다. 스가모 라면집과 마찬가지로 주변에 특별한 관광지라고 할 곳은 리쿠기엔 정도다. 따라서 여행일정에 넣고싶은 분들은 숙소로 돌아가는 길에 들려서 먹는 것을 추천한다. 그리고 도쿄거주하는 사람들은 꼭 한번 가보면 좋을만한 맛집이다.

[SQL] 서브쿼리

SenJ — Thu, 18 Nov 2021 16:48:05 +0900

서브쿼리란 하나의 SQL 문장 내부에 존재하는 또 다른 SELECT문장을 의미한다. 서브쿼리의 위치에 따라 명칭을 달리한다.

SELECT COL1,
       COL2,
       (SELECT SCALA_COL FROM SUB_TABLE) //스칼라 서브 쿼리
FROM TABLE1 A,
      (SELECT INLINE_COL FROM TABLE2) B //인라인 뷰
WHERE A.COL1=B.INLINE_COL
AND A.COL2 IN (SELECT SUB_COL FROM TABLE3) //서브쿼리

각 서브쿼리의 특징을 간략히 정리하면 아래와 같다.

스칼라서브쿼리 : SELECT절에서 사용, 단일 행 반환

인라인뷰 : FROM 절에서 사용, SQL문 실행시 생성 종료시 사라짐 ( VIEW와는 조금 다름 ), 여러 테이블에 존재하는 컬럼을 하나로 모아서 사용가능

서브쿼리 : WHERE 절에서 사용, 다중 행/열 반환 가능, 조건절에서 = , > , < , IN , NOT IT , ANY(반환값 중 한가지 값보다 크거나 작음) , ALL (반환값의 전체보다 크거나 작음 ), 다중컬럼을 반환하는 경우 비교하는 컬럼도 같은 갯수의 컬럼으로 비교해야함.

상호연관 서브쿼리(Correlated subquery)

메인쿼리 데이터와 연관성이 존재하는 서브쿼리, 메인쿼리의 테이블의 컬럼을 사용하여 서브쿼리의 조건으로 사용

SELECT ENAME, DEPTNO, SAL
FROM EMP E1
WHERE SAL > (SELECT AVG(SAL) FROM EMP E2 WHERE E1.DEPTNO=E2.DEPTNO)

서브쿼리는 쿼리성능에 상당부분 영향을 끼치기 때문에 사용에 유의할 필요가 있다.

[기초통계학] 중심측도, 변이측도 (표본 / 분산 / 편차 )

SenJ — Thu, 18 Nov 2021 16:40:26 +0900

시각화에서 파악된 특징을 특징을 수치로 나타내는 것도 필요하다.

자료의 중심측도는 자료의 중심위치를 나타내는 값이다. 반대로 자료의 변이측도는 자료의 흩어짐을 나타내는 값이다.

1. 중심측도

1) 표본평균 : 측정값을 모두 더하여 자료의 개수로 나누어 얻는다. 평균은 자료의 무게중심을 의미한다.

2)표본 중앙값: 자료를 크기 순서로 정리했을 때 가운데 위치하는 관측값이다. 이는 극단값으로 인한 영향이 없다는 특징이 있다.

자료의 개수가 홀수인 경우 중앙 값이 한 개인 반면, 짝수인 경우에는 두 개가 된다. 이 때는 이들의 평균이 된다.

ex) 1 2 3 4 5 6 --> 중앙값은 3.5

3)최빈값: 자료들 중에서 가장 출현 빈도가 많은 값

그래프에서 오른쪽으로 꼬리가 긴 경우 최빈값 < 중앙값< 평균 으로 나타나며

반대로 왼쪽으로 꼬리가 긴 경우 최빈값>중앙값>평균 의 값을 보인다.

4)표본의 제 p백분위수: 표본을 크기 순서로 나열했을 때 자료 갯수의 p%가 그 값보다 작고, (100-p)%가 그 값보다 크게 도는 값이다.

로 계산하며 결과 값이

정수인 경우

, 소수인 경우

로 최종 값을 계산한다.

5)표본의 사분위수: 표본의 1사분위수는 표본의 제 25백분위수, 2사분위수는 제 50백분위수, 3사분위수는 75백분위수를 뜻한다.

2. 변이측도: 두 자료의 중심측도가 같더라도 흩어짐의 정도는 다를 수 있다.

1) 분산: 모든 표본자료에서 평균을 뺀 값의 제곱의 총합을 1/n-1 로 나눈 값을 뜻한다.

2) 표준편차: 표준편차는 분산의 양의 제곱근을 뜻한다. 분산에 루트를 씌워준 값이다.

- 자료의 경험적 규칙: 자료가 충분히 많을 때는 근사적으로

자료의 68%가 (평균-표준편차, 평균+표준편차) 안에 있다.

자료의 95%가 (평균-2*표준편차, 평균+2*표준편차) 안에 있다.

자료의 99%가 (평균-3*표준편차, 평균+3*표준편차) 안에 있다.

3) 표본범위: 최댓값 - 최솟값

4) 표본사분위수: 표본의 3사분위수 - 1사분위수

변이측도는 상자그림(box plot) 을 통해 직관적으로 판단할 수 있다.

이상점 파악은 대략 울타리로 파악할 수 있다

-안울타리: 1사분위-1.5*표본사분위수범위 or 1사분위+1.5*표본사분위수범위

-바깥울타리: 1사분위-3*표본사분위수범위 or 1사분위+3*표본사분위수범위

로 가정했을 때 보통이상점은 안울타리와 바깥울타리 사이, 극단이상점은 바깥울타리 밖의 자료라고 할 수 있다.

마지막으로 이변량 자료의 개념을 정리하면

주어진 표본단위에 대해 두 가지 특징값을 기록하여 얻은 자료를 뜻하며, 이 두 가지 특성값의 관계 정도가 중요하다.

이는 두 특성값을 양 축으로 산점도를 그려보면 직관적으로 파악할 수 있다.

점들의 모양은 다양하게 나타나는데 이러한 점들이 직선에 밀집한 정도를 수치로 나타낸 것이 표본상관계수라고 한다.

표본상관계수 r은 -1과 1 사이에 다양하게 나타나며, r의 절댓값은 선형관계의 강도를 나타내고, 부호는 방향을 나타낸다.

또한 r=0 인 경우는 상관성이 없고 r=1 또는 r=-1인 경우 완전 선형을 이룬다.

주의 해야할 점은

표본 상관계수가 1에 가까운 값이더라도 두 변수 사이에 강한 관계가 있다고 말할 수 없는 경우도 있다.

(다른 집단에서 뽑아낸 표본을 같이 검사하는 오류)

또한 표본 상관계수가 높다고 하더라도 두 변수 사이에 인과관계가 있는 것으로 해석해서는 안된다.

변수사이에 잠복성 변수가 영향을 끼칠 수 있기 때문에 원인과 결과관계가 맞는지 파악을 잘 해야한다.

***상관관계는 인과관계를 뜻하지 않는다.

[일본생활 #1] 통신사 개통하기, 라인모바일 사용하기

SenJ — Mon, 15 Nov 2021 19:23:56 +0900

2019.08.28 일본에 처음 도착했을 때 쓴 글입니다.

요약.
1. 라인모바일 개통시 재류카드/주민표/신용카드/연락가능한 전화번호 필수
2.유심을 넣고나서는 APN설정해야 네트워크 사용가능
3.이벤트로 받은 폰은 고대로 중고시장에 팔면 최소 1만엔은 받을 수 있다.
4.빅카메라 직접가서 통신사 비교하면서 프로모션 받는게 이득

김포공항에서 프리페이드 유심을 살 수 있을거라 생각하고, 미리 인터넷을 통해 주문을 해두지 않았다. 그런데 웬일 김포공항 서점에서 유심을 팔지 않는다고 하여 비상이 걸렸다. 임시거처에서는 유선 인터넷만 가능하여 며칠동안 스마트폰은 알람의 기능만을 하게 되었다. 그나마 다행히도 이튿 날 회사에서 주말까지 사용할 수 있는 와이파이 에그를 빌려줘서 길은 찾아다닐 수 있게 되었다.

아무튼 첫 주말을 맞아 나의 미션은 통신사를 개통하는 일이었다. 인터넷으로 어떤 통신사를 하면 좋을지 이리저리 찾아보면서 빅심, 이온, 라인모바일 중 하나를 찾아서 하기로 결정하고 지금 거처와 가장 가까이에 위치한 빅카메라를 방문했다. 빅카메라, 요도바시카메라는 어느 매장을 방문해도 한쪽 구석에 여러 통신사들이 모여있다.

뭘 하면 좋을까 기웃기웃거리면 어느새 옆에 직원이 와서 도움을 준다. 나도 마찬가리조 말을 걸어오는 직원을 따라가 자리에 앉았다. 어떤 통신사를 하고 싶냐고 묻기에 가장 하고 싶었던 빅심과 라인 모바일을 얘기했더니 적극적으로 라인 모바일을 추천해왔다. (알고 보니 라인 모바일을 전담으로 하는 직원이었다)

메인통신사가 아니기에 요금제 자체는 다른 통신사와 큰 차이가 없었다. 그런데 방문한 당일 가입비 1엔+스마트폰 증정 이벤트가 있어서 라인 모바일로 결정한다. 받는 스마트폰은 당연히 최신 기종에 비해서는 성능이 부족하지만, 게임이나 고성능을 요하는 어플리케이션을 사용하지 않는다면 충분히 쓸만한 모델이었다. 나는 이 때 받은 스마트폰에 한국유심을 넣고 사용하고 있지만 바로 중고로 파는 경우 2만엔 정도에 받을 수 있다고 한다.

oppo 15

라인모바일의 장점은 계약서를 한국어로 설정하고 읽을 수 있다는 것이었다. (다른곳도 가능할수도) 아무래도 일본어로 계약에 관련한 얘기를 하는게 쉽지 않았는데 한국어지원을 해주니 제대로 계약서를 확인할 수 있는 점이 좋았다.

간혹가다 인터넷에 보면 계약을 하고 폰에 유심을 넣어봤는데 되지 않아서 해약하려니 위약금을 내야했다 뭐 이런 글을 읽을 수 있었는데, 이제는 계약 후 8일내로 해지를 하면 위약금 없이 해지를 할 수 있다고 한다. 개통 후에는 반드시 네트워크 설정을 해주어야하는데 안드로이드의 경우

설정→연결→모바일네트워크→액세스포인트→추가 를 통해 아래 내용을 추가해주고 선택하면 된다.

이름 : lineモバイル
APN : line.me
사용자이름 : line@line
패스워드 : line
인증방식 : PAP 또는 CHAP

아이폰의 경우는 아래 설정파일을 설치하기만 하면 된다고 한다.
https://mobile.line.me/apn/line.mobileconfig

요금제는 월3천엔으로 라인/페이스북/인스타/트위터 데이터를 무료로 사용할 수 있는 요금제였고 덕분에 원없이 페이스북 덕질을 걱정없이 할 수 있게 되었다. 서버가 일본에도 있어서 그런지 라인통화가 카카오톡 보이스톡보다 음질이 더 좋게 느껴진다.

개통을 하기 위해서 지참해야 할 것은 재류카드, 주민표, VISA또는 Mastercard신용카드(아니면 체크카드)였다. 추가적으로 필요한 정보로는 현재 거주지 및 연락 가능한 전화번호이다. 하나라도 없으면 계약을 할 수 없으니 참고.

그리고 카카오뱅크 마스터카드는 카드 승인이 되지 않아서 개통이 불가했다. 검색을 하다보면 인터넷으로 유심을 주문해서 웹에서 개통을 하는 방법도 있지만 직접 빅카메라나 요도바시카메라를 방문해보면 행사기간인 경우 여러 혜택을 받을 수 있고 다른 통신사와 비교도 한눈에 가능하기 때문에 직접 방문하는 것을 추천한다.

[타베로그 #3] 도쿄 라면/소바맛집, 아부라소바

SenJ — Mon, 15 Nov 2021 16:07:19 +0900

아부라소바. 국물이 없고 기름소스에 비벼먹는 면이다.

아부라소바는 분명 한국에는 없는 맛이다. 타베로그를 쓰기 위해서 최근에 다시 방문하여 무슨맛인지 곱씹어봤지만 설명하기 쉽지 않다. 밀가루면의 꾸덕함과 카라미소가 섞여 달짝매콤한 맛 추가, 그 위에 온센타마고의 노른자가 섞여 담백함 추가, 라유(고추기름) 및 식초를 두르면 완성. 비슷한 한국음식이 생각나질 않지만 맛있다. 매일 먹기엔 아쉽지만 한번 먹고나면 가끔씩 떠오르는 맛이다.

식권을 먼저 사는 시스템인데 카라미소오오모리 + 토핑B세트 추가로 1200엔에 먹을 수 있다. 한국인이라면 무조건 카라미소를 추천하고 오오모리, 더블로 해도 가격은 동일하기 때문에 면은 양껏 선택해도 된다. 면에 따라서 자리앞에 놓여있는 라유와 식초를 2, 3, 4바퀴씩 두르는 것을 추천하고 있다.

도쿄전역에 있는 프랜차이즈로 내가 가본 곳은 이케부쿠로역과 신바시역 에 있는 점포였다. 이외에도 신주쿠 시부야 등에도 점포가 있다. 구글맵에서 '아부라소바' 라고 검색하면 가까운 가게를 찾을 수 있다. 일본여행왔을때 일본라면..! 이라고하면 생각나는 프랜차이즈로 이치란라멘이 있지만 맛있는 국물라면은 어디서나 먹을 수 있으니 프랜차이즈 라면집을 가고싶다고 한다면 아부라소바를 추천한다.

[타베로그 #2] 도쿄 라면 맛집, 멘야 이마무라

SenJ — Sat, 13 Nov 2021 13:00:39 +0900

최근에 별 기대없이 방문해서 깜짝 놀랐던 라면집을 소개하려 한다. 가장 먼저 맛부터 평가하자면 일본에서 먹은 라면 중 넘버원으로 소개해도 무방한 맛이다. 일본라면 특유의 진한 돈코츠맛과는 조금 다르지만 깔끔하고 곰탕국물 같은 느낌에 위에 얹어서 나오는 닭고기 차슈까지 완벽하다. 처음 먹고 너무 맛있어서 바로 그 주말에 두번째 방문을 했다. 기본적으로 쇼유(900엔)/ 시오(800엔) 라면이 있는데 쇼유가 시오보다는 진한 맛으로 살짝 추어탕의 맛이 가미된 느낌? 둘 다 깔끔한 맛이다. 닭고기 차슈는 기본적으로 세 장이 함께 나온다. 옆에 유자에 절인 생강과 기름에 묻힌 버섯을 자그맣게 내주는데 라면으로 입안이 살짝 텁텁해진 때에 조금씩 먹으면 너무나도 조화롭다. 타마고는 따로 주문을 해야하는데 한 개 추가하는 것을 추천.

가게 분위기도 여타 라면집과는 다르게 인테리어가 매우 세련되고 청결해서 만족스럽다. 앞으로 타베로그를 올리다보면 여러가지 나만의 기준이 보이겠지만 나는 가게 분위기를 매우 중요하게 생각하는 편이라 이렇게 깔끔한집은 +10점은 깔고 들어간다. 위치는 JR스가모역 도보 2분으로 이케부쿠로에서도 가깝고 스가모 역에서 내리면 바로 앞에 있기 때문에 접근성은 나쁘지 않다. 주변에 눈에 띄는 관광지가 없긴하지만 먹고 나와서 가까운 거리에 있는 리쿠기엔에서 산책으로 소화시킨다면 최고일 것이다. 입장료는 3백엔이지만 도쿄의 도심속에 이렇게 넓고 나지막한 곳을 즐길 수 있는 곳은 거의 드물다.

리쿠기엔

[기초통계학] 자료의 요약 방법

SenJ — Fri, 12 Nov 2021 16:34:19 +0900

수집된 자료로부터 새로운 사실이 있는지 첫 번째 단계는 자료를 요약하고 정리하는 것이다.

자료의 종류는 아래와 같이 나눌 수 있다.

범주형 자료: 대상의 범주적 특성을 조사한 값이다. 관측 결과가 몇 개의 범주 또는 항목의 형태로 나타난다.

1) 명목자료: 순위의 개념이 없는 범주형 자료이다. 혈액형이나 성별, 결혼 상태 등이 이에 해당한다.

2) 순서자료: 순위의 개념을 갖는 범주형 자료이다. 학점, 선호도 등이 이에 해당한다.

수치형 자료: 자료 자체가 숫자로 표현되며 숫자 자체가 자료의 속성을 반영한다.

1) 연속형 자료: 연속적인 숫자로 표현되는 자료로 키, 몸무게, 거리 등이 이에 해당한다.

2) 이산형 자료: 이산적인 값으로 표현되는 자료로 교통사고 건수, 결석 횟수 등이 이에 해당한다.

자료의 형태에 따라 표현방법이 다르다.

1.범주형 자료

-도수분포표: 서로 다른 특성값에 대한 도수나 상대도수를 구하여 특성값과 함께 나열한 표

상대도수는 해당 범주의 도수와 총자료수의 비를 나타낸다.(해당 범주의 도수/총 자료 수)

-막대그래프: 수평 축에 서로 다른 특성값을 배열하고, 막대 노이가 상대도수나 도수에 비례하도록 막대를 그린 그래프

-원형그래프: 부채꼴의 중심각의 크기나 넓이가 상대도수에 비례하도록 그린 그래프

2. 수치형자료

1) 이산형 자료: 범주형과 마찬가지로 도수분포표를 그린다. 이 도수분포표를 바탕으로 직선그림이나 히스토그램을 그린다.

직선 그림은 각 값에 대한 직선의 길이로, 히스토그램에서는 사각기둥의 넓이로 상대도수를 나타낸다.

따라서 직선길이에서 직선의 길이의 합과, 히스토그램에서 사각기둥 넓이의 합은 1이 되도록 그린다.

2)연속형 자료: 전체 표본자료의 범위를 몇 개의 적당한 계급으로 나누고 각 계급의 도수나 상대도수를 구하여 계급과 함께 나열한다.

예시: 범위 구하기(최댓값-최솟값) --> 계급의 개수를 정하여 나누고 자료값의 최소단위로 맞추기 --> 구간도수와 상대도수 구하기

**첫 계급의 시작점은 최솟값에서 자료값의 최소단위의 1/2를 빼서 중복되거나 빠지는 자료가 없도록 설정한다.

정리된 자료는 도수분포표, 히스토그램, 점도표 등으로 나타낼 수 있다.

계급을 나누어 히스토그램으로 표현하면 같은 계급안의 모든 자료들이 하나의 계급으로 표현되기 때문에 자료의 손실이 있을 수 있다.

예를 들어, 위 도수분포표에서는 58과 64는 하나의 계급으로 표현되기 때문에 6의 차이를 나타낼 수 없다.

따라서 또 다른 표현 방법은 줄기 잎 그림으로, 자료의 값이 두 자리 수의 값일 때 유용하다.

줄기 잎 그림은 자료의 손실이 거의 없이 모든 자료를 볼 수있다는 장점이 있다.

또한 자료 형태 파악이 쉽고, 이상점 자료에 대한 정보를 얻기 쉽다.

[기초통계학] 기본개념

SenJ — Thu, 11 Nov 2021 17:15:44 +0900

통계학이란 주어진 문제에 대하여 합리적인 답을 줄 수 있도록 자료를 수집하고 정리하며,

이를 통계적 분석이론 및 방법을 통해 신뢰성 있는 결론을 이끌어 내는 방법을 연구하는 과학의 한 분야이다.

따라서 주요 이슈는 다음과 같다.

1) 자료를 수집하는 방법

2) 자료를 분석하는 방법

3) 내린 결론에 대한 객관성을 보장하는 방법

통계학은 조사하고자하는 전체를 관측할 수 없기 때문에 생긴 학문이라고 할 수 있다.

여론조사, 경제, 경영, 의학, 공학 등 분야를 막론하고 통계학은 일상생활에서부터 과학적 연구까지 폭 넓게 사용된다.

신뢰도가 높은 결과를 도출 또는 예측하기 위한 도구로써 통계학이 활용되기 때문에 올바른 자료를 얻는 것이 매우 중요하다.

이러한 자료는 실험을 통해서 얻거나, 조사를 통해 얻을 수 있기 때문에, 실험계획법과 표본추출법은 통계학의 매우 중요한 분야이다.

자료가 얻어지고 나면 이들 자료로부터 정보를 추출하고 판정을 하는 일을 하게 된다.

이 때 자료의 특성과 통계량을 표, 또는 막대그림과 같은 그림을 그려 자료의 특징을 쉽게 파악할 수 있도록 정리 요약하는 기술평가의 단계를 기술통계학으로 부른다. 자료를 어떻게 정리하고 표현하는가에 대한 부분은 통계학에서 빼놓을 수 없이 중요한 부분이지만 통계학의 일부라고 할 수 있다. 이러한 기술통계학은 통계학의 기초를 배우고 시각화에 대한 노하우가 생긴다면 어렵지 않게 할 수 있다.

위 기술통계 단계를 거친 정보들은 확률을 바탕으로 객관화 과정을 객관화과정을 지나친다. 어러한 정보를 통하여 모집단의 특성을 추론하는 분야를 추정통계라고 하고 이 부분이 통계학의 핵심이며 목적이라고 할 수 있다.

이제 통계학의 핵심용어를 살펴보자.

모집단은 관심의 대상이 되는 모든 추출단위의 특성값을 모아 놓은 것이다.

예를 들어, 우리나라 성인 남자들의 커피소비량에 대해서 조사를 하고 싶을 때 모집단은 우리나라 모든 성인 남성이 대상이 된다.

모집단을 모두 조사하면 완벽한 자료를 얻을 수는 있지만 이는 불가능하거나 비현실적인 경우가 대부분이다.

모집단은 크게 유한모집단과 무한모집단으로 나눌 수 있다.

단어 그대로 유한개의 표본단위로 구성된 모집단과, 무한개로 구성된 모집단을 구분한 것이다.

이렇게 구분 짓는 이유는 표본을 추출했을 때 어떤 특성을 보이느냐 차이가 있기 때문이다.

고등학교 수학시간 때 한번 쯤 들어봤을 법한 복원추출과 비복원추출의 특성으로 나뉜다.

유한 모집단은 당연히 비복원추출, 무한 모집단은 복원추출의 특성을 보일 것이다.

그러나 매우 큰 수의 유한모집단의 경우에는 복원추출과 비슷한 특성값을 나타낼 것이다.

우리나라 성인 남성의 평균키에 대해서 조사하는 것은 국방부에 문의하면 되기 때문에 예외가 있을 수 있지만, 대부분의 경우는 어렵다. 이러한 경우에 모집단의 일부분을 조사하여 얻은 자료를 분석해 사실에 대해 추측하게 된다.

이 때 조사한 모집단의 일부분을 표본이라고 하며, 표본은 표본단위로 구성되어 있다.

다시말해, 표본단위는 조사나 실험에서 자료를 얻기 위한 측정의 대상, 개체의 단위를 뜻한다.

당연하게도 우리가 통계를 사용하며 궁금한 것은 모집단에 있지만, 가지고 있는 자료는 표본에 있을 것이다.

따라서 모집단을 잘 반영할 수 있도록 표본추출을 하는 것이 필요하다.

결국 다시말해 통계학의 목적은

표본의 정보를 분석하여 모집단에 대한 결론을 내리고, 객관적인 결론을 내릴 수 있는 표본추출 방법을 제시하는 것이다.

[쉘 프로그래밍] 초기화 파일 ( profile / bash_profile / bashrc / bash_logout)

SenJ — Thu, 11 Nov 2021 11:30:31 +0900

리눅스 작업을 시작하기에 앞서 환경변수 등을 세팅하는 파일에 대해 정리한다. 리눅스에서 조작이 마음처럼 안된다? 설정을 바꾸고 싶다? 라고 하면 가장 먼저 확인해야할 내용이다.

적용범위
System_wide	시스템 관리자가 관리하는 파일. bash쉘 사용자 전체에게 영향 /etc/profile /etc/bashrc
User Configuration	시스템 사용자가 관리하는 파일. 사용자에 한정되어 영향 $HOME/.bash_profile $HOME/.bashrc $HOME/.bash_logout

1) /etc/profile

사용자가 쉘에 로그인하면 가장 먼저 읽어들이고 실행하는 파일. PATH, USER, LOGNAME, MAIL, HOSTNAME, HISTSIZE, INPUTRC 등 시스템 전역 쉘 변수들을 초기화한다. /etc/profile.d 디렉토리를 읽어들임

2) /etc/bashrc

쉘 함수와 앨리아스를 위한 시스템 전역변수 정의. 환경변수의 경우 하위 프로세스에 상속이 되지만 alias의 경우 상속이 되지 않기 때문에 해당 파일에 정의해놓음. 쉘 프로세스가 열릴때 자동으로 다시 파일을 읽는다.

3) $HOME/.bash_profile

사용자 개인의 환경설정 파일

4) $HOME/.bashrc

사용자 개인의 alias 및 변수설정 파일

5) $HOME/.bash_logout

사용자가 로그아웃 시 배시쉘에 의해 읽어지고 실행되는 파일

[SQL] MERGE문, INSERT와 UPDATE를 동시에 진행하기

SenJ — Wed, 10 Nov 2021 19:00:42 +0900

업무상 배치파일을 작성하다보면 마주치는 다양한 쿼리문들 중 정말 유용하다고 생각하는 MERGE문을 정리한다. MERGE문은 조건에 맞추어 UPDATE 및 INSERT로 분기하여 데이터를 처리하는 구문으로, 프로그램상 굳이 데이터유무를 체크하지 않고 데이터를 UPDATE/INSERT할 수 있다. 학창시절에 데이터베이스 설계/작성까진 접해봤지만 운영을 해본 경험은 없기에 업무를 하며 처음 접해본 DML 문법이었다.

MERGE INTO {OBJTBL} A
USING
(
    SELECT COL1_PK,
           COL2_PK,
           COL3,
           COL4,
           COL5,
    FROM {WKTBL}
    WHERE COL1_PK=:P1
      AND COL2_PK=:P2
) B
ON
(
    A1.COL1 = B.COL1_PK
    AND A1.COL2 = B.COL2_PK
)
WHEN MATCHED THEN 
UPDATE SET
    A.COL3=B.COL3,
    A.COL4=B.COL4,
    A.COL5=B.COL5
WHERE A1.COL1 = B.COL1_PK
  AND A1.COL2 = B.COL2_PK  
WHEN NOT MATCHED THEN
INSERT VALUES
(
    B.COL1_PK,
    B.COL2_PK,
    B.COL3,
    B.COL4,
    B.COL5
);
COMMIT;

{OBJTBL} : 목적테이블

USING ( ) : MERGE를 진행하고 싶은 데이터를 조회한다.

ON ( ) : 데이터 유무를 체크하기 위한 기준 컬럼을 잡는다 ( 일반적으로 목적테이블의 PK값이 들어가게 됨 )

WHEN MATCHED THEN UPDATE SET : 일치하는 경우 UPDATE ( DELETE 를 사용할수도 있음 )

WHEN NOT MATCHED THEN INSERT VALUES : 일치하지 않는 경우 INSERT

추가적으로

WHEN MATCHED AND 조건 THEN 으로 추가 조건을 사용할 수도 있다.

[타베로그 #1] 도쿄/카와사키 돈카츠 최강 맛집, 돈카츠 로쿠

SenJ — Wed, 10 Nov 2021 17:00:04 +0900

도쿄에서 생활하며 먹어본 돈카츠 중 가장 맛집을 제일 먼저 소개하려고 한다. 카와사키역에서 10분정도 거리에 위치한

'とんかつ六' (돈카츠 로쿠) 라는 곳이다. 현재 살고 있는 곳과 정말 가까운 위치에 있었기에 일본에 온지 얼마 안되었을 때부터 방문했던 곳이다. 가격은 상급로스카츠(上ロース) 1600엔으로 무슨 돈카츠에 1600엔을 태우나 할 수 있지만 먹어보면 한국의 돈까스랑은 차원이 다르다. 돈카츠의 두께는 어마어마하지만 느끼함이 거의 안 느껴지고 튀김가루도 적당하여 텁텁한 느낌도 없다. 그리고 같이 나오는 유자드레싱의 샐러드가 정말 달콤상큼해서 유자드레싱만 더 먹고 싶어지는데 추가요금이 붙는다(..) 밥의 양은 어마어마하게 많은 편이다.

한 가지 독특한 점으로는 돈카츠를 소금에 찍어먹을 수 있도록 나가사키산, 안데스산, 프랑스산 소금이 준비되어있다. 여지껏 살면서 돈카츠를 돈까스 소스에나 찍어먹었지 다르게 먹을 생각은 못해봤는데, 소금에 찍어먹는 것이 돈카츠를 즐기는 방법이구나 깨달았다. 기름진 음식을 많이 잘 못먹으시는 어머니를 모시고도 한번 가봤는데 가끔 전화통화를 할때 여기 또 가서 소금에 돈카츠 찍어먹고싶다고 이야기 하실 정도다. 개인적인 취향으로는 안데스산과 나가사키산이 맛있었다. 그리고 진짜 이 가게의 매력은 돈을 낸 만큼 서비스도 좋고 가게도 깔끔하며 사람이 붐비는 그런곳이 아니라는 점.

나가사키 / 안데스 / 프랑스

한번 먹어보면 이게 본토의 돈카츠구나 느낄 수 있다. 도쿄 여행을 처음인 사람이 들리기에는 아쉬운 위치에 있으나 도쿄에 살고 있거나 N번차 여행이라면 시간을 내서 들리는 것을 추천한다.

Code Gray

[일본 취업][IT 일본어] 함수를 호출하다

1. 함수관련 용어

2. 関数を呼び出す（よびだす）

[일본 취업][IT 일본어] 배치작업 관련 표현.

1. 배치작업

2. 배치작업에서 에러발생시

3. JP1

4. 情シス

[일본 취업][IT 일본어] 데이터를 읽어들이다

1.データを取り込む（データをとりこむ）

2.データを読み込む（データをよみこむ）

3.データを放り込む（データをほうりこむ）

4.データを取得する （データをしゅとくする）

5.データをロードする

[일본생활] NBA Japan game! 커리 만나고 왔습니다 (영상추가)

[일본생활 #3] 일본에서 이사하기(2) 업계전용 사이트 알려주는 앱

[일본생활 #4] 라쿠텐 모바일 2년 사용후기

[파이참Pycharm 사용법] 패키지 인스톨하는 간단한 방법

[넷플릭스 뭐보지] 러브 이즈 블라인드 (핵불닭맛자극주의)

[일본생활 #3] 일본에서 이사하기 (1) 마음에 드는 집 찾기 (요약有)

[일본생활 #2] 일본 운전면허증 발급받기 (1) 영문운전면허증 공증받기 (요약有)

[일본생활 #2] 일본 운전면허증 발급받기 (2) 운전면허증 발급받기 (요약有)

[C언어 자료구조] Stack을 이용한 계산기 만들기 (infix, postfix 변환)

[C언어 자료구조] 선택정렬, 이진탐색 (술자리 게임처럼 간단하게 이해하기)

AWS Certified Solutions Architect Associate 합격 후기 +시험에 많이 나오는 유형 정리

[AWS Certified Solutions Architect] Decoupling(SQS/SNS/Kinesis)

[AWS Certified Solutions Architect] VPC

[AWS Certified Solutions Architect] Database, Storage

[AWS Certified Solutions Architect] S3

[AWS Certified Solutions Architect] EC2, EBS, EFS, ELB

[타베로그 #8] 고독한 미식가 출연 맛집, 샤브타츠

AWS Certified Cloud Practitioner 합격후기+공부법

[AWS Certified Cloud Practitioner] 08. Other compute services

[AWS Certified Cloud Practitioner] 07. Database

[AWS Certified Cloud Practitioner] 06. S3

[AWS Certified Cloud Practitioner] 05. ELB

[AWS Certified Cloud Practitioner] 04. EBS Volume

[AWS Certified Cloud Practitional] 03. EC2

[AWS Certified Cloud Practitional] 02. IAM

[AWS Certified Cloud Practitional] 01. 클라우드 컴퓨팅

[타베로그 #6] 도쿄 경양식 , 키친ABC

[기초통계학] 확률변수

[EXCEL] 데이터를 연결해주는 VLOOKUP 함수 기초

[비트코인 트레이딩 프로그램 #2] 5분봉 3틱룰 추상화

[비트코인 트레이딩 프로그램 #1] 업비트 API 신청

[타베로그 #5] 도쿄 소바 맛집, 왜 소바에 라유를 넣을까? (나제 소바니 라유오 이레루노카)

[SQL] RANK / DENSE_RANK /ROW_NUMBER (순위함수 그리고 최신데이터 출력 방법)

[SQL] SUBSTR / INSTR / CONCAT / TRIM / LPAD&RPAD / REPLACE (한 눈에 보는 문자열 함수 모음집)

[SQL] ROLLUP/GROUPING 깔끔한 소계/합계 보고서만들기

[기초통계학] 확률 / 조건부 확률

[타베로그 #4] 도쿄 함박 스테이크 맛집, Grill K

[SQL] 서브쿼리

[기초통계학] 중심측도, 변이측도 (표본 / 분산 / 편차 )

1. 중심측도

2. 변이측도: 두 자료의 중심측도가 같더라도 흩어짐의 정도는 다를 수 있다.

[일본생활 #1] 통신사 개통하기, 라인모바일 사용하기

[타베로그 #3] 도쿄 라면/소바맛집, 아부라소바

[타베로그 #2] 도쿄 라면 맛집, 멘야 이마무라

[기초통계학] 자료의 요약 방법

[기초통계학] 기본개념

[쉘 프로그래밍] 초기화 파일 ( profile / bash_profile / bashrc / bash_logout)

[SQL] MERGE문, INSERT와 UPDATE를 동시에 진행하기

[타베로그 #1] 도쿄/카와사키 돈카츠 최강 맛집, 돈카츠 로쿠

4.データを取得する　（データをしゅとくする）

5.データをロードする　