dbt 쿼리 모델 중 현재 시각을 사용한 처리가 로직에 포함될 수 있습니다. 쿼리에서 사용되는 Jinja 문법과 SQL 내장 함수의 시간 표기 기준이 다르게 동작하는 상황이 있습니다. 이번 글에서는 현재 시각을 표기하는 방식 차이와 타임존을 반영에 대한 dbt 커뮤니티 현황을 공유합니다.1. current_date vs run_started_at 비교expressionquerytimezonedescriptioncurrent_timestampselect current_timestamp세션 기준 Trino가 사용하는 세션의 타임존 기준 시각run_started_atselect {{ run_started_at }}UTC 고정UTC 기준 쿼리 실행 시작 시각Trino 세션이 Asia/Seoul로 설정되어 있을 ..
이 글을 읽는 대상: 데이터 분석가, 여러 쿼리 엔진을 사용하는 데이터 엔지니어 최근 Impala를 사용하면서 나누기 연산에 대한 결괏값의 소수점 자릿수와 관련해 예상과 다른 값이 나오는 상황을 겪었습니다. 원인을 찾아본 경험을 공유하며, 비슷한 문제를 겪는 분들에게 참고가 될 수 있길 바랍니다.문제 상황: 예상치 못한 소수점 자리수DECIMAL(38, 2) 타입인 칼럼값을 BIGINT형 값으로 나눌 시 결괏값 타입이 DECIMAL(38, 2)가 아닌 DECIMAL(38, 6)으로 반환되는 상황을 확인했습니다. 연산 결과 값 타입 확인쿼리 엔진연산 식결과값결과값 타입IMPALACAST(3482477 AS DECIMAL(38, 2)) / 30386114.607944DECIMAL(38, 6) 원인 분석: I..
요즘 번역 오픈소스 프로젝트를 하다보니 커밋하고 나서 보이는 오타들이 있었다. 하지만 글자 하나 때문에 새로 커밋 올리는 것은 깔끔하지 않다고 생각되고 어떤 오픈소스 프로젝트에서는 불필요한 커밋은 합쳐서 올리기를 요청하기도 한다고 했다(기본인가..?)🤔 이럴땐 커밋 취소, 되돌리기, 덮어쓰기를 상황에 맞게 사용하자. git log --oneline 현재 커밋 로그를 조회해서 어느 지점 커밋으로 되돌리고 싶은지 확인한다. 8d9111b (HEAD -> ddp_pipeline, origin/ddp_pipeline) 커밋4 cedfd58 커밋3 f0780f0 커밋2 b908557 커밋1 ✅ 이미 올라간 커밋을 바꾸고 싶다! 어떻게? 방법1 커밋 취소하기:git reset --soft HEAD^ 로컬 저장소 상..
AWS 도커 설치 이대로 했는데 도커 서버가 보이지 않다면 Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? Fix sudo service docker status\: 도커가 inactivate 상태인지 확인 sudo service docker start sudo systemctl enable docker: 리부팅때 자동 실행되도록 설정 sudo usermod -aG docker ec2-user sudo reboot
Homebrew? 그냥 사이트에서 다운받는거랑 뭐가 다른가요? macOS용 패키지 매니저로 프로그램 설치, 업데이트, 삭제를 편하게 관리할 수 있다. (하지만 윈도우만 쓰던 나는 나중에 알았다..) M1 네이티브로 설치하려 했으나..실패! 그냥 뭔가 커맨드가 안먹혀서 의문이었는데 기존 MAC을 위한 안내는 기존 실리콘칩. 내 컴퓨터는 m1칩이라 그런 것이었다. 🛠해결 M1 네이티브로 설치하는 방법도 있으나 이전 맥 터미널과 동일하게 호환할 수 있는 Rosetta를 사용하는 방법이 제일 간단했다. 1. 터미널앱 > 정보 가져오기> ☑️ Rosetta를 사용하여 열기 2. Homebrew 설치 /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Hom..
hunspell-ko 📒한국어 맞춤법 사전 저장소📒 release에 있는 aff/dic파일을 다운로드 홈폴더/Library/Spelling 아래에 다운받은 aff/dic 파일 복사 aff/dic 파일 이름 모두 "ko_KR"로 변경 변경하지 않으면 hunspell 실행 시 에러 발생: Can't open affix or dictionary files for dictionary named "ko_KR". hunspell 버전 1.7.0 이상 설치 brew install hunspell 커맨드에서 hunspell로 오타 찾기 개별 파일 검사: hunspell -l 파일 | sort | uniq 디렉토리에서 여러 파일 검사: find . -iname "*.html" -exec hunspell -l {} \; ..
