글쓰기 세미나

11/17 글또에서 진행된 글쓰기 세미나를 듣고 나의 상황에 맞는 글쓰기 전략에 대해서 생각해 볼 수 있었다.1. 내가 글쓰는 패턴 파악하기이번까지 4회의 글쓰기를 제출하면서 확인한 패턴은 다음과 같았다.글을 어찌저찌 제출하고 '다음에 더 잘 써야지'라는 다짐한 이후그다음 주 주말: 아직 일주일 남았네. 무슨 주제로 쓸지 모르겠다~ 더 생각해 보면 멋진 글을 쓸 주제가 나오겠지^^전날 성윤님의 '내일이 마감인 거 아시죠? 모두 파이팅입니다'라는 쓰레드를 보고 벌써 마감일이라고?노트 앱을 뒤적이고 뒤늦게 주제 찾기당장 학습해서 써봤자 경험을 녹여 쓰지도 못해서 다시 안 읽을거라는 걸 이제는 깨달음껄무새 '그때 써둘걸.. 그때 생각해 둘걸.. 그때 공부해 둘걸!'당일 작성하기 전까지 근자감글 쓰기 시작부터 ..

• format_list_bulleted 카테고리 없음
• · 2024. 11. 24.
• textsms

Trino 아키텍처와 에러 파악하기

대용량 데이터 처리에 쓰일 수 있는 분산 SQL 엔진 중 대표적인 Trino에 대해서 알아봅니다.Trino는 Facebook에서 개발된 Presto SQL에서 파생된 프로젝트입니다. 대규모 데이터셋에 대한 분산 SQL 쿼리를 제공하는 아키텍처이며 코디네이터-워크 노드로 구성되어 있습니다.아키텍처Trino 아키텍처는 크게 두 핵심 요소가 있습니다.코디네이터워커 노드코디네이터(Coordinator)쿼리 수신, 계획 수립, 작업 분배 및 전체적인 쿼리 진행을 관리하는 중심 역할을 합니다.1. 쿼리 파싱 및 분석사용자가 실행한 SQL 쿼리를 수신한 후, 이를 파싱 하여 구문을 분석합니다.쿼리 문법과 구조를 분석하여 쿼리 실행이 가능한지 확인하고, 최적화된 실행 계획을 수립합니다.2. 실행 계획(Execution..

• format_list_bulleted DataEngineering
• · 2024. 11. 10.
• textsms

[fluent python] with구문

Python에서 with 구문은 내용을 열어서 사용할때, Airflow DAG를 정의할때 등...자연스럽게 코드에서 찾을 수 있습니다. 어떤 포인트 때문에 with와 붙여서 사용하는건지 정리해보면 python의 장점을 잘 활용할 수 있습니다. with 구문은 자원(파일, 네트워크 연결, DB 연결 등)의 관리를 간소화하고 안전하게 수행할 수 있도록 돕는 표현입니다. 특히 파일 작업이나 Airflow의 DAG과 같이 반드시 자원을 닫아야 하는 상황에서 유용하며, 코드의 가독성을 높이는 데도 큰 역할을 합니다. 이 글에서는 그 개념과 사용법, 그리고 유용한 활용 예제를 통해 with 구문이 왜 중요한지 알아보겠습니다.공식문서는 'with문은 context manager 객체의 제어를 받아서 임시로 conte..

• format_list_bulleted 카테고리 없음
• · 2024. 10. 27.
• textsms

글또 10기 시작하며

지난 기수 회고와 글쓰기에 대해서개발 글쓰기 모임이라는 울타리 안에서 다양한 소모임을 통해 많은 배움과 재미를 느낄 수 있었습니다. 우선 빌리지 채널에서는 데이터 엔지니어 직군은 같은 이름이더라도 회사마다 업무 범위가 다를 수 있다는 걸 직접 이야기하면서 알 수 있었습니다. 그래도 ETL, ELT 큰 틀을 가지고 파이프라인을 구축하는 부분은 공통적이고 커리어 고민도 나눌 수 있어서 좋았습니다. 그 당시에는 '이게 고민인가?'라는 것부터 고민이었는데 같은 직군 비슷한 연차인 분들과 이야기 나눌 수 있는 시간 덕분에 마음이 가벼워졌습니다. 참여했던 가장 큰 목적이었던 글쓰기를 생각해 보면 주기적으로 기술 관련 글을 쓸 수 있었습니다. 다만 아쉬운 건 글을 급하게 제출했던 점이 마칠 때 아쉬웠습니다. 특히 중..

• format_list_bulleted 카테고리 없음
• · 2024. 10. 13.
• textsms

[강의 후기] Apache Spark와 Python으로 빅데이터 다루기

개발 글쓰기 모임 글또를 통해서 Udemy 강의를 들을 수 있는 기회가 있었습니다. 데이터엔지니어링 직무에서 필요한 역량으로 Spark 기초부터 간단한 활용 예제를 다루는 강의를 들어보고 싶어서 [Apache Spark와 Python으로 빅데이터 다루기] 를 수강했습니다.  강의 구성개념 설명Spark 특징, RDD, transformation, action 연산, partitioning 등 현업에서 Spark을 사용하면서 매번 만날 수 밖에 없는 구성들과 해당 개념이 등장하게 되는 배경이나 필요성과 그 특징에 대해서 다룹니다.  실습배운 내용을 연습해볼 수 있는 구성이라는 점이 이 강의에서 가장 큰 장점이었습니다. 예시 코드에 대한 스크립트가 제공되고 실습 강의에서는 자료로 제공한 코드에 대해서 진짜 ..

• format_list_bulleted 카테고리 없음
• · 2024. 5. 15.
• textsms

[fluent python]함수 데코레이터와 클로저

데코레이터 데코레이터란? 파이썬 데코레이터 decorator라는 단어처럼 기존의 코드에 여러가지 기능을 추가하는 "장식"역할을 해주는 파이썬 구문 데코레이터는 다른 함수를 인수로 받는 콜러블(데코레이트된 함수) 함수를 반환하거나 함수를 다른 함수나 콜러블 객체로 대체합니다. def deco(func): def inner(): print('running inner()') return inner @deco def target(): print('running target()') target() -> 출력: running inner() print(target) -> 출력: 데커레이터는 다른 함수를 인수로 전달해서 호출하는 일반적인 콜러블과 동일하며 편리 구문(syntactic sugar)일 뿐입니다. 데코레이터..

• format_list_bulleted CS
• · 2024. 4. 14.
• textsms