개발자로 살아남기

FewShow(퓨샷) 프롬프트 엔지니어링이란?LLM 모델에 원하는 예제를 제공하는 프롬프트 엔지니어링 방식종류제로 샷(0 Shot) : LLM 모델에게 예제를 제공하지 않는 방식원 샷(1 Shot) : LLM 모델에게 한개의 예제를 제공하는 방식퓨 샷(Few Shot) : LLM 모델에게 2개 이상의 예제를 제공하는 방식RAG(Retrieval-Augmented Generation) 와의 차이점RAG 는 LLM 모델에게 질의할 일종의 템플릿(가이드북)을 제공하는 형태로, RAG 데이터를 우선시하여, 질의에 대한 답변을 진행하는 방식RAG 데이터와 달리, FewShot 은, 응답 데이터에 대한 Example 을 제공함으로써, 데이터 규격 형태의 대한 처리에 도움을 주는 방식단점Fewshot 은 다양한 예시..

R&D 2024. 7. 29. 14:50

임베딩이란?자연어처리에서 사람이 쓰는 자연어를 기계가 이해할 수 있도록 숫자형태인 Vector로 바꾸는 과정 혹은 일련의 전체 과정을 의미한다.One-Hot Enconding단어 집합의 크기를 벡터의 차원으로 하고, 표현하고 싶은 단어의 인덱스에 1의 값을 부여하고, 다른 인덱스에는 0을 부여하는 단어의 벡터 표현 방식이다.아이폰10000갤럭시01000애플워치00100맥북00010갤럭시북00001 위와같은 형태의 벡터 데이터를 가질 수 있다.One-Hot Encoding 의 단점위와 같은 벡터데이터에는 각 데이터의 크기와 상관없이 데이터 할당량 자체가 특정 사이즈로 고정되어있어 데이터크기 측면에서 불리한 점이 있다. 희소 벡터(Sparse vector)가 생긴다는 문제단어의 개수가 늘어나면 벡터의 차원이..

R&D 2024. 7. 5. 10:23

설치 Requirement NPM >= 5.2.0 Ubuntu / Debian apt-get install libgtk2.0-0 libgtk-3-0 libgbm-dev libnotify-dev libgconf-2-4 libnss3 libxss1 libasound2 libxtst6 xauth xvfb CentOS yum install -y xorg-x11-server-Xvfb gtk2-devel gtk3-devel libnotify-devel GConf2 nss libXScrnSaver alsa-lib >_ npm install cd /your/project/path npm install cypress --save-dev 실행 Browser Mode ./node_modules/cypress/bin/cypr..

R&D 2023. 4. 20. 12:13

APM 이란? Application Perfomance Manager 성능관리모니터링 시스템이라고 할 수 있다. APM OpenSource maven repo github star 구글 검색 결과 pinpoint 237 12,700 약 226,000 scouter 16 1,900 약 77,900 prometheus 532 47,400 약 721,000 elasticAPM 0 314 약 485,000 Prometheus(프로메테우스) 오픈 소스 시스템 모니터링 및 경고 ToolKit Exporter 로 부터 데이터를 수집하여 데이터를 시각화한다. Pull 방식의 Metric 데이터를 수집한다. PromQL 방식의 시계열 쿼리 및 집계한다. Setting # my global config global: sc..

R&D 2023. 4. 20. 11:57

VSCODE GUI 환경에서 보다 쉽게 rebase interactive 를 하는 방법을 소개합니다. 사전 준비사항 vscode extension 으로 gitlens 를 추가합니다. git config 옵션을 수정합니다. - 당 문서는 Rebase --interactive option 을 보다 이해하기 쉽게 작성해 놓은 문서 입니다. 목적 솔루션 개발 시, 로컬(개인 개발 PC - 솔루션에서는 사용자 디렉토리) 브랜치 에서 보다 커밋을 깔끔하게 정리하여 MR(Merge Request) 또는 PR(Pull Request) 을 요청할 수 있도록 함을 목적으로 합니다. 기능의 목적 해당 기능은 개발 디렉토리에서 작업 시, 쓸데없거나 작업하다가 무분별하게 작성된 commit 들을 Merge Request 전 개..

R&D 2022. 7. 4. 11:44

레디스로 커스텀한 Queue 시스템 제작 Redis 구조 Job 각 디렉토리별 실행 할 Job 의 대한 데이터 Key : {app_name}:schedule:{unique-key}:{step}:{directory} Key Value Example command 실행 커맨드 실행 커맨드 명 uniqueKey uniqueKey 값 61e91b322847182135 Step Step Definition standby job 대기 상태 processing job 실행 상태 completed job 완료 상태 failed job 실패 상태 Manage kernel.php 에 등록한 job 하나에 대한 디렉토리들을 관리하는 데이터 Key : {app_name}:schedule:manage:{unique-key} K..

R&D 2022. 3. 30. 12:38

SRS 작성법 1. 설명할 Product 에 대해 기반지식이 있는 것이 작성하는데 도움이된다. 2. 개발자가 아닌 비개발직군도 SRS 문서의 독자가 될 수 있다. 전반적인 기능을 파악하고, 구현해야 할 Product 에 대해 정리가 되었다면, 다음과 같은 5가지의 항목에 대해 말할 수 있다. 단, 현재 정형화 되어있는 문서들에 더 많은 항목이 존재할 수 있고, 이는 작성자가 추가해야할지 고려한 뒤 추가하면 될 것으로 보인다. SRS 작성에 5가지 항목 1. Introduction - 개요 2. Overall Description - 전체 설명 3. Environment - 환경 4. External Interface Requirements - 외부 인터페이스 5. Performance Requiremen..

R&D 2021. 8. 3. 14:43

RFC-5531 RPC 프로토콜은 caller 프로세스와 서버의 프로세스는 서로 로직적으로 통하게 된다. caller 프로세서는 첫째로 서버 프로세스에게 요청 메세지를 전달한다. 그 요청 메세지에는 프로시저의 파라미터를 포함하고 있으며, 응답 메세지에는 해당 프로시저의 응답을 포함하고 있다. 프로시저로부터 응답값을 받게되고 이후에 caller 프로세스는 이후 실행을 계속 실행한다. 서버측면에서 봤을 때, 프로세스는 요청 메세지가 오기전까지 기다리게 된다. 요청 메세지가 도착하게 되면, 서버 프로세스는 프로시저의 파라미터를 가져와 결과를 계산한다. 그리고 응답 메세지를 보내고, 다음 요청을 대기하게 된다. RPC 콜은 LPC(Local Procedure Call) 와는 다른 몇가지 중요한 점이 있다. 에러..

R&D 2021. 3. 5. 14:51