일상의 끄적거림...

During a recent project, I encountered the need to migrate from Bonobo Git, which we had been using for internal testing purposes, to GitLab.The initial reasons for using Bonobo Git were:Easy installation in a Windows environmentQuick setup with simple functionalityHowever, as the project grew and required more scalability, we decided to switch to GitLab, which allows for configuration in a Linu..

프로젝트를 하다가 보니 내부에서 테스트용도로 사용하던 bonobo git 을 gitlab 으로 이전할 일이 생겼습니다. 기존에 bonobo git 을 사용한 이유는 다음과 같습니다. - 윈도우 환경 설치 - 빠른 구성 & 간단한 기능 그러나 좀더 확장을 하려고 하다보니 리눅스 환경으로 구성해야 하는 문제가 있어 gitlat 으로 변경했습니다.아래는 git 이전에 대한 가이드 입니다.    [Git Backup]Bonobo git 백업Bonobo Git 서버에서 각 Git 저장소를 clone 명령으로 백업합니다. cd /path/to/repo-name.git # 클론한 bare 저장소 경로로 이동git push --mirror http://gitlab-server-url/username/repo-name..

안녕하세요 이번글은 이번에 Docker 관련해서 서버 구성시 문제가 있었던 Port 관련 에러에 대한 대처법입니다. 에러 메세지는 다음과 같습니다.  (HTTP code 500) server error - Ports are not available: exposing port TCP 0.0.0.0:3000 -> 0.0.0.0:0: listen tcp 0.0.0.0:3000: bind: An attempt was made to access a socket in a way forbidden by its access permissions.  저의 경우 기존에 설치되어 있던 Docker 컨테이너를 삭제 후 재설치 진행중에 갑자기 위와 같은 에러가 발생했습니다. 해결방법 부터 정리하면 다음과 같습니다.아래 1번 부..

오늘은 그냥 정리하기 위한 글입니다. 새로 sk 브로드 밴드로 집에 무선을 교체했습니다. 그리고 포트포워딩을 하려고 보니 다른 인터넷과는 좀 다르더군요  무려 외부 IP 가 192.로 시작하는 내부 IP로 설정되어 있었습니다.  찾다보니 방법을 찾아서 정리해봅니다.  Step 1) 주소창에 192.168.55.1 을 입력합니다. 대부분 이주소가 맞을 겁니다. 만약 다르신분들은 cmd 창에서 ipconfig 를 통해서 정확한 정보를 확인해보세요 Step 2) 브라우저에 공유기 로그인 화면이 표시됩니다. 로그인합니다.   로그인하기 위한 ID는 admin 입니다.   패스워드는 좀 복잡합니다.   집에 설치된 모뎀 장비를 먼저 찾으세요   그리고 모뎀장비 바닥면을 확인하면 WAN 으로 시작하는 주소가 있습니..

Python 에는 파일을 컨트롤하는 다양한 라이브러리가 있습니다. Langchain 에서 제공하는 CSVLoader 에 대해서 간단히 정리하고Python & java 버전의 구현샘플을 소개합니다. 물론, 오픈소스 라이브러리를 이용한 개인적인 구현이므로, 제가 소개하는 것외에 다른 방식도 얼마든지 있습니다.    샘플 코드 소개를 위해 먼제 예시가 되는 CSV 파일과 샘플 코드 출력 결과를 소개합니다.아래와 같이 키&값 의 셋으로 구성되는 형태로 CSV 의 내용을 맵핑하게됩니다.  [CSV]question, answer오늘의 날씨는, 나도 몰라요당신은 누구세요, 글쎄요  [output]question: 오늘의 날씨는answer: 나도 몰라요question: 당신은 누구세요answer: 글쎄요   Pytho..

안녕하세요. 오랜만에 글을 쓰는것 같네요. 요새 핫한 Llama3 모델에 대한 간단한 Prompt 구조에 대한 설명을 남깁니다. 저같은 경우 이것저것 모델을 테스트할때 Mistral 을 이용한 프롬프트를 만든적이 있습니다.그런데 이 Pormpt가 그대로 Llama3에 적용이 되지는 않더군요.. 그리고 찾아보니 기본적인 Special Tokens 에 대한 정의가 필요한것을 확인했습니다. 이 Special Tokens는 각 모델마다 차이가 있을수 있으며 (Mistral 의 경우 .... )어떻게 사용하느냐에 따라 답변의 품질이 차이가 많습니다. 예를들어 부정화한 답변 또는 반복되는 답변 등, 이제부터 간단한 샘플로 소개합니다.  아래는 전체 Special Token에 대한 샘플입니다.각각의 요소에 대한 역..

안녕하세요 오늘은 개인적으로 간단하게 테스트했던 코드를 공유합니다. 요즘에 핫한 LLM (ChatGPT, Gemini) 를 활용한 RAG 어플리케이션 개발시 중요한 부분중에 하나인 Vector database 샘플 코드 입니다. 간단히 Chroma 에 저장하고 이를 다시 로드하는 코드 입니다. from langchain.embeddings.openai import OpenAIEmbeddings from langchain.vectorstores import Chroma from langchain_community.document_loaders import CSVLoader def init_db(): embedding_function = OpenAIEmbeddings() if os.path.exists("c..

The following error message occurred during the development of a Python application related to LLM, Chroma, and Langchain. It seems to occur when testing in a Python3.11 & Linux environment like mine. When proceeding under the same conditions in a Windows environment, the related error did not occur. If you encounter this error, please take note. [Error Message] RuntimeError: Your system has an ..

다음의 에러 메세지는 LLM, Chroma, Langchain 관련 Python 어플리케이션 개발중에 발생한 케이스 입니다. 저와 같이 Python3.11 & Linux 환경에서 테스트하는 경우 발생하는 것 같습니다. 동일한 조건으로 Windows 환경에서 진행시 관련 에러는 발생하지는 않더군요 관련 에러가 발생하신 분은 참고하세요. [에러 메세지] RuntimeError: Your system has an unsupported version of sqlite3. Chroma requires sqlite3 >= 3.35.0 [환경] Rocky LInux 9 Python 3.11 [에러 설명] 에러 메시지는 시스템에 설치된 SQLite3 버전이 Chroma 라이브러리가 요구하는 최소 버전인 3.35.0보다..

hello At some point, interest in generative AI has rapidly increased. And a variety of services are provided to make testing easier. However, students or various business participants (developers and planners) worry about testing simple service implementations. How to make it, where to distribute it?, how much will it cost?, and will it operate stably? Today, I will guide you through creating a ..