일상의 끄적거림...

오늘은 그냥 정리하기 위한 글입니다. 새로 sk 브로드 밴드로 집에 무선을 교체했습니다. 그리고 포트포워딩을 하려고 보니 다른 인터넷과는 좀 다르더군요  무려 외부 IP 가 192.로 시작하는 내부 IP로 설정되어 있었습니다.  찾다보니 방법을 찾아서 정리해봅니다.  Step 1) 주소창에 192.168.55.1 을 입력합니다. 대부분 이주소가 맞을 겁니다. 만약 다르신분들은 cmd 창에서 ipconfig 를 통해서 정확한 정보를 확인해보세요 Step 2) 브라우저에 공유기 로그인 화면이 표시됩니다. 로그인합니다.   로그인하기 위한 ID는 admin 입니다.   패스워드는 좀 복잡합니다.   집에 설치된 모뎀 장비를 먼저 찾으세요   그리고 모뎀장비 바닥면을 확인하면 WAN 으로 시작하는 주소가 있습니..

Python 에는 파일을 컨트롤하는 다양한 라이브러리가 있습니다. Langchain 에서 제공하는 CSVLoader 에 대해서 간단히 정리하고Python & java 버전의 구현샘플을 소개합니다. 물론, 오픈소스 라이브러리를 이용한 개인적인 구현이므로, 제가 소개하는 것외에 다른 방식도 얼마든지 있습니다.    샘플 코드 소개를 위해 먼제 예시가 되는 CSV 파일과 샘플 코드 출력 결과를 소개합니다.아래와 같이 키&값 의 셋으로 구성되는 형태로 CSV 의 내용을 맵핑하게됩니다.  [CSV]question, answer오늘의 날씨는, 나도 몰라요당신은 누구세요, 글쎄요  [output]question: 오늘의 날씨는answer: 나도 몰라요question: 당신은 누구세요answer: 글쎄요   Pytho..

안녕하세요. 오랜만에 글을 쓰는것 같네요. 요새 핫한 Llama3 모델에 대한 간단한 Prompt 구조에 대한 설명을 남깁니다. 저같은 경우 이것저것 모델을 테스트할때 Mistral 을 이용한 프롬프트를 만든적이 있습니다.그런데 이 Pormpt가 그대로 Llama3에 적용이 되지는 않더군요.. 그리고 찾아보니 기본적인 Special Tokens 에 대한 정의가 필요한것을 확인했습니다. 이 Special Tokens는 각 모델마다 차이가 있을수 있으며 (Mistral 의 경우 .... )어떻게 사용하느냐에 따라 답변의 품질이 차이가 많습니다. 예를들어 부정화한 답변 또는 반복되는 답변 등, 이제부터 간단한 샘플로 소개합니다.  아래는 전체 Special Token에 대한 샘플입니다.각각의 요소에 대한 역..

안녕하세요 오늘은 개인적으로 간단하게 테스트했던 코드를 공유합니다. 요즘에 핫한 LLM (ChatGPT, Gemini) 를 활용한 RAG 어플리케이션 개발시 중요한 부분중에 하나인 Vector database 샘플 코드 입니다. 간단히 Chroma 에 저장하고 이를 다시 로드하는 코드 입니다. from langchain.embeddings.openai import OpenAIEmbeddings from langchain.vectorstores import Chroma from langchain_community.document_loaders import CSVLoader def init_db(): embedding_function = OpenAIEmbeddings() if os.path.exists("c..

다음의 에러 메세지는 LLM, Chroma, Langchain 관련 Python 어플리케이션 개발중에 발생한 케이스 입니다. 저와 같이 Python3.11 & Linux 환경에서 테스트하는 경우 발생하는 것 같습니다. 동일한 조건으로 Windows 환경에서 진행시 관련 에러는 발생하지는 않더군요 관련 에러가 발생하신 분은 참고하세요. [에러 메세지] RuntimeError: Your system has an unsupported version of sqlite3. Chroma requires sqlite3 >= 3.35.0 [환경] Rocky LInux 9 Python 3.11 [에러 설명] 에러 메시지는 시스템에 설치된 SQLite3 버전이 Chroma 라이브러리가 요구하는 최소 버전인 3.35.0보다..

안녕하세요 언제부터인가 급격하게 생성형 AI에 대한 관심은 크게 증가했습니다. 그리고 쉽게 테스트하기 위한 다양한 서비스들이 많이 제공되고 있습니다. 하지만, 학생 또는 다양한 비즈니스 참여자(개발자 및 기획자) 들은 간단한 서비스 구현의 테스트를 위해 많은 고민과 함께 비용에 대해 고민하게 됩니다. 현재는 이런 부분을 지원하는 다양한 무료 서비스들이 존재합니다. 오늘 소개할 내용은 이런 무료 서비스를 통한 서비스 테스트 방법에 대한 소개 입니다. 오늘은 OpenAI의 ChatGPT 서비스를 API 형태로 제공하는 어플리케이션을 작성합니다. API 형태로 제공하기 위해서 Python FastAPI를 이용하여 API 서버를 구축하게 됩니다. 작성된 프로그램은 Github와 연동되며, "무료 서버" 에서 구..

오늘은 웹 개발에서 자주 사용되는 datepicker에 대해 소개합니다. 일반적인 Datepicker 는 달력 하나를 표시합니다. 그리고 달력에서 날짜를 선택하죠 그러나 가끔 기간을 설정하기 위한 datepicker 가 필요한 경우가 있습니다. 이때 사용할수있는 javascript 샘플을 소개해 드립니다. 우선 실행 화면 부터 공유합니다. https://sensortower.github.io/daterangepicker/docs daterangepicker Documentation Documentation Installation You can download daterangepicker using bower: bower install daterangepicker --save Or you can alway..

안녕하세요 개발 쪽 또는 학습을 목적으로할때 누구나 한번쯤은 필요한 사이트에 대한 소개입니다. 해당 사이트는 소개목적으로 올릴뿐 저와 아무런 상관이 없습니다. 많은 경우 CSV 파일을 json 으로 변환 또는 이와 반대의 경우를 필요로 하는 경우가 있습니다. 아래 소개하는 사이트는 이에 대한 다양한 옵션을 온라인 UI 로 제공합니다. 즉, 간단히 웹페이지 가서 테스트 또는 원하는 출력 결과를 받아볼 수 있습니다. 제가 가장 많이 사용하는것중에 하나는 csv to json 이라 제목에 그렇게 적었습니다. https://www.convertcsv.com/ ConvertCSV.com - Convert CSV To JSON, XML, SQL, ... Convert to/from HTML, JSON, XML Te..

안녕하세요 오늘도 watsonx.ai 에 대해서 다룹니다. watson.ai 는 이전 포스트에도 이야기 했지만 openai 와 같은 생성형 AI 기반 서비스를 제공합니다. 좀더 쉽게 이야기하자면 ChatGPT 와 같은 서비스를 제공할 수 있습니다. (물론 개발이 좀 필요합니다.) 우선 간단히 개발 준비 그리고 사용 가능한 모델 확인 마지막으로 질문&답변 3가지로 정리했습니다. 1. 개발 준비 가장먼저 개발을 준비하기 위해 watsonx.ai 를 사용하기 위한 패키지 설치가 필요합니다. 저는 python 기반 개발이므로 이에 대해서 패키지를 설치합니다. (python virtual env 설정 등 기초적인 내용은 넘어가도록 하겠습니다. ) $ pip install ibm-watson-machine-lear..

안녕하세요. 오늘의 컨텐츠는 프롬프트 엔지니어링 입니다. 생성형 AI & LLM 등 나오면서 프롬프트와 프롬프트 엔지니어링에 대한 내용이 많이 이야기 됩니다. 오늘은 프롬프트 작성과 프롬프트 엔지니어링에 대해서 간단히 정리해 보겠습니다. [프롬프트] 프롬프트는 대규모 언어 모델이라고 불리는 LLM 에서 응답을 생성하거나 작업을 완료하기 위한 가이드 입니다. 이 프롬프트를 작성하는 방식에 따라 모델이 반환하는 답변의 정확성과 형식이 변화 합니다. 즉, "프롬프트 엔지니어링"은 인공 지능(AI) 모델에게 원하는 결과를 얻기 위해 프롬프트를 효과적으로 작성하고 조정하는 과정을 말합니다. 그리고 프롬프트 작성을 위해서는 아래와 같은 기본적인 사항이 있습니다. 프롬프트 작성...... - 원하는 답변을 제공가능한..