코딩 도구(327)
-
CoLabor : 법률 챗봇 시행착오 총정리
법률 챗봇 : Co-Law (코로)현재 사회적 약자를 위한 공모전을 준비중에 “외국인 근로자를 위한 웹사이트”를 만들고 있다. 1차 시도처음으로 생각한 방법은 아래와 같다.법률 데이터 API를 사용하여 데이터를 가져와서 저장합니다.Hugging Face Transformers, GPT-3 모델, 구글의 BERT (Bidirectional Encoder Representations from Transformers), IBM의 Watson 등 여러 모델 중 골라 사용하여 AI 모델에 법률 데이터를 학습시킵니다.AI 챗봇을 구현하여 사용자와 상호작용할 수 있는 API 엔드포인트를 만듭니다.무조건 OpenAI의 gpt 모델을 사용하려고 했지만 법률 데이터라는게 양이 엄청 많기때문에 이를 학습 시키려면 비용이 엄..
2024.07.18 -
CoLabor : 외국인 근로자 지원 센터 데이터 파싱 및 지도 표시 기능 구현
외국인 근로자 지원 센터 데이터 파싱 및 지도 표시현재 사회적 약자를 위한 공모전을 준비중에 “외국인 근로자를 위한 웹사이트”를 만들기로 했습니다. 사용 공공데이터 : https://www.data.go.kr/tcs/dss/selectFileDataDetailView.do?publicDataPk=3038226#/tab-layer-openapi네이버 지도 : https://www.ncloud.com/product/applicationService/maps전체적인 작업 설계1. API 키를 활용해서 데이터베이스 저장공공데이터 포털의 API를 사용하여 외국인 노동자 지원 센터 데이터를 가져왔습니다.가져온 데이터를 데이터베이스에 저장했습니다.2. 지오코딩 수행 및 데이터베이스 저장네이버 지도 API를 사용하여..
2024.07.17 -
MySQL : SELECT 쿼리 결과의 1000개 행 제한을 푸는 방법
MySQL에서 SELECT 쿼리 결과의 1000개 행 제한을 푸는 방법공모전 준비하면서 공공데이터 포털 API에서 병원 데이터를 가져와 DB에 저장하는 기능을 구현하고 있는데 병원 데이터가 약 76000개가 되는데 쿼리 결과는 1000개 행만 보여서 로직을 잘못짰나 했는데 사진처럼 포스트맨에서는 데이터를 다 가져오길래 찾아보니 MySQL에서 SELECT 쿼리 결과의 1000개 행 제한이 있다는 것이다. SELECT * FROM `co-labor`.hospital LIMIT 9999999;위와 같이 쿼리에 직접 LIMIT 설정하면 임시방편으로 사용할 수 있다. 우선 해결은 했지만 영구적인 해결책이 아니므로 Workbench 설정 변경하는 방법을 찾았다. Edit > Preferences로 이동.SQL E..
2024.07.15 -
[인턴일지] 0x07 3주차 웹 개발의 다양한 도구와 기술을 실습하기 (실무에서 사용하는 스킬 체험 : PHP, phpMyAdmin, 파일질라(FileZilla), 그리고 CMS(콘텐츠 관리 시스템))
2024년 하기 계절학기 인턴십 회사: 창의적인 웹 디자인과 맞춤형 디지털 솔루션을 제공하는 IT 전문 기업날짜: 2024.06.24 ~ 07.19시간: P.M. 14:00 ~ P.M. 18:002024년 07월 08일 ~ 07월 12일 이번 주 작업 일지1. 다국어 지원을 위한 데이터베이스 설정이번 주에는 다국어 웹사이트 구현을 위한 데이터베이스 설정 작업을 진행했습니다. 우선 phpMyAdmin을 통해 translations 테이블을 생성하고, 언어별 번역 데이터를 관리하도록 했습니다. 테이블 구조는 다음과 같습니다: CREATE TABLE translations ( id INT AUTO_INCREMENT PRIMARY KEY, `key` VARCHAR(255) NOT NULL, la..
2024.07.14 -
[인턴일지] 0x06 2주차 생소한 개념들을 알아가다.
2024년 하기 계절학기 인턴십회사: 창의적인 웹 디자인과 맞춤형 디지털 솔루션을 제공하는 IT 전문 기업날짜: 2024.06.24 ~ 07.19시간: P.M. 14:00 ~ P.M. 18:002024년 07월 01일 ~ 07월 05일 배운것CMS (Content Management System)기본 개념:CMS 정의: Content Management System은 웹 콘텐츠를 작성, 관리, 수정 및 출판하는 소프트웨어입니다. 사용자는 HTML이나 CSS와 같은 코딩 지식이 없어도 웹사이트를 쉽게 관리할 수 있습니다.주요 CMS 종류:WordPress: 가장 인기 있는 CMS로, 사용이 쉽고 다양한 플러그인과 테마를 지원합니다.Joomla: 유연성과 확장성이 뛰어나며, 다양한 유형의 콘텐츠를 관리하기에..
2024.07.07 -
[Git] github 대용량 파일 push 오류 해결
오류 설명오류 메시지: 파일 크기가 GitHub에서 허용하는 최대 파일 크기를 초과했기 때문에 푸시가 거부되었다.파일 크기 한도: GitHub은 100MB 이상의 파일은 푸시할 수 없으며, 50MB 이상의 파일에 대해서는 경고를 표시한다.문제 해결 방법이 문제를 해결하기 위해 Git Large File Storage (Git LFS)를 사용한다.Git LFS는 대용량 파일을 효율적으로 관리할 수 있도록 도와주는 도구이다. 해결 과정Git LFS 설치: 먼저 Git LFS를 설치해야 합니다. 터미널에 아래 명령어를 입력한다. 대용량 파일 추적 설정: Git LFS에 대용량 파일을 추적하도록 설정고, 오류 메시지에 나온 파일 경로를 사용한다..gitattributes 파일 추가: Git LFS는 .gita..
2024.07.01