gangee program

1. 서버 기능DB 연결하여 로그인, 회원가입, 즐겨찾기 등의 기능 구현Naver News API를 연결하여 News 기능 구현2. DB 연결 및 관련 기능 구현2-1. crimeDB 불러오기MySQL 에서 생성한 crimeDB를 연결시켜 모듈화함const mysql = require('mysql');const db = mysql.createConnection({ host: 'localhost', user: ' ', password: ' ', database: 'crimedb'});module.exports = db;2-2. 연결한 db.js를 서버에 연결const db = require('./public/js/db');2-3. 회원가입 기능 구현아이디와 비밀번호를 입력받고 아이디의 중복을 확인한..

외부 API 관련 기능1. Map 기능KAKAO MAP API 사용하여 서울시 지도 구현 // mapInit.js// 지도 초기화 함수function initializeMap() { // Kakao 지도 API를 사용한 지도 초기화 코드 var mapContainer = document.getElementById('map'); var mapOption = { center: new kakao.maps.LatLng(37.57346, 126.9790), level: 8 }; var map = new kakao.maps.Map(mapContainer, mapOption); var clusterer = new kakao.maps.MarkerCluste..

1. 프로젝트 배경최근 서울부터 시작하여 전국저으로 묻지마 범죄, 흉기 난동들이 빈번하게 발생하고 있음. 이러한 범죄 사건들이 사회적으로 큰 이슈가 되고 있기에 그 원인을 파악하고 예방하는데 기여하고자 "서울시 범죄 발생률 예측 서비스"를 프로젝트 주제로 선정하게 됨.분석 지역 선정 이유 : 서울시는 사회적, 경제적 측면의 중심지이기에 상대적으로 범죄로 인해 발생하는 피해를 빠르게 해결할 필요가 있다고 판단하였기 때문이다.2. 프로젝트 목표2-1. 범죄율 예측 모델 개발정부에서 제공하는 서울시 범죄 데이터 및 날씨, 인구, 건축물 등의 데이터를 활용하여 범죄율 예측 모델을 개발2-2. 웹 페이지 제작범죄관련 서비스 구축 및 제공을 위한 웹 페이지 제작서비스 목록로그인, 로그아웃, 회원가입 기능예측 범죄율..

BERT 모델 학습AI Hub데이터의 경우 라벨이 없는 데이터로 비지도학습 사용대표적인 군집화 모델 K-means을 사용하여 파인튜닝 진행모델 학습 과정pkl파일로 저장된 데이터를 학습할 수 있게 list 형태로 변환# 'filtered_file.pkl'에서 데이터 로드with open('filtered_file.pkl', 'rb') as f: analyzed_data = pickle.load(f)# list 형태로 변환texts = list(analyzed_data.values())모델이 처리할 수 있게 텍스트 데이터를 숫자 벡터로 변환하는 텍스트 임베딩 추출 함수 정의배치 단위로 텍스트를 처리하고 토큰화하여 입력 형식으로 변환각 문장의 토큰 임베딩을 추출하고 numpy 배열로 변환# 텍스트 임베..

이전 전처리에서 추가 전처리 진행AI Hub 데이터너무 짧은 문장은 주제 파악 및 요약이 불가능하거나 의미가 없다고 판단하여 10글자 이하의 문장 삭제박스플롯을 기준으로 Q1 이하, Q3 이상 문장 삭제데이터 노이즈를 줄여 분석 및 모델링의 정확성을 높임이상치를 제거하여 극단적인 값이 분석 결과에 미치는 영향을 최소화# 1. 길이가 10인 텍스트 데이터 제거filtered_texts = [text for text in texts if len(text) > 10]lengths = [len(text) for text in filtered_texts]# 2. Q1 이하 및 Q3 이상의 길이를 가진 문장 제거Q1 = np.percentile(lengths, 25)Q3 = np.percentile(lengths,..

ctrl + /vscode 에서는 주석 단축키로 "ctrl + /" 을 사용함단축키가 먹지 않을 때, ctrl + shift 를 누르고 하면 해결 됨ctrl + shiftctrl + /

user 확인window로 MySQL Command Line Client 접속use mysql;select user, host from user;user id와 host 확인 가능user 추가create로 만들기mysql -u root -p // root 계정 접속create user [user id]@localhost identified by 'user password'; grant로 권한 부여grant all privileges on [database name].* to [user id]@localhost;

csv 파일 불러오기import pandas as pddf = pd.read_csv('csv_file_path')인코딩 또는 인덱스 탈락 필요 시('csv_file_path', encoding='cp949', index_col=0)pkl 파일로 변경df.to_pickle('pkl_file_path')저장된 pkl 파일 불러오기import pickle as pklwith open('pkl_file_path', 'rb') as file: df = pkl.load(file)전체 코드import pandas as pdimport pickle as pkl# csv 파일 불러오기df = pd.read_csv('csv_file_path')# csv 파일 pkl 파일로 변환df.to_pickle('pkl_file..

KerasImageDataGeneratorfrom keras.preprocessing.image import ImageDataGenerator이를 실행했을 때 발생하는 오류 해결법1번pip install keraspip install tensorflow기본적으로 keras와 tensorflow 모듈을 설치해준다2번모듈을 설치해도 오류가 발생한다면 버전을 확인하고 최신 버전으로 업데이트하기print(keras.__version__) # 버전 확인pip install keras --upgrade # 업데이트3번1, 2번에서 해결이 되지 않는다면 keras 앞에 tensorflow 붙여주기from tensorflow.keras.preprocessing.image import ImageDataGenerator

데이터 구조 탐색음성 데이터를 텍스트로 옮겨서 전처리 진행변환 과정에서 발생한 문제문장 구분을 위한 '/', 'n/'과 같은 특수 문자 포함내용을 설명해주는 부가적인 텍스트 삽입표준어가 아닌 구어체1. 텍스트 정규화1-1. 정규 표현식정규 표현식을 사용하여 불필요한 문자 제거'/', 'n/'과 같이 특수하게 문장을 구분하는 형식을 공백으로 대체영문자, 한글, 숫자, 공백, 일부 문자부호만 남기고 나머지 형식을 공백으로 대체# 정규표현식을 이용해 불필요한 문자 제거def remove_text(texts_dict): processed_texts = {} for file_path, text in texts_dict.items(): # 소문자 알파벳 뒤에 /와 공백이 오는 형식 제거 ..