gangee program

DB 생성 목표본 프로젝트에서 필요한 데이터를 저장할 데이터베이스 생성회원의 개인정보를 저장할 수 있는 'users' 테이블 생성회원 각각의 즐겨찾기 정보를 저장할 수 있는 'favorites' 테이블 생성1. CREATE DATABASE'crimeDB' 라는 데이터베이스 생성create database crimeDB;2. CREATE TABLE users회원의 아이디, 비밀번호를 저장할 수 있는 테이블 생성user_id를 기본키로 자동 생성아이디와 비밀번호는 null을 허용하지 않으며 아이디는 unique 값을 생성생성시간을 timestamp로 저장create table users ( -> user_id int auto_increment primary key, -> username varch..

성능AI Hub 데이터로 학습된 KMeans 모델에 지식인 데이터를 테스트한 결과모든 지표에서 0.2이하로 성능이 매우 낮은 것을 볼 수 있음KMeans 모델이 제대로 된 분류 작업을 수행하지 못함결론한계점AI Hub데이터의 경우 7가지 분야별로 몇 개의 데이터가 수집되어 있는지 파악할 수 없었음분야별 데이터의 양 차이가 커 이러한 결과가 나왔다고 판단주제 분류를 통해 요약 성능을 높일 계획이었으나 주제 분류가 제대로 이루어지지 않아 요약 성능을 평가할 수 없었음개선방향반지도 학습을 통해 레이블이 있는 지식인 데이터를 사용하여 AI Hub데이터의 레이블 생성7가지 분야별로 데이터 개수를 동일하게 준비준비한 데이터에 지도 학습을 적용하고 최적화를 거쳐 분류 및 요약 성능 높이기최적화된 분류 모델을 사용하여..

1. Data Collecting서울시 5대 범죄, 날씨, 지역, 인구 데이터 수집데이터 수집 기관범죄 데이터 : 서울특별시 경찰청날씨 데이터 : 기상청인구 데이터 : 서울 열린 데이터 광장지역 데이터 : 서울 열린 데이터 광장, 토지 대장 등모든 데이터는 2020년1월 부터 2022년12월 까지 3년치 데이터를 수집2. PreProcessing2-1. 범죄 데이터1월부터 12월까지 월별로 구성된 범죄 데이터를 이용해 feature engineering 진행filter 함수를 이용해 연도별 범죄건수 총합을 구함(월별 범죄건수/연도별 범죄총합) * 100 -> 월별 범죄율(연도별 범죄총합/ 총 범죄건수) * 100 -> 연도별 범죄율# filter 함수data['20년_범죄총합'] = data.filter..

1. 서버 기능DB 연결하여 로그인, 회원가입, 즐겨찾기 등의 기능 구현Naver News API를 연결하여 News 기능 구현2. DB 연결 및 관련 기능 구현2-1. crimeDB 불러오기MySQL 에서 생성한 crimeDB를 연결시켜 모듈화함const mysql = require('mysql');const db = mysql.createConnection({ host: 'localhost', user: ' ', password: ' ', database: 'crimedb'});module.exports = db;2-2. 연결한 db.js를 서버에 연결const db = require('./public/js/db');2-3. 회원가입 기능 구현아이디와 비밀번호를 입력받고 아이디의 중복을 확인한..

외부 API 관련 기능1. Map 기능KAKAO MAP API 사용하여 서울시 지도 구현 // mapInit.js// 지도 초기화 함수function initializeMap() { // Kakao 지도 API를 사용한 지도 초기화 코드 var mapContainer = document.getElementById('map'); var mapOption = { center: new kakao.maps.LatLng(37.57346, 126.9790), level: 8 }; var map = new kakao.maps.Map(mapContainer, mapOption); var clusterer = new kakao.maps.MarkerCluste..

1. 프로젝트 배경최근 서울부터 시작하여 전국저으로 묻지마 범죄, 흉기 난동들이 빈번하게 발생하고 있음. 이러한 범죄 사건들이 사회적으로 큰 이슈가 되고 있기에 그 원인을 파악하고 예방하는데 기여하고자 "서울시 범죄 발생률 예측 서비스"를 프로젝트 주제로 선정하게 됨.분석 지역 선정 이유 : 서울시는 사회적, 경제적 측면의 중심지이기에 상대적으로 범죄로 인해 발생하는 피해를 빠르게 해결할 필요가 있다고 판단하였기 때문이다.2. 프로젝트 목표2-1. 범죄율 예측 모델 개발정부에서 제공하는 서울시 범죄 데이터 및 날씨, 인구, 건축물 등의 데이터를 활용하여 범죄율 예측 모델을 개발2-2. 웹 페이지 제작범죄관련 서비스 구축 및 제공을 위한 웹 페이지 제작서비스 목록로그인, 로그아웃, 회원가입 기능예측 범죄율..

이전 전처리에서 추가 전처리 진행AI Hub 데이터너무 짧은 문장은 주제 파악 및 요약이 불가능하거나 의미가 없다고 판단하여 10글자 이하의 문장 삭제박스플롯을 기준으로 Q1 이하, Q3 이상 문장 삭제데이터 노이즈를 줄여 분석 및 모델링의 정확성을 높임이상치를 제거하여 극단적인 값이 분석 결과에 미치는 영향을 최소화# 1. 길이가 10인 텍스트 데이터 제거filtered_texts = [text for text in texts if len(text) > 10]lengths = [len(text) for text in filtered_texts]# 2. Q1 이하 및 Q3 이상의 길이를 가진 문장 제거Q1 = np.percentile(lengths, 25)Q3 = np.percentile(lengths,..

데이터 구조 탐색음성 데이터를 텍스트로 옮겨서 전처리 진행변환 과정에서 발생한 문제문장 구분을 위한 '/', 'n/'과 같은 특수 문자 포함내용을 설명해주는 부가적인 텍스트 삽입표준어가 아닌 구어체1. 텍스트 정규화1-1. 정규 표현식정규 표현식을 사용하여 불필요한 문자 제거'/', 'n/'과 같이 특수하게 문장을 구분하는 형식을 공백으로 대체영문자, 한글, 숫자, 공백, 일부 문자부호만 남기고 나머지 형식을 공백으로 대체# 정규표현식을 이용해 불필요한 문자 제거def remove_text(texts_dict): processed_texts = {} for file_path, text in texts_dict.items(): # 소문자 알파벳 뒤에 /와 공백이 오는 형식 제거 ..

프로젝트 계획1. 프로젝트 필요성 및 의의최근 몇 년간 자연어 처리를 활용한 AI 대화 서비스, 음성 제어 서비스의 수요가 늘고 있으며, 계속해서 발전되고 있음자연어를 대상으로 하는 의도 분류는 많은 연구가 진행되고 있지만 일상 대화의 주제를 분류하는 연구는 많지 않음대화 데이터를 주제별로 분류하였을 경우 어떤 주제에 어떤 대화가 이루어지는지 파악할 수 있음현재, 생성형 AI는 방대한 양의 데이터를 학습하고 있어 특정 도메인을 지정하지 않으면 AI가 대화의 맥락을 이해할 때 어려움이 있을 수 있음대표적인 현상 : HallucinationHallucinationAI가 정보를 처리하는 과정에서 발생하는 오류내재적 현상 : 맥락과 관련 없는 내용을 출력외재적 현상 : 출처가 명확하지 않은 내용을 출력2. 프로..

울산광역시 중구지역의 주차장 부족, 불법주정차 문제 해소를 목적으로 주차장 입지 및 주차 공유지 후보 선정* LH COMPAS에서 주관한 "(울산 경남) 제2회 빅데이터로 우리동네 문제해결 아이디어 공모대회" 에 직접 참가한 프로젝트이다.1. 분석 목표주차문제의 근본적인 문제해결을 위해서는 수요와 공급의 불균형 해결 및 해당 지역 부지 내의 효율적인 활용이 필요하다. 따라서 울산광역시 중구의 지역적 특성을 분석하여 이를 분석 지표로 활용하고 부족 주차장 면수를 산출해 개선우선지역을 선정한다. 선정된 개선 우선 지역에 주차공간 확보를 위한 주차장 입지 및 주차장 공유 후보지를 제시하는 것이 목적이다.2. 데이터 수집* 모든 데이터는 공공데이터 포털, 행정안전부, 통계청, 울산광역시 중구 차량등록사업소, 건..