반응형 Bigdata56 Splunk - KVStore curl을 이용한 RestAPI 관리 여기에서는 KVStore를 CURL를 이용해서 관리하는 방법을 알아보고자 한다.1. 콜렉션 생성/삭제KVStore를 진행하기 위해서는 가장 먼저 콜렉션을 만들어야 한다.curl -k -u admin:password https://localhost:8089/servicesNS/nobody/my_app/storage/collections/config -d name=allmnet_collectionKVStore를 잘못 생성한 경우 DELETE 메소드를 이용하여 삭제할 수 있다.curl -k -u admin:password -X DELETE "https://localhost:8089/servicesNS/nobody/my_app/storage/collections/config/allmnet_collection"2.. 2024. 8. 12. Splunk - splunklib 설치시 pycrypto 오류 해결 현재 splunklib은 개발이 중단된 라이브러리 이다. 따라서 급하게 사용할 것이 아니라면, Splunk에서 계속 개발하고 있는 splunk-sdk를 정상적으로 사용할 수 있는 최신 Python을 설치하기를 권장한다. splunk-sdk · PyPI여기에서는 spunklib을 사용할 때 필자가 경험했던 오류인 pycrypto 설치 문제를 해결해 보고자 한다.이오류를 해결 하기 위해서는 pycrypto가 아닌 pycryptodome를 설치하여 splunklib이 pycryptodome를 사용하도록 해야 한다.순서는 다음과 같다.1. 만약 pycrypto 가 설치되어 있다면 제거한다.pip uninstall pycrypto2. 이후 pycryptodome를 설치한다.pip install pycryptod.. 2024. 8. 12. Splunk - KVStore 스키마 정의 및 삭제하기 REST API를 이용해서 데이터를 넣고, 업데이트하는데에는 상관 없지만, 사용자 편의를 위해 Splunk App for Lookup File Editing을 통한 GUI를 이용할 경우 스키마를 설정해 두지 않으면 정상적으로 데이터를 확인하기가 어렵다.여기에서는 스키마를 생성하고 삭제하는 방법에 대해서 알아보도록 하자. 스키마 생성스키마 생성은 config 경로의 콜렉션을 지정하고, field를 통해 생성이 가능하다 아래는 field1은 숫자타입, field2 문자열, field3 문자열 타입을 생성하는 예제이다.curl -k -u admin:password https://localhost:8089/servicesNS/nobody/my_app/storage/collections/config/allmne.. 2024. 8. 12. Splunk - 앱 더 찾아보기(Find More App) SSL certificate failed 해결 아마 이 오류는 프록시등이 사용되는 환경에서 발생하는 오류로 판단된다.이 오류를 해결하기 위해서는 Splunk의 앱 관리에서 SSL 인증서 체크 부분을 비활성화 하면 된다.server.conf 파일의 기본 경로는 다음과 같다.%SPLUNK_HOME%/etc/system/default/server.confapplicationsManagement 를 찾아서 이동하면, 기본적으로 sslVerifyServerCert가 true로 되어 있는것을 false로 수정해주도록 하자.수정은 vi 에디터로 아래 내용을 편집하면 되는데, 기본적으로 읽기 전용이라 !(느낌표)로 무시하고 저장하면 된다.이후 재시작하면 정상적으로 접근이 가능하다. 2024. 8. 11. 자연어 처리(Natural Language Processing, NLP) - transformers 기초, Bert 감정 분류 예제 Transformers 라이브러리?transformers는 딥러닝 기반의 자연어 처리(Natural Language Processing, NLP) 작업을 위한 파이썬 라이브러리이다.주로 최신의 자연어 처리 모델들을 구현하고 사용할 수 있도록 도와준다.Transformers 라이브러리는 Hugging Face라는 회사에서 개발하고 유지 관리하고 있으며, 다양한 언어 모델과 사전 훈련된 가중치를 제공합니다. 가장 유명한 모델로는 BERT, GPT, GPT-2, RoBERTa, XLNet, DistilBERT 등이 있다. Transformers 라이브러리를 사용하면 다음과 같은 작업을 수행할 수 있다.토큰화(Tokenization): 자연어 문장을 작은 단위로 분리하여 모델에 입력할 수 있는 형태로 변환한다... 2024. 8. 11. 기계학습(ML) - epoch, batch size, iteration 기본 의미 기계학습을 진행하면, 코드로 사용하다보면, epoch, batch, iteration 이라는 파라미터를 볼 수 있느데, 학습을 시작할때 자주 사용되는 용어인 epoch, batch, iteration 에 대해 알아보고자 한다.기계 학습은 데이터를 학습해서 결과를 만들어 내는 과정이라고 할 수 있다.이때 학습할 데이터의 양과 학습 횟수등에 따라서 결과가 달라지게 되는데, 예를 들어보면 다음과 같다.철수 - 172양희 - 140성희 - 330국희 - 10하나 - 400 위와 같은 데이터를 가지고 선형 회계 예측 알고리즘을 이용한다고 생각해보다.만약 국희 라는 데이터가 어떻게 들어가느냐에 따라서 데이터 결과가 달라지기 때문에, 여러번 학습을 해서 데이터의 외곡을 줄이는 게 중요할 수 있지만, 반대로 데이터.. 2024. 8. 11. 자연어 기계학습(ML/Transformer) - temperature, top 파라메터 의미 무엇인가를 사용하고자 한다면, 각 기능의 옵션을 이해할 필요성이 있다.오늘은 자연어 기계 학습에서 최근 각광 받고 있는 Transformer의 파라메터중 temperature와 top은 이 둘은 밀접관 관계가 있다. 그래서 지금 이 둘의 의미에 대해 다루어보고자 한다.그렇게 어렵게 생각할 개념은 아니기 때문에 쉽게 이해가 가능할 것이라고 생각된다.자연어 처리는 input과 output이 존재 하는데, OpenAI기준으로 Prompt 를 입력하면 결과를 출력해주게 된다.OpenAI의 API에서도 temperature와 top 이라는 파라메터가 존재하는데 다음과 같은 의미이다.top 결과를 출력하고자 할때 기계학습은 하나의 결과를 선택하게 된다. 이때 각 데이터의 학습에 따라 가장 적절하고 판단하는 scor.. 2024. 8. 11. Transformer(Bert/GPT) - Self-Attention, Multi-head Attention 이해 Transformer 모델이란?번역 모델 연구를 통해 나온 모델 (Seq2Seg 기반 모델 )문장 속 단어와 같은 순차 데이터 내의 관계를 학습을 통해 파악해 순차 정보의 맥락과 의미를 학습하는 신경망 모델이라고 할 수 있다.Attention을 가장 중요하게 보는 단어간의 관계를 학습하는 모델로써, Seq2Seq과 유사한 모델이라고 하였는데, Seq2Seq는 번역을 할때 가장 많이 지정되는 상대 언어의 단어와 점수 차이라고 한다면, Transformer는 Self-Attention은 같은 언어에서의 관계를 다루게 된다는 점이 매우 유사한 점이라고 할 수 있다. 위 내용을 구조를 보면, Multi-Head Attention 이라는 내용이 나오는데 이는 Self-Attention은 병렬로 진행하여 Head.. 2024. 8. 11. Splunk - Custom Search Commands 에서 Debug log 활성화 Splunk 개발을 진행할 때 오류가 날 경우 로그를 통해서 파악하는 것이 유용하다. 이때 사용이 용이한 방법으로 바로 noop log_DEBUG=* 를 통해 Debug 로그를 활성화 할 수 있다. 문제가 있는 명령을 실행하고 뒤에 파이프라인을 통해 | noop log_DEBUG=* 를 입력하면 Debug 로그가 활성화 된 상태로 실행된다.이후 작업 검사에서 search.log 내용을 확인하여 명령의 문제점을 보다 쉽게 파악이 가능하다.이외에도 Debug 로그를 활성화 하는 방법은 아래 문서에서 확인이 가능하다.Turn on debug logging in Splunk Enterprise Security - Splunk Documentation 2024. 8. 11. 이전 1 2 3 4 5 6 7 다음 반응형
