ぺーぺーSEのブログ

備忘録・メモ用サイト。

機械学習で使うデータセット

機械学習のトレーニング、CVセット、テストセットで利用できそうなデータセットをまとめる。 ※随時更新すると思う。 Bostonデータセット/Housingデータセット 機械学習ライブラリ『scikit-learn』は、線形回帰などで使用するデータセット『Bostonデータセッ…

リスト、NumPy、Pandas間の変換

リスト(Python標準)、ndarray(NumPy)、Series(Pandas)、DataFrame(Pandas)間での変換についてまとめる。 はじめに、前提として下記のインポート、データ定義等があるとする。 import numpy as np import pandas as pd _1dlist = [1, 2, 3] _2dlist =…

Pandas入門

Pythonのデータ操作ライブラリPandasを軽くまとめる。 機械学習などのコーディングでよく使うと思う。 概要 Pandasはデータ操作ライブラリでデータ構造の扱いやデータ分析を簡単に行うことができる。 IPythonと親和性があり、データ表示(表、グラフなど)の…

Markdownエディタ

はてなブログをかくときMarkdownで書いていたのだが、記事のプレビューを見て→修正して→また見て→修正してとなかなか効率の悪いことをしていた。 が、Markdownエディタなるものの存在を知り触ってみたが、超便利。 編集中リアルタイムでどのように表示される…

機械学習環境の構築 Python編

主に以下の2つの方法がある。 Pythonインストールからライブラリ取得まで自前でやる Anacondaを使う 基本的には前者で自分なりの環境を作っていくのが普通だが、 Windows環境だとライブラリのバイナリが提供されてなかったり、 pipインストールするときにコ…

CloudFormation事始め

AWS CloudFormationについてまとめる。 CloudFormationを使用する際には、テンプレートとスタックの作業を行う。 テンプレートは、AWS リソースとそのプロパティを記述するためのJSONファイル。 スタックを作成するたびに、AWS CloudFormation はテンプレー…

VPCまとめ

VPCについてまとめる。 概念まとめ 以下についてまとめる。 VPC サブネット ルートテーブル インターネットゲートウェイ DHCPオプションセット Elastic IP (EIP) エンドポイント NATゲートウェイ ピアリング接続 セキュリティ ネットワークACL セキュリティ…

GulpでJavaScriptテスト

GulpベースでJavaScriptのテスト構成について書く。 以下のツールを使用する。 Gulp お馴染みタスクランナー Jasmine JavaScriptユニットテスティングフレームワーク Karma テストランナー カバレッジレポートなども出力可能 PhantomJS ブラウザレスJavaScri…

MavenユーザのためのScalaの始め方

GatlingってScalaなのね、、、ってきっかけで調べてみた。 Mavenプロジェクト作ってEclipseで編集できるようになるまで 以下の(1)~(5)を実施。 (1)mvn archetype:generateで「net.alchim31.maven:scala-archetype-simple」を選ぶ。 mvn archetype:…

AWSコマンドラインインターフェース(AWS CLI)でCloudFrontを構築してみる

Amazon CloudFrontはコンテンツ配信ウェブサービス。 コンテンツは「ディストリビューション」という単位で整理され、ディストリビューションはオリジン(オリジナルなファイルの場所、例えば、S3バケットの中のファイル)を指す。 CloudFrontを構築すること…

AWSコマンドラインインターフェース(AWS CLI)でS3を構築してみる

S3に関するAWS CLIには、高レベルコマンド(aws s3)と低レベルコマンド(aws s3api)がある。 低レベルコマンドがより細やかな処理が可能。 高レベルコマンド aws s3 $ aws s3 <Command> [<Arg> ...] Command 意味 cp オブジェクトのコピー ls オブジェクトの一覧 mb S3バ</arg></command>…

Gitコマンド整理

Git

本記事は移転しました。 約3秒後にリダイレクトします。 リダイレクトしない場合はここをクリックしてください。 var link = document.getElementsByTagName("link")[0]; link.href = url; // リダイレクト setTimeout("redirect()", 3000); // 3 sec functi…

Visual StudioからTeam Foundation Serverへの接続ユーザを変更したいときの対処法

リモートのTeam Foundation Server(以降、TFS)へVisual Studio IDE(以降、VS)から1度接続すると、認証情報を記憶してしまい再接続する際に認証情報を変更できない。 対処方法をメモっとく。 以下を実施し、VSから再接続を行うと認証が求められるように…

Swagger入門

Swaggerとは SwaggerとはREST APIを記述する標準仕様。 MS、Google、IBMなどがRESTful APIの記述標準化を目指す「Open API Initiative」を立ち上げ、Swaggerベースで活動している。 SwaggerはSwagger / OpenAPI Spec 2.0に準拠したJSON・YAMLで記述する。 以…

Mavenでjarだけ取得する方法

mvn dependency:get \ -DremoteRepositories=http://repo1.maven.org/maven2/ \ -DgroupId=junit \ -DartifactId=junit \ -Dversion=4.8.2 \ -Dtransitive=false \ -Ddest=./ 「dest」が「Deprecated」になってるからいつまで使えるかわからん。 https://mav…

AWSコマンドラインインターフェース(AWS CLI)でAPI Gateway+AWS Lambdaを構築してみる(その3)

下記の記事で紹介したAWS CLIでのAPI Gateway+AWS Lambdaの構築をJenkins等で実行できるようにbash化する。 tanakakns.hatenablog.com jqの導入 jqはJSONの内容をsedやawkのようにフィルタ・加工するためのコマンド。 これを使ってAWS CLIのレスポンスのJSO…

AWS Identity and Access Management (IAM)の概念整理

AWS Identity and Access Management (IAM) は、ユーザーに対して AWS へのアクセスを安全に制御するためのウェブサービス。 わけわかんなくなったのでちょっと整理。 公式ドキュメント IAMで扱うの概念 IAMで扱う概念には以下がある。 ユーザー IAMユーザー…

AWSコマンドラインインターフェース(AWS CLI)でAPI Gateway+AWS Lambdaを構築してみる(その2)

下記の記事ではAPI GatewayをHTTPのGETメソッドで作成したが、この記事ではHTTPのPOSTメソッドで作成する。 tanakakns.hatenablog.com API Gateway + AWS LambdaをAWS CLIで構築して、POSTメソッドでテストするところまで行う。 以下の順で行う。 AWS Lambda…

AWSコマンドラインインターフェース(AWS CLI)でAPI Gateway+AWS Lambdaを構築してみる

AWS CLIは、コマンドラインからAWSサービスを制御し、スクリプトを使用してこれらを自動化することができる。 AWS CLIの設定 インストール ここからWindows用のインストーラを入手するか、Pythonのpipでインストールする(pip install awscli)。 ただし、AW…

CORS(Cross-Origin Resource Sharing)について

CORS(Cross-Origin Resource Sharing)は、ブラウザがオリジン(HTMLを読み込んだサーバ)以外のサーバからデータを取得する仕組み。 各ブラウザにはクロスサイトスクリプティングを防止するために、クロスドメイン通信を拒否する仕組みが実装されている。 特に…

CSP(Content Security Policy)について

Jenkins+mvn site+HTML Publisher PluginでMavenのレポートをJenkinsから見ようと思ったらスタイルが崩れまくっていたので調べた。 結局公式で解決。 https://wiki.jenkins-ci.org/display/JENKINS/Configuring+Content+Security+Policy CSP(Content Secu…

OpenLDAP入門

OpenLDAP入門。 OpenLDAPはLDAPの実装のうちの1つ。 他にはMicrosoftのActive Directoryなどがある。 LDAPとは LDAPとはLightweight Directory Access Protocolの略でディレクトリサービスにアクセスするためのプロトコル。 ディレクトリサービスとは ディ…

Nexus入門

Sonatype NEXUS入門。 NEXUSはMavenのパッケージリポジトリサーバ。 今回はOSS版を入れる。 インストール JDK6以上をあらかじめインストールしておく。 ここからNEXUS OSSをダウンロードして任意の場所(例えば、「C:\nexus」「/data/nexus」)へ展開する。 …

Consul入門

Consulとかいうツールが流行っているようだが結局何ができるかよくわからなかったのでここを斜め読みして軽くまとめる。 ここではあえてAtlasについては触れない。 ちなみにTerraformについては以下に書いた。 blog.pepese.com Consulの特長。 Service Disco…

Terraform入門

Terraformとかいうツールが流行っているようだが結局何ができるかよくわからなかったのでここを斜め読みして軽くまとめる。 Terraformはビルド、変更、バージョン管理を安全に効果的に行うツール。 low-level(インスタンス、ストレージ、ネットワーク)から…

英語サイトだけを検索する方法

とある理由で英語のサイトだけをググりたい場合の方法。 暫定対処 「http://www.google.com/intl/en/」へアクセスしてから検索する。 恒久対処 なにかを適当にググると検索結果が表示される。 その画面の左上の「歯車」のアイコンをクリックすると「言語 (La…

Sass、Compass入門

SassとCSS界のjQueryことCompassを触ってみた。 下記を見たことを前提に書く。blog.pepese.com ※npmとかGrunt使うよ!また、CSSについては下記を参照。 blog.pepese.comSassはCSSを簡単に書けるメタ言語。コンパイルしてCSSを出力する。 CompassはSassのフレ…

WindowsでLinuxコマンド

WindowsのコマンドプロンプトでLinuxのコマンドをたたきたいときにUnxUtilsを使うと便利。 Cygwinとかめんどくさいし。 ダウンロード http://sourceforge.net/projects/unxutils/ http://unxutils.sourceforge.net/ 導入 ダウンロードしたら任意の位置に展開…

Jenkins入門

今更Jenkins入門。 公式:https://jenkins-ci.org/ ここでは、バージョン1.607で行う。 インストール・起動 ■簡単な方法 jenkins.warを入手して「java -jar jenkins.war」するだけ。 > java -jar jenkins.war Running from: C:\jenkins\jenkins.war webroot:…

SpringBoot+Thymeleaf入門

SpringBootとThymeleafをさわってみた。 「SpringBootSample」というプロジェクトをGradleベースで作る。 ■環境 > gradle -v ------------------------------------------------------------ Gradle 2.3 --------------------------------------------------…