csv- все статьи тега


Какая кодировка правильно открывает CSV-файлы в Excel как на Mac, так и на Windows?

У нас есть веб-приложение, которое экспортирует CSV-файлы, содержащие иностранные символы с UTF-8, без BOM. Пользователей Windows и Mac сделать символы в Excel. Я попробовал конвертировать в UTF-8 с помощью BOM; Excel / Win-это нормально, Excel/Mac показывает тарабарщину. Я использую Excel 2003 / Win, Excel 2011 / Mac. Вот все кодировки, которые я пробовал: Encoding BOM Win Mac -------- --- ---------------------------- ------------ utf-8 -- sc ...

Импорт csv в mysql через командную строку

Я пытаюсь импортировать очень большой .csv-файл (~4 ГБ) в mysql. Я рассматривал возможность использования phpmyadmin, но тогда у вас есть максимальный размер загрузки 2 Мб. Кто-то сказал мне, что я должен использовать командную строку. Я собирался использовать эти направления, чтобы импортировать его: http://dev.mysql.com/doc/refman/5.0/en/mysqlimport.html#c5680 Какой будет команда для установки первой строки в поле .csv таблица как имена столбцов в таблице mysql? Эта опция доступна через p ...

как создать базу данных SQL из файла csv в Python

Мне нужно загрузить большой набор данных (20 Гб на данный момент, но в будущем будет 100 ГБ) из файла csv. Я использую модуль MySQLdb в python (PyCharm). Мне также нужно только выбрать некоторые определенные столбцы. До сих пор я пробовал это: import csv import MySQLdb mydb = MySQLdb.connect(host='localhost', user='root', passwd='', db='mydb') cursor = mydb.cursor() csv_data = csv.reader(file('collected_quotes_sample.csv')) for row in csv_data: cursor.execute('INSERT INTO tes ...

Использование csvreader против gzipped файла в Python

У меня есть куча gzipped CSV файлов, которые я хотел бы открыть для проверки с помощью встроенного в Python CSV reader. Я хотел бы сделать это без необходимости сначала вручную распаковать их на диск. Я думаю, что хочу каким-то образом получить поток несжатых данных и передать его в CSV-считыватель. Возможно ли это в Python? ...

Поиск повторяющихся значений столбцов в CSV

Я импортирую CSV, который имеет 3 столбца, один из этих столбцов может содержать дубликаты записей. Мне нужно проверить 2 вещи: 1. The field 'NAME' is not null and is a string 2. The field 'ID' is unique До сих пор я анализирую CSV-файл, один раз и проверяю, что 1. (NAME is valid), который, если он не работает, просто вырывается из цикла while и останавливается. Наверное, вопрос в том, как я проверю, что ID уникален? У меня есть поля, подобные следующим: NAME, ID, Bob, 1, Tom, 2, J ...

Как лучше всего создать файл XLS в PHP

В настоящее время я пытаюсь выяснить, как лучше всего создать a .xls файл из PHP. Мне кажется, что все, что мне нужно сделать, это изменить тип содержимого заголовка на "application/vnd.ms-excel", а затем вывести данные в формате, разделенном запятыми. Это лучший способ сделать это? Спасибо за любую помощь!Метрополис EDIT Было бы плохо просто вывести данные в виде HTML? У меня уже есть класс, который я хотел бы расширить для этой задачи, так что я бы предпочитайте держаться подальше от сто ...

пишу.csv файлы из циклов и списков for

Я новичок в python, но я искал в Stack Overflow, google и CodeAcademy ответ или вдохновение для моей очевидно очень простой проблемы. Я думал, что найти простой пример, где цикл for используется для сохранения каждого взаимодействия, будет легко, но я либо пропустил его, либо у меня нет vocab, чтобы задать правильный вопрос. Поэтому, пожалуйста, не вздыхайте громко перед вашим монитором на этот простой вопрос. Спасибо. Я хотел бы просто написать csv-файл с каждым повторение двух строк печати ...

Нахождение всех точек на расстоянии от конкретного lat long java

У меня есть csv-файл с кучей длинных координат lat, у меня также есть csv-файл с кучей позиций, на которых будет стоять конкретный человек. Для каждой из точек во втором файле мне нужно выяснить, находятся ли они рядом (менее 1 мили) с любой из точек в первом файле. У меня есть около 500 пунктов в каждом из файлов. Я пытаюсь решить эту проблему на java и подумал, что я мог бы использовать что-то вроде чтения первого файла и поместить его в какой - то вид структура, которая легко поддается поис ...

Преобразование CSV-файла в таблицу с определенными ключами в Lua

Я изучаю Lua, чтобы создавать скрипты для авиасимулятора. У меня есть CSV-файл, который выглядит следующим образом: Poti city, Poti,red,-295731.42857144,617222.85714285 Lanchhuti city, Poti,red,-299217.14285715,647851.42857142 Ozurgeti city, Poti,red,-317217.14285715,648422.85714285 Samtredia city, Poti,red,-287502.85714287,672022.85714285 Abasha city, Poti,red,-284245.71428573,661108.57142857 Каждая строка содержит 5 полей (city, region, coalition, coordinate-x и coordinate-y в сис ...

Python: как передать функцию list в качестве параметра? [дубликат]

На этот вопрос уже есть ответ здесь: Python-использовать список в качестве параметров функции 4 ответа Я только начинаю с Python и работаю со следующим кодом для импорта CSV-файла в таблицу sqlite3, которую я свободно признаю, что скопировал большую часть из интернета: with open(getPathTo('my.csv'), 'r') as csvfile: reader = csv.DictReader(csvfile) records = [(row['SEGMENT'], row['Comp 1'], row[' ...

Powershell: экспорт свойства с хэш-таблицей в CSV-файл

Я управляю Test-AdfsServerHealth (Ref.) Проблема в том, что одно из выходных значений (имя значения Output) - это массив, который отображается как System.Collection.Hashtable, и я пытаюсь найти способ получить его в аккуратном формате Excel. Например, это одно из фактических значений в CSV при экспорте: Name Result Detail Output TestServiceAccountProperties Pass "" System.Collections.Hashtable Но PowerShell отображает: Name : TestServiceAccountProperties Result ...

Оценка лямбды для преобразования Йо и Джонсона

У меня есть временной ряд значений осадков в файле csv.Я построил гистограмму данных. Гистограмма смещена влево. Я хотел преобразовать значения так, чтобы они имели нормальное распределение. Я использовал преобразование Йео-Джонсона, доступное в R. преобразованные значения здесь. Мой вопрос: В приведенном выше преобразовании я использовал тестовое значение 0,5 для лямбды, которое отлично работает. Есть ли возможность определить оптимальное значение лямбды на основе временной ряд? Буду призна ...

фрейм данных pandas с заголовком в 2 строки и экспортом в csv

У меня есть фрейм данных df = pd.DataFrame(columns = ["AA", "BB", "CC"]) df.loc[0]= ["a", "b", "c1"] df.loc[1]= ["a", "b", "c2"] df.loc[2]= ["a", "b", "c3"] Мне нужно добавить строку secod в заголовок df.columns = pd.MultiIndex.from_tuples(zip(df.columns, ["DD", "EE", "FF"])) Мой df теперь AA BB CC DD EE FF 0 a b c1 1 a b c2 2 a b c3 Но когда я пишу этот фрейм данных в csv-файл df.to_csv("test.csv", index = False) Я получаю на одну строку больше, чем ожидалось AA ...

Python Chunking CSV файл мультипроцессорная обработка

Я использую следующий код для разбиения CSV-файла на несколько блоков (источник: здесь) def worker(chunk): print len(chunk) def keyfunc(row): return row[0] def main(): pool = mp.Pool() largefile = 'Counseling.csv' num_chunks = 10 start_time = time.time() results = [] with open(largefile) as f: reader = csv.reader(f) reader.next() chunks = itertools.groupby(reader, keyfunc) while True: # make a list of num_chunks chun ...

Python: как проверить, что ячейка в CSV-файле пуста?

У меня есть CSV-файл, который я читаю на Python, и я хочу, чтобы программа пропустила строку, если первый столбец пуст. Как мне это сделать? Прямо сейчас у меня есть: with open('testdata1.csv', 'rU') as csvfile: csvreader = csv.reader(csvfile) for row in csvreader: if row[0] = null: #????? Как я могу: 1) Проверить пустые ячейки в CSV; и 2) сказать читателю, чтобы он пропустил строку? Спасибо, ребята. ...

Импорт CSV в Symfony 2

Я пытаюсь импортировать a .csv-файл в Symfony 2. Я создал форму файла и теперь хочу сохранить ее в своей базе данных. Вот мой обработчик файла, где я хочу сделать .лечение csv и сохранить его: public function process() { if ($this->request->getMethod() == 'POST') { $this->form->bindRequest($this->request); $tableau = array(); $i = 0; $c = 0; $num = 0; if (isset($_FILES['file'])) { $file = $_FILES['fil ...

Объединить два больших CSV файла с PHP

Я хочу объединить два больших CSV-файла с PHP. Эти файлы слишком велики, чтобы даже поместить в память все сразу. В псевдокоде я могу придумать что-то вроде этого: for i in file1 file3.write(file1.line(i) + ',' + file2.line(i)) end Но когда я перебираю файл с помощью fgetcsv, не совсем понятно, как я мог бы захватить строку n из определенного файла, не загрузив сначала все это в память. Есть идеи? Edit: я забыл упомянуть, что каждый из двух файлов имеет одинаковое количество строк, и они ...

линия d3 и точки На карте из данных csv

Я пытаюсь построить отдельные точки данных, а также линейный путь, который проходит между этими точками, как в этом примере D3 остановка и перезапуск перехода вдоль пути, чтобы разрешить переход к координатам гео данных, с которыми мне уже помогали раньше. Теперь я хочу использовать свои фактические данные, а не тестовый набор координат, но у меня возникли проблемы. Я пробовал как файл geoJson, так и csv для моих данных. Я использую csv-файл с lon и lat для точек и надеялся, что чтобы сделать ...

NGF-pattern не работает для ng-file-upload

Я пытаюсь ограничить тип файла CSV в компоненте ng-file-upload, но это не работает - он по-прежнему принимает все файлы. Я пробовал и ngf-pattern="'*.csv'", и ngf-pattern="*.csv". Код: <button class="btn btn-info" type="file" ngf-select="uploadFiles($file, $invalidFiles)" ngf-pattern="'*.csv'" ngf-max-height="1000" ngf-max-size="1MB"> <i class="fa fa-upload"></i> {{'main.users.import.button' |translate}} </button> Завис ...

Как читать CSV-файл из URL-адреса с помощью Python?

, Когда я делаю завиток на вызов API ссылке http://domain.com/passkey=wedsmdjsjmdd curl 'http://domain.com/passkey=wedsmdjsjmdd' Я получаю выходные данные сотрудника в формате csv, например: "Steve","421","0","421","2","","","","","","","","","421","0","421","2" Как можно разобрать это с помощью python. Я попробовал: import csv cr = csv.reader(open('http://domain.com/passkey=wedsmdjsjmdd',"rb")) for row in cr: print row Но это не сработало, и я получил ошибку http://domain.com ...